当前位置：首页 > news >正文

从零开始实现大语言模型（五）：缩放点积注意力机制

news 文章来源：https://blog.csdn.net/qq_24178985/article/details/140403522 2025/4/28 23:51:26

1. 前言

缩放点积注意力机制(scaled dot-product attention)是OpenAI的GPT系列大语言模型所使用的多头注意力机制(multi-head attention)的核心，其目标与前文所述简单自注意力机制完全相同，即输入向量序列 $x_1, x_2, \cdots, x_n$

从零开始实现大语言模型（五）：缩放点积注意力机制

1. 前言缩放点积注意力机制(scaled dot-product attention)是OpenAI的GPT系列大语言模型所使用的多头注意力机制(multi-head attention)的核心，其目标与前文所述简单自注意力机制完全相同，即输入向量序列 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x...

编程日记 2024/7/14 21:06:27

PTA 7-15 希尔排序

本题目要求读入N个整数，采用希尔排序法进行排序，采用增量序列{5，3，1}，输出完成增量5和增量3后的5子排序和3子排序结果。输入格式: 输入不超过100的正整数N和N个整数（空格分隔）。输出格式: …...

编程日记 2024/7/14 21:04:24

【密码学】分组密码的设计原则

分组密码设计的目标是在密钥控制下，从一个巨大的置换集合中高效地选取一个置换，用于加密给定的明文块。一、混淆原则混淆原则是密码学中一个至关重要的概念，由克劳德香农提出。混淆原则就是将密文、明文、密钥三者之间的统计关系和代数关系…...

编程日记 2024/7/14 21:03:23

深入解析【C++ list 容器】：高效数据管理的秘密武器

目录 1. list 的介绍及使用 1.1 list 的介绍知识点： 小李的理解： 1.2 list 的使用 1.2.1 list 的构造知识点： 小李的理解： 代码示例： 1.2.2 list 迭代器的使用知识点： 小李的理解&#xff1…...

编程日记 2024/7/14 20:59:20

NFS服务器、autofs自动挂载综合实验

综合实验现有主机 node01 和 node02，完成如下需求： 1、在 node01 主机上提供 DNS 和 WEB 服务 2、dns 服务提供本实验所有主机名解析 3、web服务提供 www.rhce.com 虚拟主机 4、该虚拟主机的documentroot目录在 /nfs/rhce 目录 5、该目录由 node02 主机…...

编程日记 2024/7/14 20:51:13

自动驾驶事故频发，安全痛点在哪里？

大数据产业创新服务媒体 ——聚焦数据改变商业近日，武汉城市留言板上出现了多条关于萝卜快跑的投诉，多名市民反映萝卜快跑出现无故停在马路中间、高架上占最左道低速行驶、转弯卡着不动等情况，导致早晚高峰时段出现拥堵。萝卜快跑是百度 A…...

编程日记 2024/7/14 20:49:11

SpringSecurity框架【认证】

目录一. 快速入门二. 认证 2.1 登陆校验流程 2.2 原理初探 2.3 解决问题 2.3.1 思路分析 2.3.2 准备工作 2.3.3 实现 2.3.3.1 数据库校验用户 2.3.3.2 密码加密存储 2.3.3.3 登录接口 2.3.3.4 认证过滤器 2.3.3.5 退出登录 Spring Security是Spring家族中的一个…...

编程日记 2024/7/14 20:45:05

python安全脚本开发简单思路

文章目录为什么选择python作为安全脚本开发语言如何编写人生第一个安全脚本开发后续学习为什么选择python作为安全脚本开发语言易读性和易维护性：Python以其简洁的语法和清晰的代码结构著称，这使得它非常易于阅读和维护。在安全领域，代码…...

编程日记 2024/7/14 20:44:04

WPF学习(4) -- 数据模板

一、DataTemplate 在WPF（Windows Presentation Foundation）中，DataTemplate 用于定义数据的可视化呈现方式。它允许你自定义如何展示数据对象，从而实现更灵活和丰富的用户界面。DataTemplate 通常用于控件（如ListBox、…...

编程日记 2024/7/14 20:43:03

GuLi商城-商品服务-API-品牌管理-JSR303分组校验

注解：@Validated 实体类： package com.nanjing.gulimall.product.entity;import com.baomidou.mybatisplus.annotation.TableId; import com.baomidou.mybatisplus.annotation.TableName; import com.nanjing.common.valid.ListValue; import com.nanjing.common.valid.Updat…...

编程日记 2024/7/14 20:37:57

PyTorch DataLoader 学习

1. DataLoader的核心概念 DataLoader是PyTorch中一个重要的类，用于将数据集（dataset）和数据加载器（sampler）结合起来，以实现批量数据加载和处理。它可以高效地处理数据加载、多线程加载、批处理和数据增强…...

编程日记 2024/7/14 20:36:56

TCP传输控制协议二

TCP 是 TCP/IP 模型中的传输层一个最核心的协议，不仅如此，在整个 4 层模型中，它都是核心的协议，要不然模型怎么会叫做 TCP/IP 模型呢。它向下使用网络层的 IP 协议，向上为 FTP、SMTP、POP3、SSH、Telnet、HTTP 等应用…...

编程日记 2024/7/14 20:33:54

【学习笔记】无人机（UAV）在3GPP系统中的增强支持(五)-同时支持无人机和eMBB用户数据传输的用例

引言本文是3GPP TR 22.829 V17.1.0技术报告，专注于无人机（UAV）在3GPP系统中的增强支持。文章提出了多个无人机应用场景，分析了相应的能力要求，并建议了新的服务级别要求和关键性能指标（KPIs）。…...

编程日记 2024/7/14 20:32:52

使用F1C200S从零制作掌机之debian文件系统完善NES

一、模拟器源码源码：https://files.cnblogs.com/files/twzy/arm-NES-linux-master.zip 二、文件系统文件系统：debian bullseye 使用builtroot2018构建的文件系统，使用InfoNES模拟器存在bug，搞不定，所以放弃&…...

编程日记 2024/7/14 20:31:51

Vue 3 与 TypeScript：最佳实践详解

大家好，我是CodeQi！很多人问我为什么要用TypeScript？因为 Vue3 喜欢它！开个玩笑... 在我们开始探索 Vue 3 和 TypeScript 最佳实践之前，让我们先打个比方。如果你曾经尝试过在没有 GPS 的情况下开车到一个陌生的地方，你可能会知道那种迷失方向的感觉。而 Typ…...

编程日记 2024/7/14 20:30:50

PyMysql error : Packet Sequence Number Wrong - got 1 expected 0

文章目录错误一错误原因解决方案错误二原因解决方案我自己知道的，这类问题有两类原因，两种解决方案。错误一错误原因 pymysql的主进程启动的connect无法给子进程中使用，所以读取大批量数据时最后容易出现了此类问题。解决方案换成…...

编程日记 2024/7/14 20:26:46

MVC 生成验证码

在mvc 出现之前生成验证码思路在一个html页面上，生成一个验证码，在把这个页面嵌入到需要验证码的页面中。 JS生成验证码 <script type"text/javascript">jQuery(function ($) {/**生成一个随机数**/function randomNum(min, max) {…...

编程日记 2024/7/14 20:25:45

OSPF.综合实验

1、首先将各个网段基于172.16.0.0 16 进行划分 1.1、划分为4个大区域 172.16.0.0 18 172.16.64.0 18 172.16.128.0 18 172.16.192.0 18 四个网段划分R4 划分area2 划分area3 划分area1 2、进行IP配置如图使用配置指令进行配置 ip address x.x.x.x /x 并且将缺省路由…...

编程日记 2024/7/14 20:24:45

云计算【第一阶段（29）】远程访问及控制

一、ssh远程管理 1.1、ssh (secureshell)协议是一种安全通道协议对通信数据进行了加密处理，用于远程管理功能SSH 协议对通信双方的数据传输进行了加密处理，其中包括用户登录时输入的用户口令，建立在应用层和传输层基础上的安全协议。SSH客…...

编程日记 2024/7/14 20:19:39

2024前端面试真题【CSS篇】

盒子模型盒子模型：box-sizing，描述了文档中的元素如何生成矩形盒子，并通过这些盒子的布局来组织和设计网页。包含content、padding、margin、border四个部分。分类 W3C盒子模型（content-box）：标准盒子模…...

编程日记 2024/7/14 20:17:37

python中设置代码格式，函数编写指南，类的编程风格

4.6 设置代码格式随着你编写的程序越来越长，确保代码格式一致变得尤为重要。花时间让代码尽可能易于阅读，这不仅有助于你理解程序的功能，也能帮助他人理解你的代码。为了保证所有人的代码结构大致一致，Python程序员遵循一系列…...

编程日记 2024/7/14 20:14:32

CentOS 8升级gcc版本

1、查看gcc版本 gcc -v发现gcc版本为8.x.x，而跑某个项目的finetune需要gcc-9，之前搜索过很多更新gcc版本的方式，例如https://blog.csdn.net/xunye_dream/article/details/108918316?spm1001.2014.3001.5506，但执行指令 sudo yu…...

编程日记 2024/7/14 20:13:31

Kafka基础入门篇（深度好文）

Kafka简介 Kafka 是一个高吞吐量的分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。 1. 以时间复杂度为O(1)的方式提供消息持久化能力。 2. 高吞吐率。（Kafka 的吞吐量是MySQL 吞吐量的30…...

编程日记 2024/7/14 20:12:28

C++之复合资料型态KU网址第二部V蒐NAY3989

结构结构可存放不同资料型态的数值，例如 #include <iostream>struct Demo {int member1;char *member2;float member3; };int main() {Demo d;d.member1 19823;d.member2 "203";d.member3 3.011;std::cout << "member1: " &l…...

编程日记 2024/7/14 20:08:25

乡镇集装箱生活污水处理设备处理效率高

乡镇集装箱生活污水处理设备处理效率高乡镇集装箱生活污水处理设备优势结构紧凑：集装箱式设计减少了占地面积，便于在土地资源紧张的乡镇地区部署。安装方便：设备出厂前已完成组装和调试，现场只需进行简单的连接和调试即可投入使…...

编程日记 2024/7/14 20:07:24

计算机网络高频面试题

从输入URL到展现页面的全过程： 用户在浏览器中输入URL。浏览器解析URL，确定协议、主机名和路径。浏览器查找本地DNS缓存，如果没有找到，向DNS服务器发起查询请求。DNS服务器解析主机名，返回IP地址。浏览器使用IP地址建立…...

编程日记 2024/7/14 20:06:23

进程通信(1)：无名管道(pipe)

无名管道(pipe)用来具有亲缘关系的进程之间进行单向通信。半双工的通信方式，数据只能单向流动。管道以字节流的方式通信，数据格式由用户自行定义。无名管道多用于父子进程间通信，也可用于其他亲缘关系进程间通信。因为父进程调用fork函…...

编程日记 2024/7/14 20:02:18

YOLOv10改进 | 损失函数篇 | SlideLoss、FocalLoss、VFLoss分类损失函数助力细节涨点(全网最全)

一、本文介绍本文给大家带来的是分类损失 SlideLoss、VFLoss、FocalLoss损失函数，我们之前看那的那些IoU都是边界框回归损失，和本文的修改内容并不冲突，所以大家可以知道损失函数分为两种一种是分类损失另一种是边界框回归损失，…...

编程日记 2024/7/14 20:00:16

【数组、特殊矩阵的压缩存储】

目录一、数组1.1、一维数组1.1.1 、一维数组的定义方式1.1.2、一维数组的数组名 1.2、二维数组1.2.1、二维数组的定义方式1.2.2、二维数组的数组名二、对称矩阵的压缩存储三、三角矩阵的压缩存储四、三对角矩阵的压缩存储五、稀疏矩阵的压缩存储一、数组概述：数…...

编程日记 2024/7/14 19:59:15

Flat Ads：金融APP海外广告投放素材的优化指南

在当今全球化的数字营销环境中,金融APP的海外营销推广已成为众多金融机构与开发者最为关注的环节之一。面对不同地域、文化及用户习惯的挑战,如何优化广告素材,以吸引目标受众的注意并促成有效转化,成为了广告主们亟待解决的问题。作为领先的全球化营销推广平台,Flat Ads凭借…...

编程日记 2024/7/14 19:56:12

1. 前言

相关文章：