书生浦语第一次课
模型的发展
从专业模型到通用模型
书生·浦语大模型全链路开源体系
2023.06.07 -> InternLM千亿参数语言大模型发布
2023.07.06 -> InternLM千亿参数语言大模型全面升级，支持8K语境、26种语言。全面开源、免费商用：InternLM-7B、全链条开源工具体系
2023.08.14 -> 书生·万卷1.0多模态预训练语料库开源发布
2023.08.21 -> 升级版对话模型InternLM-Chat-7B v1.1发布，开源智能体框架Lagent，支持从语言模型到智能体升级转换
2023.08.28 -> InternLM 千亿参数模型的参数两升级到123B
2023.09.20 -> 增强版InternLM-20B开源，开源工具链全线升级
回归语言模型本质
1、多维数据价值评价
基于文本质量、信息质量、信息密度等维度对数据简直进行综合评估和提升
2、高质量预料驱动的数据富集
利用高质量语料的特征从物理世界、互联网以及语料进一步富集耕读类似语料
针对性数据补齐
3、针对性补充语料
重点加强世界知识、数理、代码等核心能力
书生浦语特点
- 超长上下文
- 综合性能全面提升
- 优秀对话和创作体验
- 工具调用能力整体提升
- 突出的数理能力和使用的数据分析能力
模型到应用流程
书生浦语体系
- 数据
- 预训练
- 微调
- 全参微调和LORA微调
- 部署
- 评测
- 应用
微调
增量续训
使 用 场 景 ： 让 基 座 模 型 学 习 到 一 些 新 知 识 ， 如 某 个 垂 类 领 域 知 识 训 练 数 据 ： 文 章 、 书 籍 、 代 码 等
有监督微调
使 用 场 景 ： 让 模 型 学 会 理 解 各 种 指 令 进 行 对 话 ， 或 者 注 入 少 量 领 域 知 识 训 练 数 据 ： 高 质 量 的 对 话 、 问 答 数 据
微调框架
相关文章：
书生浦语第一次课
模型的发展 从专业模型到通用模型 书生浦语大模型全链路开源体系 2023.06.07 -> InternLM千亿参数语言大模型发布 2023.07.06 -> InternLM千亿参数语言大模型全面升级，支持8K语境、26种语言。全面开源、免费商用：InternLM-7B、全链条开源工具…...
UE小：UE5.3无法创建C++工程
当您在使用Unreal Engine (UE) 构建项目时，如果遇到以下问题： Running C:/Program Files/Epic Games/UE\_5.3/Engine/Build/BatchFiles/Build.bat -projectfiles -project"C:/UEProject/Shp\_1/Shp\_1.uproject" -game -rocket -progress Usi…...
FFmpeg获取视频详情
话不多说，直接上代码： pom依赖： <!--视频多媒体工具包 包含 FFmpeg、OpenCV--><dependency><groupId>org.bytedeco</groupId><artifactId>javacv-platform</artifactId><version>1.5.3</versi…...
find: paths must precede expression
find: paths must precede expression 1. find: paths must precede expression2. 请在搜索字符串上添加单引号或者双引号References 1. find: paths must precede expression strongforeverstrong:~/ForeverStrong$ find /home/strong/ForeverStrong/image_results/ -name *.…...
RabbitMQ3.x之九_Docker中安装RabbitMQ
RabbitMQ3.x之_Docker中安装RabbitMQ 文章目录 RabbitMQ3.x之_Docker中安装RabbitMQ1. 官网2. 安装1 .拉取镜像2. 运行容器 3. 访问 1. 官网 rabbitmq - Official Image | Docker Hub 2. 安装 1 .拉取镜像 docker pull rabbitmq:3.13.0-management2. 运行容器 # latest Rabb…...
vue快速入门（四）v-html
注释很详细，直接上代码 上一篇 新增内容 使用v-html将文本以html的方式显示 源码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, …...
第19次修改了可删除可持久保存的前端html备忘录:换了一个特别的倒计时时钟
第19次修改了可删除可持久保存的前端html备忘录:换了一个特别的倒计时时钟 <!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><met…...
C++ 2024-4-1 作业
#include <iostream> using namespace std;class A { public:int a;A(int a):a(a){cout<<"A的有参构造"<<endl;} }; class B:virtual public A { public:int b;B(int a,int b):A(a),b(b){cout<<"B的有参构造"<<endl;} }; cl…...
【滑动窗口】Leetcode 串联所有单词的子串
题目解析 30. 串联所有单词的子串 本题的意思就是在目标串s中寻找能够找到的words字符串的全排列，返回起始位置 算法讲解 我们可以将这道题转化为寻找目标串的words字母的异位词，按照上一次讲解的【滑动窗口】Leetcode 找到字符串中所有字母异位词我们…...
golang channel实践代码及注意事项
在使用Go语言（Golang）的通道（Channel）时，有几个重要的注意点可以帮助开发者更安全、高效地使用它们进行并发编程。以下是一些关键的注意事项： 选择正确的通道类型：Go语言提供了两种类型的通道&…...
面试题：RabbitMQ 消息队列中间件
1. 确保消息不丢失 生产者确认机制 确保生产者的消息能到达队列，如果报错可以先记录到日志中，再去修复数据持久化功能 确保消息未消费前在队列中不会丢失，其中的交换机、队列、和消息都要做持久化消费者确认机制 由spring确认消息处理成功后…...
wpf中引用自定义字体
在WPF（Windows Presentation Foundation）中，FontFamily属性用于指定控件或文本元素使用的字体。它是一个非常基础且重要的属性，影响着用户界面的视觉呈现和可读性。以下是关于WPF中FontFamily属性的一些关键信息和使用方法&#x…...
高效准确！指甲剪盖片视觉检测技术解密
指甲剪的盖片是指指甲剪的一端，通常用来盖住另一端的刀刃部分。指甲剪盖片是指甲剪的重要部分，除了保护刀刃外，还起到美观和便捷的作用。正确使用和保养指甲剪盖片可以延长指甲剪的使用寿命。 本案是对指甲剪盖片最大尺寸长75mm*宽10mm*高3mm…...
分布式IO模块PLC扩展模拟量模块
BL200是一款结构紧凑、体积小的分布式IO耦合器,支持ModbusTCP协议,采用嵌入式硬件,主频380Mhz,基于LinuxOS,采用独特的MAC层数据交换技术的双网口技术实现级联,中间设备宕机不影响后面设备的数据传输,可支持高达32个AI、DI、DO、热电阻、热电偶、RS485等种类的IO板,广泛应用于工…...
Qt事件系统
第三章Qt事件系统 文章目录 第三章Qt事件系统1.事件系统事件是如何传递的事件类型事件处理发送事件 2.事件传播机制事件接受和忽略事件分发事件过滤 3.事件和信号的区别 1.事件系统 在Qt中，事件是派生抽象QEvent类的对象，它表示应用程序内发生的事情&am…...
C++STL--排序算法
sort 使用快速排序,平均性能好O(nlogn),但最差情况可能很差O(n^2)。不稳定。 sort(v.begin(),v.end());//对v容器进行排序,默认升序 sort(v.begin(),v.end(),greater<int>());//降序排序对于支持随机访问的迭代器的容器， 都可以利用sort算法直接对其进行排序…...
CEF的了解
(14 封私信 / 80 条消息) CEF和Electron的区别是什么？ - 知乎 (zhihu.com) Electron面向的开发者：会用JavaScript,HTML,CSS，不会C CEF面向的开发者：会用JavaScript,HTML,CSS，会C (14 封私信 / 80 条消息) liulun - …...
基于OrangePi Zero2的智能家居项目（开发阶段）
智能家居项目的软件实现 紧接上文 基于OrangePi Zero2的智能家居项目（准备阶段）-CSDN博客 目录 一、项目整体设计 1.1项目整体设计 1.2具体划分 二、开发工作的前期准备 1、进行分类，并用Makefile文件进行管理 参考：自己创…...
数据结构记录
之前记录的数据结构笔记，不过图片显示不了了 数据结构与算法(C版) 1、绪论 1.1、数据结构的研究内容 一般应用步骤：分析问题，提取操作对象，分析操作对象之间的关系，建立数学模型。 1.2、基本概念和术语 数据&…...
从零到一：基于 K3s 快速搭建本地化 kubeflow AI 机器学习平台
背景 Kubeflow 是一种开源的 Kubernetes 原生框架，可用于开发、管理和运行机器学习工作负载，支持诸如 PyTorch、TensorFlow 等众多优秀的机器学习框架，本文介绍如何在 Mac 上搭建本地化的 kubeflow 机器学习平台。 注意：本文以 …...
kettle使用MD5加密增量获取接口数据
kettle使用MD5加密增量获取接口数据 场景介绍： 使用JavaScript组件进行MD5加密得到Http header，调用API接口增量获取接口数据，使用json input组件解析数据入库 案例适用范围： MD5加密可参考、增量过程可参考、调用API接口获取…...
PS入门｜黑白色的图标怎么抠成透明背景
前言 抠图可以算是PS的入门必备操作，开始学习PS的小伙伴可以根据本帖子推荐一步步学习哦！但切勿心急～ 今天给小伙伴们带来：黑白色的图标抠图教程 抠图有很多种方法，但根据类型的不同，使用适当的方法很重…...
android 14 apexd分析（2）apexd 启动
1. class main进程一起启动， apexservice是他提供的binderservice，这也第二阶段的最主要的作用 /system/apex/apexd/apexd.rc?r3c8e8603c640fc41e0406ddcf981381803447cfb#1 1 service apexd /system/bin/apexd 2 interface aidl apexservice …...
微信小程序怎么制作？制作一个微信小程序需要多少钱？
随着移动互联网的快速发展，微信小程序已成为连接用户与服务的重要桥梁。它以其便捷性和易用性，为各类企业和个人提供了一个全新的展示和交易平台。那么，如何制作一个微信小程序？又需要投入多少资金呢？本文将为您提供全…...
WPS二次开发专题：如何获取应用签名SHA256值
作者持续关注WPS二次开发专题系列，持续为大家带来更多有价值的WPS开发技术细节，如果能够帮助到您，请帮忙来个一键三连，更多问题请联系我（QQ:250325397） 在申请WPS SDK授权版时候需要开发者提供应用包名和签…...
Flink SQL系列之：基于Flink SQL查询Topic中序列化的Debezium数据格式字段
Flink SQL系列之：基于Flink SQL查询Topic中序列化的Debezium数据格式字段 一、表结构二、查询Topic中表的数据三、反序列化字段一、表结构 CREATE TABLE IF NOT EXISTS record_rt (id decimal(20,0) COMMENT "主键",follow_entity_type <...
【WPF应用30】WPF中的ListBox控件详解
WPF（Windows Presentation Foundation）是.NET框架的一个组成部分，用于构建桌面应用程序的用户界面。ListBox是WPF中一个非常常用的控件，用于显示一系列的项，用户可以选择单个或多个项。 1.ListBox的基本概念 ListBox…...
Chatgpt掘金之旅—有爱AI商业实战篇（二）
演示站点： https://ai.uaai.cn 对话模块 官方论坛： www.jingyuai.com 京娱AI 一、前言： 成为一名商业作者是一个蕴含着无限可能的职业选择。在当下数字化的时代，作家们有着众多的平台可以展示和推广自己的作品。无论您是对写书、文…...
AGI时代，LLM可以在AutoML哪些环节进行增强？
当下大模型技术发展如火如荼，颇有改变各行业和各领域的架势。那么对于AutoML来讲，LLM对其有哪些助力？对于这个问题，我们来问一问kimi chat，看看它怎么回答？ 大型语言模型（LLM）可以在…...
算法练习—day1
title: 算法练习—day1 date: 2024-04-03 21:49:55 tags: 算法 categories:LeetCode typora-root-url: 算法练习—day1 网址：https://red568.github.io 704. 二分查找 题目： 题目分析： 左右指针分别为[left,right]，每次都取中…...
林州网站建设策划/直播发布会
今天的帖子是2014年1月的10个jQuery插件。注意：这些插件已在2014年1月制作或更新。希望您能找到有用的东西。 1. DropzoneJS 它是一个开放源代码库，提供带有图像预览的拖放文件上传。 来源演示 2. iView 世界上最出色的jQuery图像和内容滑块 来源演示 3.…...
德育工作网站建设方案/百度推广代理开户
试验网站#3搜索引擎优化收录情况记录日期Yahoogooglebaidusogou每日收录每日收录增量每日收录每日收录增量每日收录每日收录增量每日收录每日收录增量2007-7-7迁移至不限带宽的服务器，地理位置在美国2007-7-193650 1 6 0 2007-7-253703531141132216002007-7-263705…...
个人做的网站百度搜索不到/公众号怎么开通
TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems 白皮书pdf...
创建网站好的平台/广告营销案例分析
两种批处理方式： 采用Statement.addBatch(sql)方式实现批处理：•优点：可以向数据库发送多条不同的ＳＱＬ语句。•缺点：•SQL语句没有预编译。•当向数据库发送多条语句相同，但仅参数不同…...
响应式网站怎么写/网站推广要点
// socket已经连接成功 var socketOpen false // socket已经调用关闭function var socketClose false // socket发送的消息队列 var socketMsgQueue [] // 判断心跳变量 var heart // 心跳失败次数 var heartBeatFailCount 0 // 终止心跳 var heartBeatTimeOut null; //…...
花木网站模版/永久免费个人网站申请注册
1 FFmpeg录屏以及录音的命令 最近需要用到FFmpeg录制声卡中的声音，在cmd.exe的命令行中使用正常的录音命令： ffmpeg -f dshow -i audio"virtual-audio-capturer" -acodec aac f:\temp.aac是可以实现录制的 然后按照官方的按Q键暂停录制 也…...