当前位置: 首页 > news >正文

大型语言模型LLM - Finetuning vs Prompting

资料来自台湾大学李宏毅教授机器学课程ML 2023 Spring,如有侵权请通知下架

台大机器学课程ML 2023 Springicon-default.png?t=O83Ahttps://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php2023/3/10 课程 機器如何生成文句

内容概要

主要探讨了大型语言模型的两种不同期待及其导致的两类不同使用方式,具体内容如下:

 

  1. 两种不同期待
    • 成为专才:专注于解决某一个特定任务,在单一任务上有机会胜过通才。例如在翻译任务中,不同翻译系统的表现各有优劣,如 Google、DeepL、Tencent 和 ChatGPT 在不同语言对的翻译任务中准确率有所差异
    • 成为通才:期望模型具备多种能力,类似 ChatGPT 的路线,只要重新设计 prompt 就可以快速开发新功能,无需编写程序25。
  2. 不同期待导致的使用方式
    • 成为专才
      • 对预训练模型做改造
        • 加外挂(Head):如针对不同任务有 bertForSequenceClassification(单一句子分类任务)、bertForTokenClassification(单一句子标注任务)、用于问答任务的相关设置等,常见任务包括情感分析、命名实体识别、问答任务等
        • 微调和 Adapter:通过更新网络参数或在 adapter 中更新参数来实现,如在翻译任务中,不同的调整方式对模型的翻译能力有影响。100 个任务如果采用传统方式需要存 100 个大模型,而使用 adapter 则只需存 1 个大模型和 100 个 adapter。
    • 成为通才
      • 机器学会读题目叙述或范例
        • Instruction Learning(指令学习):通过题目叙述让机器理解任务要求,如英语语法选择题目,给出情境和选项,让机器选择正确答案121212。
        • In - context Learning(上下文学习):通过给出范例让机器学习,如情感分析任务中,给出不同情感倾向的句子作为范例,让机器判断新句子的情感。包括分类任务(如判断句子情感倾向)、多选项任务(如选择合适的输出)等,还涉及不同模型在该学习方式下的表现及相关研究。
      • Instruction - tuning(指令微调):如 FLAN 模型在多种任务类型上的表现,涵盖自然语言推理、阅读理解、闭卷问答等任务。还涉及 Chain of Thought(CoT)Prompting(思维链提示)相关内容,包括标准提示和思维链提示在数学应用题等任务中的不同表现,以及思维链提示中的 Few - shot、Few - shot - CoT、Self - consistency 等方法的应用,还有 Problem Reduction(问题分解)方法在解决问题时的步骤和示例。
      • 用机器来找 Prompt:包括 Hard Prompt 和 Soft Prompt,可通过任务特定的标记数据训练、在输入添加 Adapter、使用强化学习、利用语言模型(如 GPT - 3、BlenderBot、DialoGPT 等)来找 Prompt,如使用正向生成模板、让语言模型遵循指令生成内容等方式,并且有不同方法在准确率上的对比。

  • 專才的期待要求模型專注於特定任務,因此需要進行微調和配置;而通才的期待則是希望模型能夠靈活應對多種任務,自然語言下指令即可,無需要頻繁調整。
  • GPT專注於生成任務,例如文字接龍,而BERT則是填空任務,主要關注於理解句子結構和補全缺失部分,兩者的應用場景和使用方式大相逕庭。

 

【生成式AI】Finetuning vs. Prompting:對於大型語言模型的不同期待所衍生的兩類使用方式 (1/3) Go to original video by Hung-yi Leeicon-default.png?t=O83Ahttps://youtube.com/watch?v=F58vJcGgjt0

【生成式AI】Finetuning vs. Prompting:對於大型語言模型的不同期待所衍生的兩類使用方式

大型語言模型的兩種期待

“人們對大型語言模型有兩種不同的期待。”

  • 大型語言模型在歷史上引發了兩種截然不同的期待。第一種期待是希望這些模型能作為解決特定問題的專才,例如翻譯或摘要生成。使用者小心地調整模型,使其專注於特定任務。這意味著對模型的使用需要一定的改造與微調,以確保它能履行特定的功能。

  • 第二種期待則是希望大型語言模型成為一個通才,具備解決多元任務的能力。這種期待要求模型能夠理解並執行用戶以自然語言下的指令,而不需要事先進行特別調整。這樣的模型會以更靈活的方式來處理用戶的各種需求。

GPT與BERT的差異

“GPT做的事情就是文字接龍,而BERT則是文字填空。”

  • GPT和BERT都是知名的語言模型,卻擁有不同的工作方式。GPT擅長進行“文字接龍”,透過上下文補全句子,使得用戶能夠自然而流暢地進行對話。

  • 相對而言,BERT主要執行“文字填空”的任務。它的工作是接收一段文字時,將其中的缺失部分進行填充。這種填空方式使BERT能夠在理解和生成語言時有著不同的應用場景,尤其在多任務的自然語言處理中。

使用大型語言模型的方式

“這兩種期待導致兩種不同類型的使用與大型語言模型的方式。”

  • 第一種期待,針對專才的期望,通常使用BERT類的模型,這類模型需要進行專門的外掛和參數微調,讓它們能夠專注於特定的任務。例如,對BERT進行翻譯任務時,就必須進行參數調整,來專注於翻譯這一任務。

  • 而第二種期待則是在通才模式下使用大型語言模型,如GPT。用戶能夠直接使用自然語言來給模型下指令,讓模型進行翻譯、摘要等任務,無需過多的調整。這樣的模式在使用上更加靈活,也讓開發新功能變得更加迅速和簡便。

【生成式AI】Finetuning vs. Prompting:對於大型語言模型的不同期待所衍生的兩類使用方式 (2/3) Go to original video by Hung-yi Leeicon-default.png?t=O83Ahttps://youtube.com/watch?v=aZ_jXZvxyVg

  • 機器理解人類指令的過程涉及透過範例及任務敘述來學習,機器依賴這些信息來解析和執行特定的任務。
  • 選擇通才能夠讓模型在不同的任務上保持靈活性,提高適應性,並能有效地處理未來可能遇到的各種任務類型。

【生成式AI】Finetuning vs. Prompting:對於大型語言模型的不同期待所衍生的兩類使用方式

機器如何成為通才的探索

我們希望機器能夠閱讀任務的敘述,並根據範例進行學習。

  • 機器需具備理解任務敘述的能力,以便能夠按照人類的指令執行任務。為達成這一目標,我們會為機器提供一些範例作為參考,使其能夠理解該執行的任務類型。

  • 這樣的學習方式稱為「Instruction learning」,透過精心設計的敘述與範例來引導機器的行為,使其更像人類。

  • 在這個過程中,機器的學習能力會逐漸進化,並能根據不同任務自動調整其反應。

Instruction Learning與In-context Learning的定義

給定任務敘述和範例之後,機器能夠正確地回答問題。

  • Instruction learning是指機器學習如何解讀指令並執行任務的過程,而In-context learning則是指根據提供的範例進行學習和回答問題的方式。

  • 這兩種學習模式是ChatGPT系列希望達成的核心目標。

  • 因為過去其他模型如BERT主攻專才微調,GPT系列則選擇朝著通才發展,這使得它在面對多種任務時能夠保持靈活性和適應性。

微調與通才模型的選擇

GPT系列不選擇像BERT一樣微調參數,而是專注於通才模型的開發。

  • OpenAI在一開始就抱有高期待,希望創建能夠理解各種人類指令的通才模型,這代表了他們對於人工智慧未來的一種高瞻遠矚的見解。

  • 相較於BERT的專才導向,GPT系列採取的路線是尋求創新,讓機器在多樣化的任務中表現出色而非僅僅對單一任務進行微調。

  • 微調這條路或許相對狹隘,因此選擇更為大膽、通才的做法讓其具有更廣泛的應用潛力。

Machine Learning以範例學習的實驗

基於範例機器學習的過程有賴於示範是否正確。

  • 進行情感分析時,我們不能僅僅給機器一個句子,還需要告訴它任務的類型以及它應該如何回應。透過提供正確的範例,機器能學會判別句子的情感。

  • 然而,研究表明即使範例標記出現錯誤,機器的表現下降仍然有限,顯示出其內在的理解能力或許不完全依賴範例的精確性。

  • 此外,如果範例的內容與目標任務差異過大,則學習效果會顯著降低,表明範例的相關性對於機器學習成效至關重要。

 

 

相关文章:

大型语言模型LLM - Finetuning vs Prompting

资料来自台湾大学李宏毅教授机器学课程ML 2023 Spring,如有侵权请通知下架 台大机器学课程ML 2023 Springhttps://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php2023/3/10 课程 機器如何生成文句 内容概要 主要探讨了大型语言模型的两种不同期待及其导致的两类…...

【IEEE独立出版 | 厦门大学主办】第四届人工智能、机器人和通信国际会议(ICAIRC 2024,12月27-29日)

第四届人工智能、机器人和通信国际会议(ICAIRC 2024) 2024 4th International Conference on Artificial Intelligence, Robotics, and Communication 重要信息 会议官网:www.icairc.net 三轮截稿时间:2024年11月30日23:59 录…...

【GPT】力量训练是什么,必要吗,有可以替代的方式吗

什么是力量训练? 力量训练是一种通过抵抗力(如重量、阻力带、自身体重等)来刺激肌肉收缩,从而提高肌肉力量、耐力和体积的运动形式。它包括以下常见形式: 自由重量训练:使用哑铃、杠铃、壶铃等。固定器械…...

【03】Selenium+Python 八种定位元素方法

操作元素,需要先查找定位到对应的元素。 查找单个元素:driver.find_element() 返回是一个web element 对象 查找多个元素:driver.find_elements() 返回是一个list对象 By 是 Selenium 中一个非常重要的类,用于定位网页元素。 使…...

笔记:jQuery追加js时会自动加“_时间戳“参数,导致百度统计失败

问题描述: $(document.createElement("script")).attr(id, baidutj).attr(src, https://hm.baidu.com/hm.js?xxx).appendTo(body); 会自动给src加_时间戳的参数? 问题解疑: 【未完待续…】 问题解决: 老老实实按它…...

【PyTorch】(基础二)---- 张量

张量 在 PyTorch 中,张量(Tensor)是核心数据结构,类似于 NumPy 中的数组,但具有更强的计算能力和对 GPU 的支持。 创建 从列表或数组创建 import torch# 从列表创建 tensor_from_list torch.tensor([1, 2, 3, 4])…...

充满智慧的埃塞俄比亚狼

非洲的青山 随着地球温度上升,贝尔山顶峰的冰川消失殆尽,许多野生动物移居到海拔3000米以上的高原上生活,其中就包括埃塞俄比亚狼。埃塞俄比亚狼是埃塞俄比亚特有的动物,总数不到500只,为“濒危”物种。 埃塞俄比亚狼…...

基于STM32设计的智能桌面暖风机(华为云IOT)

一、前言 1.1 项目开发背景 随着智能家居技术的迅猛发展,传统家用电器正逐步向智能化方向转型。暖风机作为冬季广泛使用的取暖设备,其智能化升级不仅能够提高用户的使用体验,还能通过物联网技术实现远程控制和数据监控,赋予其更…...

零基础学安全--云技术基础

目录 学习连接 前言 云技术历史 云服务 公有云服务商 云分类 基础设施即服务(IaaS) 平台即服务(PaaS) 软件即服务(SaaS) 云架构 虚拟化 容器 云架构设计 组件选择 基础设施即代码 集成部署…...

Spring Boot中配置Flink的资源管理

在 Spring Boot 中配置 Flink 的资源管理&#xff0c;需要遵循以下步骤&#xff1a; 添加 Flink 依赖项 在你的 pom.xml 文件中&#xff0c;添加 Flink 和 Flink-connector-kafka 的依赖项。这里以 Flink 1.14 版本为例&#xff1a; <!-- Flink dependencies --><de…...

51单片机从入门到精通:理论与实践指南入门篇(二)

续51单片机从入门到精通&#xff1a;理论与实践指南&#xff08;一&#xff09;https://blog.csdn.net/speaking_me/article/details/144067372 第一篇总体给大家在&#xff08;全局&#xff09;总体上讲解了一下51单片机&#xff0c;那么接下来几天结束详细讲解&#xff0c;从…...

Notepad++ 替换所有数字给数字加单引号

前言 今天遇到这样一个场景&#xff1a; 要去更新某张表里 code1,2,3,4,5,6 的数据&#xff0c;把它的 name 设置为 ‘张三’ 但是 code在数据库里面的字段类型是 vachar(64)&#xff0c;它自身携带索引 原本可以这样写 SQL: update tableA set namezhangsan where code in …...

【CANOE】【Capl】【RS232】控制串口设备

系列文章目录 内置函数&#xff0c;来控制传统的串口设备&#xff0c;比如继电器等 文章目录 系列文章目录前言一、控制串口二、自定义相关的参数RS232Configure**函数语法****函数功能****参数说明****返回值****示例代码** 三、回调函数的使用RS232OnSend**函数语法****函数…...

查找相关题目

1.顺序查找法适合于存储结构为&#xff08;B &#xff09;的线性表。 A.散列存储 B.顺序存储或链式存储 C.压缩存储 D.索引存储 顺序查找法的特点 2.适用于折半查找的表的存储方式及元素排列要求为(D ) 。 A.链接方式存储&#xff0c;元素无序 B.链接方式存储&#xff0…...

《独立开发:Spring 框架的综合应用》

一、Spring 框架概述 Spring 是一个分层的 Java SE/EE full-stack 轻量级开源框架&#xff0c;以 IoC 和 AOP 为内核&#xff0c;具有方便解耦、方便集成优秀框架、降低 Java EE API 使用难度等优点。 Spring 框架因其强大的功能以及卓越的性能而受到众多开发人员的喜爱。它是…...

数据工程流程

** 数据工程流程图** #mermaid-svg-ArT55xCISSfZImy3 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-ArT55xCISSfZImy3 .error-icon{fill:#552222;}#mermaid-svg-ArT55xCISSfZImy3 .error-text{fill:#552222;stroke…...

Linux宝塔部署wordpress网站更换服务器IP后无法访问管理后台和打开网站页面显示错乱

一、背景&#xff1a; wordpress网站搬家&#xff0c;更换服务器IP后&#xff0c;如果没有域名时&#xff0c;使用服务器IP地址无法访问管理后台和打开网站页面显示错乱。 二、解决方法如下&#xff1a; 1.wordpress搬家后&#xff0c;在新服务器上&#xff0c;新建站点时&am…...

区块链知识体系

1. 区块链基础知识 Q: 什么是区块链&#xff1f; A: 区块链是一种去中心化的分布式账本技术&#xff0c;通过加密算法保证数据的不可篡改性和透明性。它由一系列按时间顺序链接的区块组成&#xff0c;每个区块包含一批交易记录。 Q: 区块链的主要特点是什么&#xff1f; 去…...

力扣第 66 题 “加一”

题目描述 给定一个由 非负整数组成的非空数组&#xff0c;表示一个整数。在该整数的基础上加一。 最高位数字在数组的首位&#xff0c;数组中每个元素只存储单个数字。 你可以假设除了整数 0 之外&#xff0c;这个整数不会以零开头。 示例 1: 输入: digits [1,2,3] 输出:…...

C语言数据结构与算法--简单实现队列的入队和出队

&#xff08;一&#xff09;队列的基本概念 和栈相反&#xff0c;队列(Queue)是一种先进先出&#xff08;First In First Out&#xff09;的线性表。只 允许在表的一端进行插入&#xff0c;而在另一端删除元素&#xff0c;如日常生活中的排队现象。队列中 允许插入的一端叫队尾…...

Java 语言特性(面试系列2)

一、SQL 基础 1. 复杂查询 &#xff08;1&#xff09;连接查询&#xff08;JOIN&#xff09; 内连接&#xff08;INNER JOIN&#xff09;&#xff1a;返回两表匹配的记录。 SELECT e.name, d.dept_name FROM employees e INNER JOIN departments d ON e.dept_id d.dept_id; 左…...

7.4.分块查找

一.分块查找的算法思想&#xff1a; 1.实例&#xff1a; 以上述图片的顺序表为例&#xff0c; 该顺序表的数据元素从整体来看是乱序的&#xff0c;但如果把这些数据元素分成一块一块的小区间&#xff0c; 第一个区间[0,1]索引上的数据元素都是小于等于10的&#xff0c; 第二…...

RocketMQ延迟消息机制

两种延迟消息 RocketMQ中提供了两种延迟消息机制 指定固定的延迟级别 通过在Message中设定一个MessageDelayLevel参数&#xff0c;对应18个预设的延迟级别指定时间点的延迟级别 通过在Message中设定一个DeliverTimeMS指定一个Long类型表示的具体时间点。到了时间点后&#xf…...

Java 语言特性(面试系列1)

一、面向对象编程 1. 封装&#xff08;Encapsulation&#xff09; 定义&#xff1a;将数据&#xff08;属性&#xff09;和操作数据的方法绑定在一起&#xff0c;通过访问控制符&#xff08;private、protected、public&#xff09;隐藏内部实现细节。示例&#xff1a; public …...

FFmpeg 低延迟同屏方案

引言 在实时互动需求激增的当下&#xff0c;无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作&#xff0c;还是游戏直播的画面实时传输&#xff0c;低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架&#xff0c;凭借其灵活的编解码、数据…...

基于服务器使用 apt 安装、配置 Nginx

&#x1f9fe; 一、查看可安装的 Nginx 版本 首先&#xff0c;你可以运行以下命令查看可用版本&#xff1a; apt-cache madison nginx-core输出示例&#xff1a; nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...

DAY 47

三、通道注意力 3.1 通道注意力的定义 # 新增&#xff1a;通道注意力模块&#xff08;SE模块&#xff09; class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...

电脑插入多块移动硬盘后经常出现卡顿和蓝屏

当电脑在插入多块移动硬盘后频繁出现卡顿和蓝屏问题时&#xff0c;可能涉及硬件资源冲突、驱动兼容性、供电不足或系统设置等多方面原因。以下是逐步排查和解决方案&#xff1a; 1. 检查电源供电问题 问题原因&#xff1a;多块移动硬盘同时运行可能导致USB接口供电不足&#x…...

在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module

1、为什么要修改 CONNECT 报文&#xff1f; 多租户隔离&#xff1a;自动为接入设备追加租户前缀&#xff0c;后端按 ClientID 拆分队列。零代码鉴权&#xff1a;将入站用户名替换为 OAuth Access-Token&#xff0c;后端 Broker 统一校验。灰度发布&#xff1a;根据 IP/地理位写…...

【Web 进阶篇】优雅的接口设计:统一响应、全局异常处理与参数校验

系列回顾&#xff1a; 在上一篇中&#xff0c;我们成功地为应用集成了数据库&#xff0c;并使用 Spring Data JPA 实现了基本的 CRUD API。我们的应用现在能“记忆”数据了&#xff01;但是&#xff0c;如果你仔细审视那些 API&#xff0c;会发现它们还很“粗糙”&#xff1a;有…...