ICLR 2022—你不应该错过的 10 篇论文(下)
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
ICLR 2023已经放榜,但是今天我们先来回顾一下去年的ICLR 2022!
ICLR 2022将于2022年 4 月 25 日星期一至 4 月 29 日星期五在线举行(连续第三年!)。它是机器学习研究领域规模最大、最受欢迎的会议之一,它汇集了超过 1000 篇论文、19 个研讨会和 8 个特邀报告。主题涵盖 ML 理论、强化学习 (RL)、计算机视觉 (CV) )、自然语言处理 (NLP)、神经科学等等。如果我们想要对这一庞大的内容阵容有所了解,就必须进行挑选,我们已经根于现有信息,挑选出10篇最能激起我们兴趣的论文。事不宜迟,快来看看吧!
6.Exploring the Limits of Large Scale Pre-training
标题: 探索大规模预训练的极限
作者:Samira Abnar、Mostafa Dehghani、Behnam Neyshabur、Hanie Sedghi
文章链接:https://openreview.net/forum?id=V3C8p78sDa
作者的 TL;DR
我们对具有广泛下游任务的图像识别中的小样本和迁移学习的大规模预训练的局限性进行了系统研究。对具有广泛下游任务的图像识别中的小样本和迁移学习的大规模预训练的局限性进行了系统研究。
关键见解
“As we increase the upstream accuracy, the performance of downstream tasks saturates”研究了上游 (US) 任务(例如大规模 ImageNet 标签)的预训练性能如何转移到下游 (DS) 性能(例如鲸鱼检测)。然后对很多架构和规模做这个实验:很多意思是很多:“在 Vision Transformers、MLP-Mixers 和 ResNets 上进行了 4800 次实验,参数数量从一千万到一百亿不等,在最大规模的可用图像数据上进行了训练”。因此,有趣的图代表了上游性能(美国,预训练)和下游性能(DS,结束任务)之间的关联。几乎全面,它最终会饱和。尽管如此,看到计算机视觉体系结构之间的差异还是非常有趣的!
作者声称,他们的观察总体上似乎对上游数据的大小或训练镜头的数量以及架构选择等选择具有稳健性。他们还探讨了超参数选择的影响:是否有一些超参数对美国非常好但不能很好地转化为 DS?是的!他们在第 4 节中深入研究了这一现象,发现例如,权重衰减是一个特别显着的超参数,它对 US 和 DS 性能的影响不同。在没有人真正从头开始训练模型而是选择预训练模型来引导其应用的情况下,这项研究是关键。这篇论文的内容远远超过几段可以概括的内容,如果您想深入了解,绝对值得一读!
7. Language modeling via stochastic processes
标题: 通过随机过程进行语言建模
作者:Rose E Wang, Esin Durmus, Noah Goodman, Tatsunori Hashimoto
文章链接:https://openreview.net/forum?id=pMQwKL1yctf
作者的 TL;DR
我们介绍了一种通过潜在随机过程隐式计划的语言模型。现代大型生成语言模型非常擅长编写短文本,但当它们生成长文本时,往往会失去全局连贯性,事情就不再有意义了。本文提出了一种缓解这种情况的方法
关键见解
典型语言模型 (LM) 仅在令牌粒度级别生成文本,这严重偏向模型学习短程交互而不是远程交互,这正是实现连贯全局所需的技能叙述。这项工作建议在较粗略的句子层次上对语言进行建模,作为一个随机过程,引导 LM 生成在全球范围内保持一致。所提出的模型称为时间控制,它将句子表示建模为潜在空间中的布朗运动。对于训练,给定两个开始和结束锚句,通过使锚句内的正句子落入潜在空间中锚句表示的“布朗桥”内,然后使用负样本来设置对比损失被推出(图 1)。我之前也不知道布朗桥是什么:起点和终点位置固定的布朗(摇晃)轨迹。为了进行推理,通过从潜在空间中的布朗过程中采样生成句子级别的计划,然后以该高级计划为条件生成标记级别的语言(图 2)。
结果非常有趣,尤其是在话语连贯性准确性方面,时间控制是其中的亮点。这项工作提出了一个有前途的方向,可以让 LM 克服经典限制,而无需进入万亿参数尺度体系。
8. Coordination Among Neural Modules Through Shared Global Workspace
标题: 通过共享的全局工作空间协调神经模块
作者:Anirudh Goyal、Aniket Didolkar、Alex Lamb、Kartikeya Badola
文章链接:https://openreview.net/forum?id=XzTtHjgPDsT
作者的 TL;DR
不同专家之间的交流使用共享工作空间,允许更高阶的交互。受大脑启发的模块化神经架构正在兴起;尽管他们在流行的计算机视觉或自然语言处理基准测试中缺乏成功,但他们在稳健性、域外泛化甚至学习因果机制方面都显示出可喜的成果。
关键见解
全球工作空间理论 (GWT) 是一种拟议的认知架构,用于解释人类有意识和无意识思维过程的表现方式。它的核心假设之一是存在一个所有专业模块都可以访问的共享工作区,从而实现其他孤立模块之间的一致性。本文概念化了一种神经网络架构,其中一组输入由专家神经网络处理,然后写入共享工作区——一组向量——然后再次广播给专家。这听起来可能比实际情况更奇特。例如,想象一个处理输入序列的 Transformer,您可以将位置操作概念化为专家。共享工作区对允许在共享全局工作区中更新多少更新的隐藏状态施加了一个条件,施加了一定程度的稀疏性,这已被证明可以提高稳健性和域外泛化。
与这类作品一样,它们在不太流行的任务和评估模式上表现良好,但在域内评估方面不会优于单体网络,因此它们不会成为许多头条新闻。不过,这是一个非常有趣的工作线,值得关注。
9. Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System
标题: 学快,学慢:一种基于互补学习系统的通用持续学习方法
作者:Elahe Arani、Fahad Sarfraz 和 Bahram Zonooz
文章链接:https://openreview.net/forum?id=uxxFrDwrE7Y
作者的 TL;DR
一种双重记忆体验重播方法,旨在模仿快速学习和慢速学习机制之间的相互作用,以在 DNN 中实现有效的 CL。丹尼尔·卡尼曼 (Daniel Kahneman) 推广的人类思维模式的二分法——快和慢——是人类思维方式的核心。本文从这个想法中汲取灵感,构建了一个利用快速和慢速学习来改进持续学习的架构。
关键见解
持续学习是一种让模型通过将其暴露于新数据或与动态环境交互来逐渐扩展其知识的方法。举个例子,考虑一个模型,它最初只学习用 0 到 7 的数字对图像进行分类,然后被教导识别数字 8 和 9,而不会忘记前面的数字。目标是能够利用现有知识更有效地学习新事物,就像人类一样。为此,本文提出了一种针对 2 个时间尺度的记忆体验重放系统:长时间和短时间。主要创新之一是语义记忆的使用:两个神经网络代表可塑性和稳定模型。为了实现快速和短期学习,稳定模型由快速模型的指数移动平均值组成:这使得两个模型具有一致的权重,但稳定模型的演化比塑料模型更慢、更平滑,塑料模型对变化更敏感最新数据。该技术已用于其他设置,例如 BYOL⁵ 等对比学习。储存库充当情景记忆,保留数据流样本,从而减轻灾难性遗忘。
实验在 3 个任务上表现出色:
-
类增量学习:在分类设置中逐渐添加新类。
-
域增量学习:在不添加新类的情况下引入数据的分布变化。
-
一般增量学习:将模型暴露给新类实例和数据的快速分布,例如 MNIST 分类任务中的旋转数字。
10. Autonomous Reinforcement Learning: Formalism and Benchmarking
标题: 自主强化学习:形式主义和基准测试
作者:Archit Sharma、Kelvin Xu、Nikhil Sardana、Abhishek Gupta
文章链接:https://openreview.net/forum?id=nkaba3ND7B5
作者的 TL;DR
大多数 RL 基准测试都是偶发的:代理通过在每次代理失败时完全重新启动的环境中执行任务来学习。人类很少在这种情况下学习:当我们重新尝试做某事时,环境不会重新启动!如果机器人注定要出现在现实世界中,为什么我们仍然在情景基准测试中评估大多数 RL 算法?
关键见解
这项工作提出了一个专注于非情景强化学习的基准,作者将其称为自主强化学习环境 (EARL),希望它与现实世界相似。从技术上讲,EARL 是良好的旧 RL 的一个子集,其中环境随着代理与其交互而不断发展,而不是在每一集结束时重置。然而,这在实践中很少完成,因此这项工作通过建立形式主义(例如,学习代理、环境、奖励、政策评估、干预等概念的定义和数学公式)奠定了基础。您可以在他们的项目页面上找到这项工作的概述,并且已经开始使用基准通过从 GitHub 克隆基准存储库来评估您的算法。
更多Ai资讯:公主号AiCharm
相关文章:
ICLR 2022—你不应该错过的 10 篇论文(下)
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 ICLR 2023已经放榜,但是今天我们先来回顾一下去年的ICLR 2022! ICLR 2022将于2022年 4 月 25 日星期一至 4 月 29 日星期五在线举行(连续第三年!&#x…...
国内外优秀程序员的私域博客大全
文章目录 国内外优秀程序员的私域博客大全**国内的优秀程序员****国外的优秀程序员**结语国内外优秀程序员的私域博客大全 国内的优秀程序员 1、风雪之隅-惠新宸 擅长领域:PHP、PECL等 Laruance惠新宸——国内最有影响力的PHP技术专家,PHP开发组核心成员, Zend顾问, PHP7及…...
【C++ Primer Plus】第六章:分支语句和逻辑运算符
文章目录第六章 分支语句和逻辑运算符6.1 字符函数库cctype6.2 ?:运算符6.3 读取数字的输入6.4 cin的处理过程char类型intdoublechar数组使用char数组来存储输入6.5 写入到文本文件中6.6 读取文本文件6.7 总结第六章 分支语句和逻辑运算符 6.1 字符函数库cctype C从C语言继承…...
堡垒机的主要功能是什么?为什么需要堡垒机?
堡垒机是一种用于管理和控制服务器的工具,其主要功能是为管理人员提供安全、便捷的远程管理和操作方式。为什么需要堡垒机呢?下面我们将详细阐述堡垒机的主要功能和必要性。 一、堡垒机的主要功能: ①、用户认证和授权管理:堡垒机…...
记录spring中Transactional事务注解失效的六个场景
记录spring中Transactional事务注解失效的六个场景 方法内的自调用 原因:通过this内部调用其他带有Transactional注解的方法,是通过this进行调用,并没有通过cglib代理对象进行调用,导致方法未被增强导致无法检测内部事务 解决方…...
【23种设计模式】行为型模式详细介绍(下)
前言 本文为 【23种设计模式】行为型模式 相关内容介绍,下边将对访问者模式,模板模式,策略模式,状态模式,观察者模式,备忘录模式,中介者模式,迭代器模式,解释器模式&…...
dbeaver工具连接达梦数据库
、一 概述 DBeaver 是一个基于 Java 开发,免费开源的通用数据库管理和开发,DBeaver 采用 Eclipse 框架开发,支持插件扩展,并且提供了许多数据库管理工具:ER 图、数据导入/导出、数据库比较、模拟数据生成等࿰…...
比Teambition、Worktile 更适合研发团队的几大工具盘点
Worktile 和 Teambitiom 哪个更好?两个产品各有特点。1.Teambition 优势:操作简单、个人版永不收费、更适合小型团队;2.Teambition 劣势:无法满足中大型团队复杂的项目管理、自定义能力弱、无法与钉钉以外的工具打通等;…...
matlab图像处理常用功能以及函数
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、matlab灰度处理相关二、形态学的一些函数1.腐蚀2.膨胀3.开运算4.闭运算三、其他一些可能会用到的方法1.使用hough进行直线检测2.圆检测3.闭合形状检测4.寻找…...
eBPF 之 ProgramType、AttachType和InputContext
1. ProgramType 定义定义在 include/uapi/linux/bpf.h 文件中,不同 Linux 版本会有变化,以下是 Linux 5.19 版本定义:enum bpf_prog_type {BPF_PROG_TYPE_UNSPEC,BPF_PROG_TYPE_SOCKET_FILTER,BPF_PROG_TYPE_KPROBE,BPF_PROG_TYPE_SCHED_CLS,…...
C++运行时类型识别RTTI
C技能 runtime type identification(RTTI) 运行时类型识别在使用多态的时候经常用到。本文将会介绍RTTI的几个特征。1. 运行时类型转换下面的程序模仿了dynamic_cast<type_id>()类型转化符号,根据每个类的id来判断当前的类型,如果id不匹配…...
idea多时编辑多行-winmac都支持
1背景介绍 idea编辑器非常强大,其中一个功能非常优秀,很多程序员也非常喜欢用。这个功能能够大大大提高工作效率-------------多行代码同时编辑 2win 2.1方法1 按住alt鼠标左键上/下拖动即可 这样选中多行后,可以直接多行编辑。 优点&a…...
BI是报表?BI是可视化?BI到底是什么?
很多企业认为只要买一个前端商业智能BI分析工具就可以解决企业级的商业智能BI所有问题,这个看法实际上也不可行的。可能在最开始分析场景相对简单,对接数据的复杂度不是很高的情况下这类商业智能BI分析工具没有问题。但是在企业的商业智能BI项目建设有一…...
Python基础-数据类型之元组
一、元组的定义 nums (1, 2, 3, 4, 5) 元组是序列的其中一种,每个元素都以逗号分隔,用()包围。 当元组中只有一个元素时,需要在元素后面加逗号分隔,nums (1,),否则括号会被当成运算符 nums (1) print(type(nums…...
大数据面试小抄
项目地址:https://github.com/GTyingzi/BigDATA 该项目是自己在学习大数据过程中整理、总结下来的一份面试小抄。涵盖Hadoop、Spark、Flink、Hive、HBae、Kafka、ES、Zookeeper等。 开源给大家,若感觉不错欢迎star~ 摘取Flink部分如下文章目录FlinkFli…...
Vue:(三十一)Vue封装的过度与动画
上一篇订阅与发布不够过瘾,接着再来一篇,come on!!!作用:在插入、更新或移除DOM元素时,在合适的时候给元素添加样式类名写法:过度:元素进入的样式:v-enter&am…...
文本处理:字符串替换
方法1:str.replace str.replace(old, new[, count]) Return a copy of the string with all occurrences of substring old replaced by new. If the optional argument count is given, only the first count occurrences are replaced. 该方法逻辑大致如下所示&am…...
python 调用 dll 出现精度问题
问题:python 在调用dll 的时候出现了精度问题 总结:使用decimal库进行转换就可以正常传递。 ‘ 心急的朋友可以略过下文了。 心急的朋友可以略过下文了。 心急的朋友可以略过下文了。 心急的朋友可以略过下文了。 ’ 遇到的问题具体情况 dll 生成函数…...
STL讲解——模拟实现string
STL讲解——模拟实现string 经典的string类问题 大厂在面试中,面试官总喜欢让学生自己来模拟实现string类,最主要是实现string类的增、删、查、改、构造、拷贝构造、赋值运算符重载以及析构函数。大家看下自己可不可以写一个string类? cla…...
CDH 6.3.2 升级Hive 2.3.9
升级背景 DolphinScheduler 3.1.1安装好后,其源码中集成的是Hive 2.1.1,版本太低,当在数据中心连接Hive数据源时报错,所以升级CDH自带的Hive为2.3.9版本。 一、准备工作 1、下载hive2.3.9并解压 下载地址:http://a…...
距离不是拦截我们前进的主因,与社科院杜兰金融硕士一起奔赴山海
最近有咨询社科院杜兰金融管理硕士项目的同学反馈他在西安,读研来北京上课太远了。一直在纠结要不要申请,其实距离不是问题,相向而行才是关键。在项目就读的同学好多也是来自外地,他们克服了种种困难来到项目学习,就是…...
【SpringBoot】MyBatis-plus 报错 sqlSessionFactory sqlSessionTemplate 最新解决办法
本文针对 MyBatis-plus,对于 MyBatis 报相同的错误,可以看这个大佬的文章:SpringBoot3整合MyBatis报错:Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are required 针对报错如下: Property sqlSessionF…...
jsp诊疗预约系统Myeclipse开发mysql数据库web结构java编程计算机网页项目
一、源码特点 jsp诊疗预约系统 是一套完善的web设计系统,对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,系统主要采用B/S模式开发。开发环境为TOMCAT7.0,Myeclipse8.5开发,数据库为Mysql,使用jav…...
详解 APISIX Lua 动态调试插件 inspect
作者罗锦华,API7.ai 技术专家/技术工程师,开源项目 pgcat,lua-resty-ffi,lua-resty-inspect 的作者。 原文链接 为什么需要 Lua 动态调试插件? Apache APISIX 有很多 Lua 代码,如何在运行时不触碰源代码的…...
#科研筑基# python初学自用笔记 第五篇 函数
调用函数python有很多内置函数,我们可以直接调用,详见python官方文档:内置函数 — Python 3.11.2 文档,也可以在命令行中输入help(函数名)来查看该函数的使用法则。函数名的本质就是指向一个函数对象的引用,完全可以用…...
设计模式之策略模式
一.基本内容1 . 实例有各种鸭子(野鸭,北京鸭子,水鸭等,鸭子有各种行为,比如飞,叫等显示鸭子的信息传统方法解决:鸭子为抽象类,具体鸭子继承抽象类2.传统方法的不足:其他鸭…...
dbdeployer 使用札记
https://github.com/datacharmer/dbdeployer默认配置文件为当前用户的$HOME/.dbdeployer/config.json作为配置文件,可以通过dbdeplyoer defaults export导出并修改配置或者直接通过dbdeployer defaults update来更新默认文件,配置文件包含MySQL初始信息。…...
MATLAB算法实战应用案例精讲-【图像处理】数字图像模糊化(附Java、python和matlab代码实现)
目录 前言 几个相关概念 噪声 滤波器 算法原理 算法思想 噪...
搭建Hexo博客-第1章-Git和GitHub以及Coding的简单用法
搭建Hexo博客-第1章-Git和GitHub以及Coding的简单用法 搭建Hexo博客-第1章-Git和GitHub以及Coding的简单用法 Coding GitHub Hexo Markdown 搭建博客 大家好,这是我第一次写博客。使用 GitHub Hexo 创建最基本的博客很容易,网上有很多现成的教程。…...
【C++修行之路】C/C++内存管理
文章目录程序区域内存划分C语言动态内存分配:new和delete:new、delete和malloc、free的区别:程序区域内存划分 C/C程序内存区域划分非常相似。 C语言动态内存分配: malloc、calloc、realloc都是C语言动态开辟内存的常用函数 其中 malloc 开…...
网站模版保护域名跳转/网络营销竞价推广
在node_modules文件夹中找到react-scripts包 路径/node_modules/react-scripts/config/webpack.config.js找到const shouldUseSourceMap process.env.GENERATE_SOURCEMAP ! false;将这一行代码注释在下面添加一行 const shouldUseSourceMap false;重启终端,重新…...
比较好的手机网站/如何做宣传推广营销
webarchive 文件是 Mac 系统 Safari 浏览器的存档文件,是保存网页内容的特殊文件格式 Mac OS X 系统带有文件转换功能,可以把 webarchive 文件变成 html 文件 打开终端输入命令: textutil -convert html *.webarchive...
建筑公司网站的目标用户/seo的培训班
vue实现搜索显示历史搜索记录,采用插件-good-storage安装插件npm install good-storage -S在本地新建cache.js文件,该文件是关于本地存储的逻辑处理(缓存到本地的数据最大缓存15条,并且新的插入在第一位,首先得到当前的存储数据情况,将关键字…...
小型网站建设源码/360外链
SHOW CREATE TABLE table1;#查看建表信息 --查询结果如下 CREATE TABLE table1 (id INT(11) DEFAULT NULL,name VARCHAR(30) DEFAULT NULL,FULLTEXT KEY wuhu (name) ) ENGINEMYISAM DEFAULT CHARSETlatin1;SHOW VARIABLES LIKE character%;#查看系统字符集 SHOW FULL COLUMNS …...
北京 网站建设 公/微信广告推广平台
我的应用程序是一个多线程程序.每个线程将执行一组测试用例.我的想法是为每个线程创建一个新的WebDriver实例,并在完成时关闭实例.例如:我有100个测试用例,将由10个线程执行.每个线程拥有10个测试用例的所有权.到目前为止,每个测试用例都打开了一个浏览器实例.取而代…...
请人做装修设计上什么网站/北京疫情最新数据
文章目录什么是Nginx?为什么要用Nginx?为什么Nginx性能这么高?Nginx怎么处理请求的?什么是正向代理和反向代理?使用“反向代理服务器的优点是什么?Nginx的优缺点?Nginx应用场景?Nginx目录结构有…...