当前位置： 首页 > news >正文

天才简史——Diederik P. Kingma与他的Adam优化器

news 文章来源：https://blog.csdn.net/Time_Memory_cici/article/details/139841911 2024/10/23 6:31:49

一、了解Diederik P. Kingma

发生日期：2024年6月18日
前几日，与实验室同门一同前往七食堂吃饭。饭间，一位做随机优化的同门说他看过一篇被引18w+的文章。随后，我表示不信，说你不会数错了吧，能有1.8w次被引都算很好的了，大工总被引排名第二的卢湖川教授也才不到5w次。

下午等那位同门发来一看，果真18w+，太强了，这不就Adam优化器嘛，怪不得被被引这么多，机械臂方向会用到优化，机器学习会用到优化，特别是这种基础理论的文章，被引18w就不奇怪了。

在这里插入图片描述

之前看到过被引最多的一篇文章是何恺明大神的Deep Residual Learning for Image Recognition这篇文章，目前是22w+次引用，主要这年头做深度学习和人工智能的太多了。何恺明大神目前入职MIT，总被引58w余次，MIT排名第一，我估计放任何一所高校都是第一位的。

在这里插入图片描述

跑偏啦，跑偏啦。本来并未想写一篇文章介绍Kingma的，但最近看到一篇Li yanan老师发表在TII上的文章《Dynamic Motion Primitives-Based Trajectory Learning for Physical Human–Robot Interaction Force Control》，然后里面也引用了Adam: A method for stochastic optimization，这不巧了嘛，随后就查阅了Diederik P. Kingma的相关资料，一个字“强”。
在这里插入图片描述

二、Diederik P. Kingma介绍

在这里插入图片描述

1、Diederik P. Kingma履历

2018-2024：谷歌大脑/DeepMind的研究科学家。领导各种研究项目，主要是文本、图像和视频的生成模型。

2015-2018：OpenAI（旧金山）创始团队和研究科学家的一部分。领导算法团队，专注于基础研究。

2013年至2017年：阿姆斯特丹大学博士（cum laude），导师为Max Welling，研究深度学习和生成模型。博士论文: Variational Inference and Deep Learning: A New Synthesis。2014/2015年夏天在DeepMind进行合作。

2010年至2012年：Advanza的联合创始人和技术负责人，于2016年成功离职。

2009年和2012年：纽约大学研究科学家，Yann LeCun实验室。

注：a. Yann LeCun是2018年图灵奖得主
b. 阿姆斯特丹大学世界排名50左右，和上交差不多。

2、Diederik P. Kingma研究方向

机器学习的可扩展方法，重点是生成模型。代表性贡献包括变分自动编码器（VAE）、Adam优化器、Glow和变分扩散模型。

3、创业经历

Diederik P. Kingma于2015年成为OpenAI创始团队的一员。在此之前，他作为co-founder共同创立了Advanza，该公司于2016年被收购。

4、关于Kingma的名字

Kingma的正式名字是Diederik，但有一个绰号Durk（发音像Dirk）。

三、被引22+w的Adam文章

2020年：根据《Nature Index》和Google Scholar的数据，Adam optimization论文是过去五年中被引用次数最多的科学论文。

Diederik P. Kingma个人主页：http://dpkingma.com/

相关文章：

天才简史——Diederik P. Kingma与他的Adam优化器

一、了解Diederik P. Kingma 发生日期：2024年6月18日 前几日，与实验室同门一同前往七食堂吃饭。饭间，一位做随机优化的同门说他看过一篇被引18w的文章。随后，我表示不信，说你不会数错了吧，能有1.8w次被引都…...

编程日记 2024/6/21 3:29:08

两个src案例分享

案例一 文前废话:某天正在刷着**社区的帖子,欣赏着漂亮的小姐姐,突然间评论区的一条评论引起了我的注意,类似于下面这样 这种评论在html标签中代码格式是<a>这是文字</a>这样的 同时评论区XSS漏洞的高发区,想着可能会有操作点 一、发布一个标题有js语句的贴子 二…...

编程日记 2024/6/21 3:26:05

宕机了， redis如何保证数据不丢？

前言 如果有人问你&#xff1a;"你会把 Redis 用在什么业务场景下&#xff1f;" 我想你大概率会说&#xff1a;"我会把它当作缓存使用&#xff0c;因为它把后端数据库中的数据存储在内存中&#xff0c;然后直接从内存中读取数据&#xff0c;响应速度会非常快。…...

编程日记 2024/6/21 3:25:03

太速科技-基于XCVU9P+ C6678的100G光纤的加速卡

基于XCVU9P C6678的100G光纤的加速卡 一、板卡概述 二、技术指标 • 板卡为自定义结构&#xff0c;板卡大小332mmx260mm; • FPGA采用Xilinx Virtex UltralSCALE 系列芯片 XCVU9P; • FPGA挂载4组FMC HPC 连接器; • 板载4路QSPF&#xff0c;每路数据速…...

编程日记 2024/6/21 3:24:02

Maven：一个下载jar依赖失败的问题解决方案

内部的一个jar包已经上传到了私服上&#xff0c;在私服管理端也能看到该jar包的完整信息&#xff0c;但是springboot项目引入该jar包发现死活下载不下来&#xff0c;报错如图&#xff1a; 从该错误信息中可以看到&#xff0c;找不到服务名是xxl-job这个的&#xff0c;我们要找的…...

编程日记 2024/6/21 3:23:01

Java 枚举的基本使用

一、枚举的概述 java 枚举&#xff08;Enum&#xff09;是一种特殊的数据类型&#xff0c;它允许你定义一组命名的常量。在 Java 中&#xff0c;枚举被实现为类&#xff0c;并且继承自 java.lang.Enum 类。枚举的使用可以提供类型安全、可读性强、易于理解的代码。 (1) 枚举的…...

编程日记 2024/6/21 3:22:00

Semaphroe + CountDown

Semaphore 基本使用 synchronized 可以起到锁的作用&#xff0c;但某个时间段内&#xff0c;只能有一个线程允许执行 Semaphore&#xff08;信号量&#xff09;用来限制能同时访问共享资源的线程上限&#xff08;不是资源数&#xff09;&#xff0c;非重入锁 不像之前的reen…...

编程日记 2024/6/21 3:19:56

解读代理 IP差异：ISP 代理与住宅代理

独立IP作为跨境必备工具&#xff0c;代理类型五花八门&#xff0c;今天IPFoxy全球代理将为搭建科普&#xff1a;ISP代理与住宅代理在理论上与使用上的区别。代理充当用户和互联网之间的中介&#xff0c;提供各种功能以增强安全性、隐私性和可访问性。在众多代理类型中&#xff…...

编程日记 2024/6/21 3:17:51

maven-jar-plugin maven打包插件笔记

文章目录 配置示例 其他官网文档问题maven打包插件是如何和打包动作关联在一起的?配置文件中 goal是必须的吗? maven自定义插件内容很多&#xff0c;也不易理解&#xff0c;这里把maven打包插件单拿出来&#xff0c;作为入口试着理解下。 配置示例 <plugin><groupI…...

编程日记 2024/6/21 3:16:49

云服务器部署Neo4j

文章目录 导读安装Neo4j先去官网看看下载安装包如果真的下载了rpm安装包 插件 导读 大模型&#xff0c;他终于来了。 不过呢&#xff0c;大模型相关&#xff0c;现在也就跟着热点去尝试一下multi-agent的RAG方向&#xff0c;看看能做到什么地步。总之我们先从安装neo4j开始。…...

编程日记 2024/6/21 3:15:47

day64 图论 图论理论基础 深搜 广搜 98. 所有可达路径

图论理论基础 图的种类 整体上一般分为 有向图 和 无向图。 度 无向图中有几条边连接该节点&#xff0c;该节点就有几度。 在有向图中&#xff0c;每个节点有出度和入度。 出度&#xff1a;从该节点出发的边的个数。 入度&#xff1a;指向该节点边的个数。 连通性 在图…...

编程日记 2024/6/21 3:14:46

从0进入微服务需要了解的基础知识

文章目录 系统架构演化过程为什么要了解系统架构的演化过程技术发展认知技术选型与创新 演变过程单体架构分层-分布式集群微服务 分布式\集群\微服务 微服务中的核心要素-拆分原则项目拆分与复杂度微服务的拆分维度有哪些小结 微服务中的核心要素服务化进行拆分后一定是微服务&…...

编程日记 2024/6/21 3:13:44

MySQL之复制(七)

复制 定制的复制方案 分离功能 许多应用都混合了在线事务处理(OLTP)和在线数据分析(OLAP)的查询。OLTP查询比较短并且是事务型的。OLAP查询则通常很大&#xff0c;也很慢&#xff0c;并且不要求绝对最新的数据。这两种查询给服务器带来的负担完全不同&#xff0c;因此它们需…...

编程日记 2024/6/21 3:11:41

Redis分片集群搭建

主从模式可以解决高可用、高并发读的问题。但依然有两个问题没有解决&#xff1a; 海量数据存储高并发写 要解决这两个问题就需要用到分片集群了。分片的意思&#xff0c;就是把数据拆分存储到不同节点&#xff0c;这样整个集群的存储数据量就更大了。 Redis分片集群的结构如…...

编程日记 2024/6/21 3:10:39

请解释Java中的策略模式，并举例说明其应用场景和实现方式。请解释Java中的模板方法模式，并讨论其在实际项目中的应用。

请解释Java中的策略模式&#xff0c;并举例说明其应用场景和实现方式。 策略模式&#xff08;Strategy Pattern&#xff09; 策略模式是一种行为设计模式&#xff0c;它使你能够定义一系列算法&#xff0c;并将每一个算法封装起来&#xff0c;使它们可以互相替换。策略模式使…...

编程日记 2024/6/21 3:09:37

Vim基础操作：常用命令、安装插件、在VS Code中使用Vim及解决Vim编辑键盘错乱

Vim模式 普通模式&#xff08;Normal Mode&#xff09;&#xff1a; 这是 Vim 的默认模式&#xff0c;用于执行文本编辑命令&#xff0c;如复制、粘贴、删除等。在此模式下&#xff0c;你可以使用各种 Vim 命令来操作文本。插入模式&#xff08;Insert Mode&#xff09;&#…...

编程日记 2024/6/21 3:06:32

基于Windows API DialogBox的对话框

在C中&#xff0c;DialogBox函数是Windows API的一部分&#xff0c;它用于在Win32应用程序中创建并显示一个模态对话框。DialogBox函数是USER32.DLL中的一个导出函数&#xff0c;因此你需要在你的C Win32应用程序中链接到这个库。 #include "framework.h" #include …...

编程日记 2024/6/21 3:05:31

五十一、openlayers官网示例Layer Min/Max Resolution解析——设置图层最大分辨率，超过最大值换另一个图层显示

使用minResolution、maxResolution分辨率来设置图层显示最大分辨率。 <template><div class"box"><h1>Layer Min/Max Resolution</h1><div id"map" class"map"></div></div> </template><…...

编程日记 2024/6/21 3:03:27

24年计算机等级考试22个常见问题解答❗

24年9月计算机等级考试即将开始&#xff0c;整理了报名中容易遇到的22个问题&#xff0c;大家对照入座&#xff0c;避免遇到了不知道怎么办&#xff1f; 1、报名条件 2、报名入口 3、考生报名之后后悔了&#xff0c;不想考了&#xff0c;能否退费&#xff1f; 4、最多能够报多少…...

编程日记 2024/6/21 3:02:26

obsidian制作自己的主题一文入门

制作自己的主题 我最近发现一款插件&#xff0c;直接把obsidian的文章格式复制到公众号中。 我非常喜欢这个功能&#xff0c;这将减少公众号排版的时间&#xff0c;同时保持公众号文章格式的一致性。 但是这个插件提供的模板不能满足我的需求&#xff0c;所以&#xff0c;需要…...

编程日记 2024/6/21 3:00:22

游戏心理学Day20

扩展的8种玩家 完成主义者 此类玩家关心的是成就和进展&#xff0c;其主要目的是完成游戏的主要目标&#xff0c;其次是完成游戏的次要目标之后才是游戏中的其他内容&#xff0c;在多人游戏中完成主义者会致力于炫耀自己的状态和财富。如果游戏以胜负为目标&#xff0c;那么此…...

编程日记 2024/6/21 2:59:20

Serverless如何赋能餐饮行业数字化？乐凯撒思变之道

导语 | 在数字化浪潮席卷全球的今天&#xff0c;每一个行业都在经历着前所未有的变革。餐饮行业作为人们日常生活中不可或缺的一部分&#xff0c;更是面临着巨大的转型压力。如何完成数字化转型&#xff0c;打破传统经营模式的限制&#xff0c;成为摆在众多餐饮商家面前的一道难…...

编程日记 2024/6/21 2:58:19

css系列：音频播放效果-波纹律动

介绍 语音播放的律动效果&#xff0c;通俗来说就是一个带动画的特殊样式的进度条&#xff0c;播放的部分带有上下律动的动画&#xff0c;未播放的部分是普通的灰色竖状条。 实现中夹带了less变量、继承和循环遍历&#xff0c;可以顺带学习一下。 结果展示 大致效果如图所示…...

编程日记 2024/6/21 2:55:15

WPF学习（1）--类与类的继承

在面向对象编程中&#xff0c;继承是一种机制&#xff0c;允许一个类&#xff08;称为子类或派生类&#xff09;从另一个类&#xff08;称为父类或基类&#xff09;继承属性和方法。继承使我们能够创建一个通用类&#xff0c;然后根据需要扩展或修改它以创建更具体的类。以下是…...

编程日记 2024/6/21 2:54:12

Spring Boot框架的原理及应用详解（六）

本系列文章简介&#xff1a; 在当今的软件开发世界中&#xff0c;快速迭代、高效开发以及易于维护成为了开发者们不断追求的目标。Spring Boot作为Spring框架的一个子项目&#xff0c;自其诞生以来就凭借其“约定大于配置”的理念和自动配置的特性&#xff0c;迅速在Java开发社…...

编程日记 2024/6/21 2:51:07

密码学与信息安全面试题及参考答案（2万字长文）

目录 什么是密码学？它的主要目标是什么？ 请解释明文、密文、加密和解密的概念。 密码系统的安全性通常基于哪三种假设？ 什么是Kerckhoffs原则？它对现代密码学设计有何意义？ 简述密码学中的“混淆”和“扩散”概念。 什么是AES（高级加密标准）？AES有几种常见的密钥…...

编程日记 2024/6/21 2:47:02

C++语法19 循环嵌套结构（for/while循环）

语法阶段已经更新到第18章了&#xff0c;前面的知识你都学会了吗&#xff1f;如果还没有学习前面的知识&#xff0c;请点击&#x1f449;语法专栏进行学习哦&#xff01; 目录 循环嵌套 训练&#xff1a;数字矩形 解析 参考代码 训练&#xff1a;星号三角形 解析 参考代码 …...

编程日记 2024/6/21 2:44:59

AtomicInteger原理和CAS与Synchronized（juc编程）

AtomicInteger原理 4.6.1 原理介绍 AtomicInteger的本质&#xff1a;自旋锁 CAS算法 CAS的全成是&#xff1a; Compare And Swap(比较再交换); 是现代CPU广泛支持的一种对内存中的共享数据进行操作的一种特殊指令。CAS可以将read-modify-write转换为原子操作&#xff0c;这…...

编程日记 2024/6/21 2:43:57

抖音a_bogus,mstoken全参数爬虫逆向补环境2024-06-15最新版

抖音a_bogus,mstoken全参数爬虫逆向补环境2024-06-15最新版 接口及参数 打开网页版抖音&#xff0c;右键视频进入详情页。F12打开控制台筛选detail&#xff0c;然后刷新网页&#xff0c;找到请求。可以发现我们本次的参数目标a_bogus。a_bogus有时长度为168有时为172&#xf…...

编程日记 2024/6/21 2:41:55

【机器学习】机器学习重要方法—— 半监督学习：理论、算法与实践

文章目录 引言第一章 半监督学习的基本概念1.1 什么是半监督学习1.2 半监督学习的优势 第二章 半监督学习的核心算法2.1 自训练&#xff08;Self-Training&#xff09;2.2 协同训练&#xff08;Co-Training&#xff09;2.3 图半监督学习&#xff08;Graph-Based Semi-Supervise…...

编程日记 2024/6/21 2:40:52

用ps切片做网站/友情链接检测工具

简单说一下 autojs &#xff0c;这是一个开源(https://github.com/hyb1996/Auto.js 看账号貌似是个96年的小朋友&#xff1f;)的利用 Android 的无障碍服务实现的自动操作软件。-------------------18.2.22 凌晨更新----------------------这次更新同时支持了群聊和普通聊天&am…...

编程日记 2024/10/23 5:46:51

茶叶网站建设公司/网络推广员的日常工作

POST方式提交数据&#xff0c;一种众所周知的方式&#xff1a; html页面中使用form表单提交&#xff0c;接收方式&#xff0c;使用Request.Form[""]或Request.QueryString[""]来获取。 这里介绍另外一种POST方式和接收方式&#xff0c;就是将整个数据作为加…...

编程日记 2024/10/23 5:22:08

分享wordpress小程序源码/能够免费换友链的平台

比如一个商品表&#xff0c;一个关键词表1对多得关系那么可以用如下的sql取出结果集SELECT product_id,product_name,(SELECT GROUP_CONCAT(product_key_keyword)FROM b2b_product_key WHERE product_product_idproduct_id) as keyword FROM b2b_product WHERE 1 转载于:https…...

编程日记 2024/10/23 4:36:58

网站推广渠道怎么做/什么是引流推广

点击蓝字 关注我们想要管理好会员&#xff0c;自然不是随便发下一张会员卡就可以的&#xff0c;采用小程序或者是公众号&#xff0c;为顾客分配电子会员卡&#xff0c;顾客通过电子会员卡&#xff0c;可以知道自己的会员等级&#xff0c;会员权益&#xff0c;实时查询储值、计次…...

编程日记 2024/10/23 3:08:19

陕西省建设厅网站月报/制作网页的基本步骤

前言 当你在构建现代 web 应用程序时&#xff0c;无可避免地需要在页面之间跳转。轻易地做到这一点是非常重要的。为了实现这一点&#xff0c;Angular、React 和 Vue 等框架都具有路由功能。 接下来&#xff0c;我们将会学到如何使用 vue-router 配置路由&#xff0c;并实现在不…...

编程日记 2024/10/22 20:04:48

华为网站搭建/电商运营推广的方式和渠道有哪些

传送门 很明显题目要求的东西可以写成$\sum_{i1}^{n}\sum_{j1}^m gcd(i,j)*2-1$&#xff08;一点都不明显&#xff09; 如果直接枚举肯定爆炸 那么我们设$f[i]$表示存在公因数$i$的数的对数 然而$i$并不一定是这几对数的最大公因数 那么怎么办呢&#xff1f;考虑容斥 以$i$为最…...

编程日记 2024/10/22 19:06:28