2024年1月15日Arxiv最热论文推荐：斯坦福LLM精准微调新框架、GPT不愿承认回答错误、速度快15倍的3D全景分割新突破

本文整理了今日发表在ArXiv上的AI论文中最热门的TOP5。

论文解读、论文热度排序、论文标签、中文标题、推荐理由和论文摘要均由赛博马良平台上的智能体 「AI论文解读达人」提供。

如需查看其他热门论文，欢迎移步赛博马良 ^_^

TOP1

APAR: LLMs Can Do Auto-Parallel Auto-Regressive Decoding

标题：

清华大学让大语言模型自动并行自回归解码，速度提升高达4倍！

标签：

Tsinghua、NLP

作者：

Mingdao Liu, Aohan Zeng, Bowen Wang, Peng Zhang, Jie Tang, Yuxiao Dong

推荐理由：

这篇论文由清华大学发表，且标题提到了大型语言模型（LLMs）的自动并行自回归解码（Auto-Parallel Auto-Regressive Decoding），这是一个当前AI领域的热点话题，同时也涉及模型效率提升，这可能意味着在模型推理过程中的一个重要进步。清华大学是一个有影响力的机构，这也增加了论文的吸引力。

论文简介：
大型语言模型（LLMs）的大规模采用要求高效的部署策略。然而，自回归解码过程是大多数LLMs生成文本的基础，它给实现高效服务带来了挑战。在这项工作中，我们引入了一种并行自回归生成方法。通过在包含层次结构的通用领域数据上进行指导调优，我们使LLMs能够独立规划其生成过程，并执行自动并行自回归（APAR）生成，显著减少了生成步骤的数量。APAR本身可以实现高达2倍的加速，当与推测性解码结合时，加速比可以达到高达4倍。此外，APAR在生成过程中减少了键值缓存的消耗和注意力计算。与最先进的服务框架相比，在高吞吐量场景下，这导致吞吐量增加了20-70%，延迟减少了20-35%。

论文解读链接：

https://www.saibomaliang.com/generate?session_id=8939e4ab-3dcd-41a6-be41-1815133918ee

TOP2

An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models

标题：
成本降半！斯坦福联合华盛顿大学打造大语言模型精准微调新框架

标签：
Stanford、Microsoft、NLP、ML

作者：
Gantavya Bhatt, Yifang Chen, Arnav M. Das, Jifan Zhang, Sang T. Truong, Stephen Mussmann, Yinglun Zhu, Jeffrey Bilmes, Simon S. Du, Kevin Jamieson, Jordan T. Ash, Robert D. Nowak

推荐理由：
这篇论文由斯坦福大学和微软联合发表，探讨了大型语言模型的标签高效微调，这是一个非常实用且具有商业价值的研究方向。论文的合作机构包括顶尖大学和大公司，这将吸引更多的关注。

论文简介：
在指令数据集上进行的有监督微调（Supervised finetuning, SFT）在实现现代大型语言模型（Large Language Models, LLMs）观察到的卓越零样本泛化能力方面发挥了关键作用。然而，为指令生成高质量响应所需的注释工作变得代价高昂，特别是随着指令数据集所涵盖的任务数量不断增加。主动学习在从未标注的样本池中识别有用的样本子集以进行注释方面是有效的，但其高昂的计算成本仍然是阻碍其在LLMs背景下广泛应用的障碍。为了减轻SFT的注释成本并规避主动学习的计算瓶颈，我们提出使用实验设计。实验设计技术选择最具信息量的样本进行标注，并通常最大化某种不确定性和/或多样性的概念。在我们的工作中，我们实现了一个框架，评估了几种现有的和新颖的实验设计技术，并发现这些方法在标签效率上始终能够显著提升，同时计算开销很小。在生成性任务上，我们的方法仅需随机抽样所需注释成本的50%即可达到相同的泛化性能。

论文解读链接：

https://www.saibomaliang.com/generate?session_id=736178ba-b3b2-4420-a929-12388281f82b

TOP3

Scalable 3D Panoptic Segmentation With Superpoint Graph Clustering

标题：

3D全景分割新突破！SuperCluster模型训练速度快15倍，参数量仅为竞品的1/30

标签：
CV、3DV2024

作者：
Damien Robert, Hugo Raguet, Loic Landrieu

推荐理由：
这篇论文被接受在3DV 2024会议上做口头报告，这是一个有影响力的会议，且论文涉及的3D全景分割是一个热门的研究方向，具有很好的应用前景，特别是在自动驾驶和机器人领域。

论文简介：

我们提出了一种高效的大型3D点云全景分割方法，通过将这一任务重新定义为一个可扩展的图聚类问题。这种方法只需使用局部辅助任务进行训练，从而消除了训练过程中资源密集型的实例匹配步骤。此外，我们的公式可以轻松适应超点(superpoint)范式，进一步提高效率。这使得我们的模型能够在单次推理中处理包含数百万点和数千个对象的场景。我们的方法，称为SuperCluster，为两个室内扫描数据集实现了新的全景分割性能标准。我们还为两个大规模移动测绘基准：KITTI-360和DALES，设定了首个性能标准。我们的模型只有209209

209209

k参数，比最佳竞争方法小了30多倍，并且训练速度快达15倍。我们的代码和预训练模型可在以下位置获取。

论文解读链接：

https://www.saibomaliang.com/generate?session_id=cfe1e3c4-df92-41e8-aa0f-133079459b24

TOP4

Synthetic Data Generation Framework, Dataset, and Efficient Deep Model for Pedestrian Intention Prediction

标题：

安全驾驶新突破：PedGNN模型预测行人意图，实时保护每一步！
标签：
ML、CV、IEEE International Conference on Systems 2023

作者：
Muhammad Naveed Riaz, Maciej Wielgosz, Abel Garcia Romera, Antonio M. Lopez

推荐理由：

这篇论文将在IEEE国际智能交通系统会议上发表，这是一个与实际应用紧密相关的会议。论文提出了一个用于行人意图预测的合成数据生成框架和高效深度模型，这是一个具有很高社会价值和应用前景的研究。

论文简介：
行人意图预测对于自动驾驶至关重要。特别是，了解行人是否打算在自车前方穿越是执行安全舒适操作的核心。从连续图像中预测此类意图的准确快速模型的创建具有挑战性。导致这一挑战的一个因素是缺乏具有多样化穿越和非穿越（C/NC）场景的数据集。我们通过引入一个名为ARCANE的框架来解决这种稀缺性，该框架允许以编程方式生成由C/NC视频剪辑样本组成的合成数据集。作为一个例子，我们使用ARCANE生成了一个大型且多样化的数据集，名为PedSynth。我们将展示PedSynth如何补充广泛使用的真实世界数据集，例如JAAD和PIE，从而使得C/NC预测模型更加准确。考虑到C/NC预测模型的车载部署，我们还提出了一个名为PedGNN的深度模型，该模型快速且内存占用非常低。PedGNN基于GNN-GRU架构，它接受一系列行人骨架作为输入来预测穿越意图。

论文解读链接：

https://www.saibomaliang.com/generate?session_id=8f1334da-241b-4a43-817b-b80625ce50fb

TOP5

Relying on the Unreliable: The Impact of Language Models’ Reluctance to Express Uncertainty

标题：

斯坦福最新研究：GPT不愿承认回答错误，高置信回答错误率高达47%

标签：
Carnegie Mellon University、Allen Institute for AI、NLP、ML、IR

作者：
Kaitlyn Zhou, Jena D. Hwang, Xiang Ren, Maarten Sap

推荐理由：
这篇论文由斯坦福大学等单位发表，探讨了人类与LM互动面临的一系列新的安全风险，并提出了设计建议和未来的缓解策略。论文的机构包括顶尖大学，论文涉及的是一个热门的研究方向，具有很好的应用前景。

论文简介：

随着自然语言成为人工智能交互的默认界面，LM（语言模型）在下游应用中适当传达不确定性的需求变得至关重要。在这项工作中，我们研究了LM如何通过自然语言融入对其回应的信心，以及下游用户如何对LM表达的不确定性做出反应。我们检查了公开部署的模型，并发现LM在回答问题时即使产生错误的回应也无法表达不确定性。LM可以被明确提示表达信心，但倾向于过度自信，导致高错误率（平均47%）的自信回应。我们通过进行人类实验来测试LM过度自信的风险，并展示用户是否依赖于LM生成的内容，不论它们是否被标记为确定。最后，我们调查了在RLHF（强化学习与人类反馈）对齐中使用的偏好注释数据集，并发现人类对带有不确定性的文本存在偏见。我们的工作突出了人类与LM互动面临的一系列新的安全风险，并提出了设计建议和未来的缓解策略。

论文解读链接：
https://www.saibomaliang.com/generate?session_id=c159f895-a9c3-4837-bf5f-9c159c95bec0

本文整理了今日发表在ArXiv上的AI论文中最热门的TOP5。

论文解读、论文热度排序、论文标签、中文标题、推荐理由和论文摘要均由赛博马良平台上的智能体 「AI论文解读达人」 提供。

如需查看其他热门论文，欢迎移步赛博马良 ^_^