大模型日报2024-06-07

大模型日报

2024-06-07

大模型资讯

1. 大规模单细胞转录组学基础模型研究

• 摘要: 大型预训练模型已成为基础模型，在自然语言处理及相关领域取得突破。本文介绍了在单细胞转录组学领域应用大规模基础模型的研究进展。

1. MMLU-Pro：评估语言理解模型的新基准

• 摘要: MMLU-Pro是一个增强型基准，旨在评估语言理解模型在更广泛和更具挑战性的任务中的表现。最近，大型语言模型在自然语言处理领域取得了显著进展，推动了这一新基准的开发。

1. Unbabel发布TowerLLM，首个超越GPT-4o和GPT-3.5的生成式AI模型

• 摘要: Unbabel推出了TowerLLM，这是一款生成式AI模型，性能超越了GPT-4o和GPT-3.5，并在市场上处于领先地位。Unbabel是一家AI驱动的语言运营平台，帮助企业大规模提供多语言客户体验。

1. Skywork团队推出1460亿参数的高性能专家混合模型Skywork-MoE

• 摘要: Skywork团队发布了Skywork-MoE，一个具有1460亿参数、16个专家和220亿激活参数的高性能专家混合模型。大规模语言模型的开发在提升自然语言处理能力方面至关重要，但训练这些模型面临挑战。

1. 西湖大学团队开发Fast-DetectGPT，快速识别AI生成文本

• 摘要: 西湖大学团队推出Fast-DetectGPT，无需训练即可直接使用开源小型语言模型，检测各种AI生成的文本内容。这一技术突破将有助于更有效地识别和管理由人工智能生成的内容。

1. 10个对语言产业重要的大型语言模型

• 摘要: 本文介绍了来自OpenAI、Google、Cohere、Meta和Mistral的10个大型语言模型，这些模型在语音AI、语音转换和翻译方面具有显著的能力。

1. Unbabel推出的TowerLLM翻译模型超越GPT-4

• 摘要: 翻译公司Unbabel声称其新推出的TowerLLM AI模型在翻译方面表现优于OpenAI的GPT-4。研究结果显示，GPT-4在发布15个月后，其相对于其他AI模型的优势可能正在减弱。

1. AI推理缺陷：大型语言模型的局限性

• 摘要: 流行的AI平台如ChatGPT在推理测试中给出的答案不一致，且在增加上下文信息后也没有改善。这表明当前的大型语言模型在推理能力上存在显著的局限性。

1. DuckDuckGo 推出 AI 聊天机器人功能

• 摘要: DuckDuckGo 推出名为 AI Chat 的新功能，通过单一聊天界面让用户访问多个大型语言模型，增强搜索体验。

1. Roblox推出实时AI聊天翻译功能

• 摘要: Roblox开发了自己的语言模型，为全球玩家提供实时AI聊天翻译服务。这一新功能旨在改善玩家间的沟通体验，打破语言障碍。

大模型产品

1. Fliki：AI生成视频和音频的神器

• 摘要: Fliki利用AI技术，将文字转化为视频和音频，提供AI头像、自然声音和品牌模板，适用于内容创作、在线学习和营销等。

1. Second V2：AI代码库维护工具

• 摘要: Second提供自动化代码库维护，包括迁移和升级。连接GitHub仓库，选择维护模块，审查AI计划并运行任务。

1. BiRead: 轻松实现双语阅读

• 摘要: BiRead是一款便捷的扩展工具，利用AI技术，一键将网站内容转化为双语文本，为语言学习者提供定制学习模式。

1. FlowMapp 3.0：AI驱动的网站规划工具

• 摘要: FlowMapp 3.0是一款终极AI驱动的网站规划工具，通过提升UX质量，设计体验、构建站点地图、规划用户流程和转化地图、收集内容。

1. Databutton：用AI构建您的SaaS应用

• 摘要: Databutton利用AI技术，根据您的自然语言指示，生成所需的应用程序，包括先进的React前端和Python后端，助您成功启动SaaS业务。

1. Falcon AI：AI敏捷项目管理助手

• 摘要: Falcon AI是敏捷团队的终极项目管理伴侣，免费Starter计划。简化Scrum会议、JIRA看板、利益相关者更新等，全部在Slack中完成。

1. Recraft AI设计平台：独特模型生成

• 摘要: Recraft是首个AI设计平台，用户可创建和编辑精美图形、矢量艺术、图标集、模型、3D图像和插图。

1. Sleepytales：AI个性化睡前故事

• 摘要: Sleepytales是一款AI应用，为儿童和成人创作并朗读个性化睡前故事。用户可定制名字、角色和主题，享受逼真的语音演员讲述，体验独特沉浸感。

1. Riffo: AI智能文件重命名工具

• 摘要: Riffo是一款AI驱动的文件管理工具，通过智能重命名、快速批处理和高效工作区管理，帮助您节省时间，享受完美的数字生活。

1. Snowflake原生Amplitude：数据云自助分析

• 摘要: Amplitude首个完全基于Snowflake重构的产品。团队可在数据不离开Snowflake的情况下轻松获取洞察和运行查询，免费提供五个席位。

大模型论文

1. Wings: 兼顾文本和多模态理解的MLLM

• 摘要: Wings是一种新型多模态大语言模型，解决了文本遗忘问题，通过视觉和文本学习器平衡注意力，提升文本和多模态任务表现。

1. Seq1F1B: 高效长序列LLM训练的流水线并行方法

• 摘要: Seq1F1B通过细化序列级单位，减少内存占用和流水线气泡，提升长序列LLM训练效率，支持64k序列训练。

1. 对话摘要中的LLM行为与推断偏差分析

• 摘要: 研究GPT-4和Alpaca-13B在对话摘要中的信实性，提出“情境推断”错误分类，并改进错误检测方法。

1. BIPED: 面向ESL教育的双语辅导系统

• 摘要: BIPED构建了一个双语辅导数据集，通过GPT-4和SOLAR-KO模型实现，具备多样且合适的教学策略。

1. 领域上采样提升大规模语言模型性能

• 摘要: 通过在训练末期对领域特定数据集进行上采样，提高大规模语言模型在困难基准测试上的表现，成本显著降低。

1. AD-H：分层代理的自动驾驶系统

• 摘要: AD-H通过分层多代理系统连接高低层指令，提升自动驾驶性能和泛化能力，展现自我纠错能力。

1. 预训练大模型使用傅里叶特征进行加法运算

• 摘要: 本文揭示预训练大模型通过傅里叶特征进行加法运算，MLP层和注意力层分别利用低频和高频特征实现精确计算。

1. 基于解释稳定性的LLM不确定性测量方法

• 摘要: 本文提出了一种通过生成解释分布来测量大型语言模型（LLM）不确定性的新框架，并在五个数据集上验证了其有效性。

1. 交互式文本到图像检索方法PlugIR

• 摘要: 本文提出PlugIR方法，通过重构对话上下文和生成非冗余问题，提高交互式文本到图像检索性能，并引入新评估指标BRI。

大模型开源项目

1. 微软生成式AI入门教程

• 摘要: 微软提供18节课，帮助初学者入门生成式AI，课程以Jupyter Notebook编写，适合学习和实践。

1. 基于AI的Python网页抓取工具

• 摘要: VinciGit00是一个使用Python编写的AI网页抓取工具，能够高效地从网页中提取数据。

1. MiniCPM-Llama3-V 2.5：手机上的GPT-4V级多模态LLM

• 摘要: MiniCPM-Llama3-V 2.5是一款用Python编写的多模态LLM，具备GPT-4V级别性能，可在手机上运行。