#Datawhale AI夏令营第4期#多模态大模型Task2

赛事进阶解读

关于赛事介绍：

Better Synth 是一项以数据为中心的挑战赛，考察如何合成与清洗图文数据以在多模态大模型上取得更优的图片理解能力。
本次比赛基于 Mini-Gemini 模型进行训练，只关注于预训练（模态间对齐）阶段的数据合成与清洗，指令微调阶段为固定数据集。

主办方提供候选种子数据集，要求参赛者基于种子数据集进行数据合成与清洗，产出一份基于种子数据集的更高质量、更多样性的数据集，并在给定计算约束下进行训练。

数据集产出流程中必须包含“合成”的过程。

基础模型MGM

LLaVa-based,包括两部分Two-stage: pretrain+fine tuning

数据集组成：

种子数据集：400K

baseline精读：

在最新的baseline中我提前帮大家做了缩减处理，利用 DJ 的数据筛选算子，我们可以先用最小的数据进行训练跑通，之后再替换成更大的数据。

我们需要注意几个关键的训练参数配置，分别是pretrain以及finetune，这是全部环节中最重要的两个阶段。 如果没有成功运行这两个训练环节，一切都将是徒劳

Task1里面我使用的是阿里云的服务器，有点费钱，后来出了AutoDL的教程，于是我又用autodl平台跑了一遍，基本分数差不多。收获就是跑了两遍baseline，并解决了其中遇到的问题。

• 虽然钱没了，但你可以和别人吹你跑过100多G的程序，让他向你投来崇拜（也可能是鄙视）的眼光后扬长而去。额。。。

TextVQA 是一个用于评估基于图像中文本的视觉推理能力的数据集。这个数据集要求模型能够读取和理解图像中的文本，以回答相关的问题。

MMBench 试图解决的问题是如何有效地评估大型视觉-语言模型（Large Vision-Language Models，简称LVLMs）的性能。

Data-Juicer 是一个开源工具，用于清洗和优化多模态数据集，特别是那些用于训练视觉语言模型的数据集。

主要功能包括：1）数据清洗；2）质量评估；3）异常检测；4）数据增强

一些Data-Juicer中典型算子的介绍：

1. 数据清洗算子

• 去重算子：用于检测并移除数据集中的重复样本。
• 格式校验算子：验证数据样本是否符合预期的格式要求，例如检查图像是否损坏或文本字段是否为空。
• 异常检测算子：检测并标记不符合常规的数据点，例如极端值或异常行为。
• 数据完整性检查算子：确保所有必需的字段都存在且正确。

2. 质量评估算子

• 清晰度算子：评估图像的清晰度，去除模糊或低质量的图像。
• 连贯性算子：检查文本描述与图像内容之间的连贯性。
• 语义一致性算子：确保文本描述与图像内容在语义上一致。
• 文本质量算子：评估文本描述的质量，例如语法正确性、拼写错误等。

3. 异常检测算子

• 标签一致性算子：检查图像标签与内容的一致性。
• 异常值检测算子：使用统计方法识别和标记异常值。
• 数据分布算子：分析数据集中的分布模式，帮助识别异常数据点。

4. 数据增强算子

• 图像增强算子：通过旋转、翻转、颜色调整等操作来增加图像数据的多样性。
• 文本改写算子：通过同义词替换、句式变换等技术来丰富文本描述。
• 上下文增强算子：为文本描述添加额外的上下文信息，以提高描述的丰富度。

5. 其他算子

• 采样算子：用于从数据集中选择具有代表性的样本。
• 合并算子：将多个数据集合并成一个统一的数据集。
• 分割算子：将数据集按照一定规则分成训练集、验证集和测试集。

sandbox

在DJ中，数据沙盒实验室为用户提供了持续生产数据菜谱的最佳实践，其具有低开销、可迁移、有指导性等特点，用户在沙盒中基于一些小规模数据集、模型对数据菜谱进行快速实验、迭代、优化，再迁移到更大尺度上，大规模生产高质量数据以服务大模型。

用户在沙盒中，除了DJ基础的数据优化与数据菜谱微调功能外，还可以便捷地使用数据洞察与分析、沙盒模型训练与评测、基于数据和模型反馈优化数据菜谱等可配置组件，共同组成完整的一站式数据-模型研发流水线。

因为时间关系，所以没法不断去重复实验。完整的成功跑完两次并提交结果。展示一下结果吧，期待后续的上分！

喜欢的小伙伴，点赞收藏关注吧。