论文学习_Large Language Models Based Fuzzing Techniques: A Survey

论文名称	发表时间	发表期刊	期刊等级	研究单位
Large Language Models Based Fuzzing Techniques: A Survey	2024年	arXiv	-	悉尼大学

0.摘要

研究背景	在软件发挥举足轻重作用的现代社会，软件安全和漏洞分析对软件开发至关重要，模糊测试作为一种高效的软件测试方法，并广泛应用于各个领域。大预言模型（LLM）的快速发展促进了其在软件测试领域的应用，并表现出卓越的性能。考虑到现有的模糊测试技术并非完全自动化，并且软件漏洞不断发展，基于大预言模型生成的模糊测试的趋势越来越明显。
研究内容	针对当前最先进的 LLM 技术、模糊测试技术、基于 LLM 的模糊测试技术进行了统计分析和讨论。并讨论了基于 MML 的牧户测试技术未来广泛部署和应用的潜力。

1. 引言

模糊测试自 20 世纪 90 年代以来已被广泛采用，其原理涉及生成一系列意想不到的输入来测试软件的可靠性和安全性。随着现代软件行业的发展，模糊测试已经成为软件测试的关键。目前，大语言模型在各个领域都展现出了强大的性能，其中也包括软件测试领域。与传统软件测试系统相比，大语言模型生成的软件测试在效率和准确性方面都有所提高，这些方法包括 TitanFuzz、FuzzGPT 以及针对不同软件类型的其他模糊测试。这些研究将不同的大语言模型与模糊测试技术相结合，并开发新的模糊测试系统，下面将详细介绍这些方法。

针对现有基于 LLM 的模糊测试技术，提出三个研究问题，（1）基于 LLM 的模糊测试技术在 AI 软件系统和非 AI 软件系统中的表现；（2）基于 LLM 的模糊测试技术相较于传统模糊测试技术有哪些优势；（3）基于 LLM 的模糊测试技术未来研究趋势和存在的挑战是什么？

2. 背景知识

2.1 大语言模型（LLM）

大型语言模型的出现为不同的复杂语言任务提供了很大的帮助，例如翻译、摘要、对话交互等（源于 Transformer 的引入）。根据 Humza Naveed 等人 2023 年 7 月的统计，从2019 年到 2023 年，总共出现了 75 个有影响力的大语言模型（涉及通用、医疗以及教育等领域）。

大语言模型主要可分为三类，分别是 Decoder-only 语言模型， Encoder-only masked 语言模型，Encoder-Decoder 语言模型。

• Decoder-only 语言模型（GPT）：类似于一个讲故事的人。模型接收一个故事的开头，如“今天天气很好”。然后模型继续生成剩余的内容，如“适合出去转转”。这类模型擅长创造性的协作，比如写小说或自动生成文章。它更多的关注于从已有的信息扩展出新的内容。OpenAI选择 Decoder-Only 方案，因为它对自然语言生成特别有效。这种架构能够更好的理解和预测语言模式，尤其适合处理开放式、生成性的任务。
• Encoder-only masked 语言模型：类似于一个专业的内容评论家。模型接收待评论的内容，如一本书。然后模型输出对应的评论，如书籍的质量的高低、主题等。这类模型擅长处理输入数据，专注于理解和编码信息，而不是生成新的文本。这种架构在理解和分类任务中更为有效，尤其适合文本分类、情感分析等任务。