AI测试的迷思

近年来，我一直关注AI相关的测试，并积极参与多个全国性测试社区和社群。在这些社区中，我与不同公司和领域的测试专家交流探讨AI测试相关话题，包括业界顶尖公司的专家和国内知名测试学者。我也参加了多个大会，聆听了许多关于AI测试的主题分享，并尝试了多款AI相关的测试工具，从中获得了许多知识和感悟。

在这些测试社区和社群中，我遇到了许多关于AI测试的问题，例如什么是AI测试，如何进行AI测试，AI测试有哪些工具与方法等。然而，当我在网上搜索AI测试相关的书籍时，却发现大量的AI开发相关书籍，却鲜有专门介绍AI测试的书籍。这说明测试业界仍在混沌中不断摸索前进。

为了分享我所学到的AI测试相关知识和经验，我梳理了自己的学习经历，尝试回答了一些我遇到的关于AI测试的常见问题，并将这些内容整理成文章，与大家一起交流探讨。

AI测试的迷思

在讨论AI测试时，通常存在两种理解：

第一种是利用AI辅助当前的软件测试，例如使用AI系统学习测试分析和测试设计，进而自动生成测试用例并自动化实现这些测试用例。

第二种则是对AI系统进行测试。尽管业界对于AI系统进行测试仍然使用常规测试手段，如功能测试、性能测试和安全测试等，但测试其功能有效性时往往难以获取明确的测试数据和验收条件。这种情况下，只能通过对算法的深入理解和根据经验生成或寻找数据，并大致评估功能测试结果的有效性来进行测试。

而利用AI辅助当前的自动化测试则是一个新兴领域。使用AI（如深度学习）系统来帮助测试工作绝对是近几年最热门的测试趋势之一，其中包括自动生成并执行自动化测试、大规模测试结果分析、自动化探索性测试、缺陷定位等。

美国已经有多家公司推出了商用的AI测试工具。在朱少民老师的公众号“软件质量报道”中，有一篇名为《未来已来，人工智能测试势不可挡：介绍9款AI测试工具》的文章，介绍了9款基于AI的测试工具。但这些AI测试工具普遍存在测试用例准确性和大规模测试用例可维护性等问题。

第一个问题：AI辅助测试真的能用吗？

虽然许多公司已经开始研究AI辅助测试，并有许多工具问世，但它们都有一个显著问题：准确性。由于现有的AI学习算法本身的限制，学习并生成的测试用例和验证条件的准确率都不是非常高。我曾参加过几个大会，其中一些中国一线互联网厂商分享的AI辅助测试的准确率仅略高于80％，不到90％。这种准确率在金融等某些对精度要求高的系统中很难得到认可。

其次，当自动化测试用例规模很大时，测试用例的维护工作很难依靠人工完成，只能依靠工具。由于AI测试工具的不准确性，导致维护工作的准确性也不是十分理想。

尽管如此，在质量要求不高的大型系统中，AI辅助测试可以极大地降低测试成本，因此在这些系统中，AI辅助自动化测试已经得到应用。此外，在质量要求高并且资源充足的项目中，AI辅助测试可以作为人工自动化测试的扩展，作为自动化探索性测试的一种工具，可以进一步保证软件质量。

第二个问题：AI辅助测试已经发展到什么程度了？

目前，AI辅助测试仍处于初级阶段。我将AI辅助测试分为三个阶段：

第一阶段是通过深度学习模型自动产生测试用例的输入，然后通过人工验证输出结果的正确性。

第二阶段是通过深度学习模型自动产生测试用例的输入，并通过规则模型自动验证输出结果的正确性。

第三阶段是通过深度学习模型自动产生测试用例的输入和输出，并自动验证输出结果的正确性。

目前业界已经基本实现了第一阶段，有一些公司也已经开始实现第二阶段。然而，只有极少数的大公司已经实现了第三阶段，并且这些公司的准确性还有待提高。因此，AI辅助测试仍有很长的路要走。

第三个问题：哪些软件系统能用AI辅助测试？

理论上，任何软件系统都可以使用AI来辅助自动化测试工作。然而，由于目前AI测试系统的现状，它还不能真正用于所有类型的软件系统。许多实际项目只在某些特定系统的特定接口层上使用AI测试，例如Web Service API等。

在不同行业领域中，AI测试的使用情况也不同。例如，在金融和军工等对质量要求很高的行业中，AI测试目前只能作为当前已有功能自动化测试的扩展部分。而在互联网等质量要求不高的行业中，一些技术能力强的公司已经将AI测试作为主要的自动化测试方式之一。不过，AI辅助自动化测试无疑是自动化测试的未来！

总结

通过上面对于问题的回答，希望能解决大家对于AI测试的困惑，包括了解什么是AI测试，自己的项目是否适合使用AI测试，以及未来是否需要在AI测试上投资等问题。

综上所述，AI测试目前仍处于发展初期，因此不适合大规模使用，只有在特定项目中才可以考虑使用。无论是使用AI还是人工方式实施自动化测试，核心都是测试的有效性和测试结果的准确性，以及测试用例的可维护性。这些是大规模自动化测试成功与否的关键因素。

因此，无论是AI自动测试还是人工自动测试，其核心本质都是一样的：靠知识学习、分析、总结等一系列人的思维来解决测试分析、测试设计和自动化测试实现的工作。但目前AI系统本身的发展还不足以很好地替代人在测试分析和测试设计方面的工作，导致AI实现的自动化测试的准确性以及可维护性比人工方式更差。不过，AI测试在时间和成本方面有明显的优势，这也是其越来越受欢迎的原因。

因此，在测试领域，AI需要更加努力才能真正替代人的工作。在考虑使用AI测试之前，应该仔细评估项目的特定需求和条件，以确定是否适合使用AI测试。未来，随着AI技术的不断发展和完善，AI测试将成为自动化测试的重要趋势，而投资于AI测试的相关技术和人才也将是一个明智的选择。

---

文/Thoughtworks 刘冉
阅读原文：https://insights.thoughtworks.cn/what-is-ai-testing/