Vector Search with OpenAI Embeddings: Lucene Is All You Need

本文是LLM系列文章，针对《Vector Search with OpenAI Embeddings: Lucene Is All You Need》的翻译。

摘要

我们在流行的MS MARCO文章排名测试集上使用Lucene提供了一个可复制的、端到端的OpenAI嵌入向量搜索演示。我们工作的主要目标是挑战主流的说法，即专用向量存储是利用深度神经网络应用于搜索的最新进展所必需的。恰恰相反，我们表明Lucene中的分层可导航小世界网络（HNSW）索引足以在标准双编码器架构中提供向量搜索功能。这表明，从简单的成本效益分析来看，似乎没有令人信服的理由将专用向量存储引入现代“人工智能堆栈”中进行搜索，因为这些应用程序已经在现有的、广泛部署的基础设施中获得了大量投资。

1 引言

2 从架构到实现

3 实验

4 讨论

5 结论

毫无疑问，密集向量的操作是当今搜索的重要组成部分。我们要解决的核心争论是如何在生产系统中实施和部署这些功能。主流的说法是，你需要一个新的、独特的添加到你的企业“AI堆栈”中——一个向量存储。我们提出的另一种选择是：如果你已经构建了搜索应用程序，那么你很可能已经投资于Lucene生态系统。在这种情况下，Lucene就是您所需要的全部。当然，时间会告诉我们谁是对的。