【Elasticsearch】开源搜索技术的演进与选择：Elasticsearch 与 OpenSearch

1.历史发展

在 2010 年以 Apache $2.0$ 开源协议发布后，Elasticsearch 迅速成为全球最受欢迎的企业 搜索引擎。

Elasticsearch 常与 Logstash 和 Kibana 一起部署，这一组合被称为 Elasitc Stack，用于启用日志分析用例，包括应用可观察性、安全日志分析和理解用户行为。

2015 年，亚马逊利用这一开源协议推出了 Amazon Elasticsearch Service（Amazon ES），这是一个云托管服务，允许 AWS 客户启动可伸缩的 Elasticsearch 集群，连接数据源到集群端点，并在云中加载、处理、分析或可视化数据。

然而，Elastic 公司最终对亚马逊使用其产品和商标提出了反对，并在 2019 年因涉嫌商标侵权和虚假广告对这家科技巨头提起诉讼。

🚀《Elastic 与 Amazon 就商标侵权诉讼达成协议》

Elastic 和亚马逊在 2021 年解决了这一诉讼，带来了两个重要的发展：

• 2021 年 1 月，Elastic 公司宣布，从 7.11 版本开始，Elasticsearch 将根据 Server Side Public License（SSPL）和 Elastic 许可证进行授权。这一变化阻止了亚马逊和其他公司在未与 Elastic 直接合作的情况下提供 Elasticsearch 服务。
• 2021 年 4 月，亚马逊宣布，它将从 Elasticsearch 的最后一个开源版本（7.10.2）分支，推出一个新的开源搜索引擎项目。由于 Elasticsearch 名称不能再使用，新项目被命名为 OpenSearch。亚马逊还将 OpenSearch 作为云服务提供，名为 Amazon OpenSearch Service。

🚀 OpenSearch 官网：https://opensearch.org/

这里提醒一句，阿里云早期的搜索引擎也叫 OpenSearch。巧合的是，阿里云开放搜索服务也叫 OpenSearch，其地址参见：https://developer.aliyun.com/article/67156。

阿里云 OpenSearch（开放搜索服务）是阿里云推出的一套自助式、可定制的云搜索服务，初衷是将阿里巴巴积累近 10 年的搜索引擎技术平台化、服务化，并开放给广大开发者，降低实现专业搜索产品的门槛，让开发者以较低的成本轻松拥有跟淘宝、天猫等应用的搜索工具类似的专业搜索产品。

本文介绍的是 Elasticserach 分支出来的 Opensearch，并非阿里云的 OpenSearch，特此说明。

在接下来的部分中，我们将更深入地探讨这两种搜索解决方案在过去近 3 年中如何发展分化，以及哪一个更适合你的 AWS 日志分析或企业搜索应用。

如下相同点和不同点主要来自：Elastic 官网、OpenSearch 官网及相关博客。

• 🚀 https://www.elastic.co/cn/amazon-opensearch-service
• 🚀 https://www.elastic.co/cn/elasticsearch/opensearch

2.OpenSearch 与 Elasticsearch 相同点

OpenSearch 是从 Elasticsearch 的一个相对高级的分支版本开发而来的，所以两个应用在搜索、分析和仪表盘的所有基本功能上都是相同的。

OpenSearch 和 Elasticsearch 都提供了 多租户架构 和 全文搜索、分布式搜索 能力的分析引擎。

因此，两者都可以用来满足 网站搜索、企业搜索 和 日志分析 的用例。

3.OpenSearch 与 Elasticsearch 不同点

在比较 OpenSearch 和 Elasticsearch 时，主要有以下几点不同：

• 版本
• 许可证
• 社区
• 功能
• 安全性
• 性能
• 价格

3.1 版本大不同

下图显示了 Elasticsearch 和 OpenSearch 两个搜索引擎解决方案的独立发展路径和发布节奏。

• Elasticsearch 经过 1.x、2.x、5.x、6.x、7.x、8.x 版本更新，最终发展到预计在 2024 年发布的 9.x 版本。
• OpenSearch 从 1.0 版本开始于 2021 年 7 月发布，然后逐步更新至 2.x 系列，其中 2.6 版本预计将是 2024 年的最后一个 2.x 系列版本，随后计划发布 3.x 系列。

3.2 许可证不同

在 2021 年之前，Elasticsearch 在 Apache $2.0$ 许可证下可供公众使用。这个许可证允许用户出于任何目的使用、分发或修改软件，以及分发修改后的 Elasticsearch 版本而无需支付任何版税。

在与亚马逊的争议之后，Elasticsearch 现在根据 SSPL 和 Elastic 许可证 进行授权。这一变化之后，Elasticsearch 不再被视为严格意义开源，因为许可证现在要求任何向第三方提供 Elasticsearch 功能的人必须发布整个源代码和所有第三方运行它所需的 API。

OpenSearch 目前根据 Apache 2.0 许可证 授权。

🚀 简述一下 SSPL 协议和常规开源的不同：SSPL 协议要求如果你提供基于此协议软件的服务，必须公开整个服务的源代码，而常规开源软件不需要。

这时候，大家可能在想，我们在使用 Elasticsearch，并没有公开源代码呀！

是这样的，国内能真正基于开源代码二次开发且商业化用途的代码，除了几个 BAT、字节等大厂外，屈指可数。

通俗说这是针对的类似亚马逊大厂商业化行为的协议！

使用 SSPL 协议的部分开源软件如下：

软件名称	使用协议	时间
MongoDB	SSPL	2018 年 10 月启用 SSPL
Graylog	SSPL	2020 年 11 月宣布 4.0 及以后的版本将使用 SSPL
Elasticsearch & Kibana	SSPL & Elastic 许可证	2021 年 1 月 Elastic NV 宣布将来版本将使用 SSPL 和 Elastic 许可证双重授权

3.3 社区不同

OpenSearch 和 Elasticsearch 都拥有健康、活跃和忠诚的社区，因此两个搜索引擎都不太可能在功能供给上落后太远或很快不再受支持。

• Elasticsearch 社区论文比较成熟，官方论坛地址：https://discuss.elastic.co/。

• OpenSearch 官方论坛地址：https://forum.opensearch.org/。

我看了一下，OpenSearch 论坛问题数和回复数都还没有形成规模。

3.4 功能不同

亚马逊最初分支 Elasticsearch 7.10.2 创建 OpenSearch 时，首先必须删除所有不兼容 Apache $2.0$ 许可证的代码。

这包括禁用所有收费功能并删除整个 Elastic X-Pack 代码。

功能	Elasticsearch	OpenSearch	备注
许可证	SSPL / Elastic License	Apache License 2.0	OpenSearch 保持了完全的开源许可
安全功能	部分为付费功能	大部分开源可用	OpenSearch 倾向于开源其安全功能
警报和异常检测	付费和开源版本	开源可用	OpenSearch 提供开源的警报和异常检测
SQL 支持	有	有	OpenSearch 继承了 Open Distro 的 SQL 功能
机器学习支持	付费功能	开源插件形式提供	OpenSearch 社区提供 ML 插件
客户端兼容性	完全支持自家产品	兼容 Elasticsearch 7.10	OpenSearch 保持对旧 Elasticsearch 客户端的兼容
社区支持	由 Elastic 公司主导	社区驱动	OpenSearch 鼓励社区贡献和反馈
插件生态	较闭合的生态系统	开放插件生态	OpenSearch 促进插件的开源发展
跟踪分析	付费功能	开源可用	OpenSearch 提供开源的跟踪分析功能
长期支持版本	提供	提供	OpenSearch 承诺提供长期支持的版本

Elastic GitHub：https://github.com/elastic

OpenSearch GitHub：https://github.com/opensearch-project

3.5 安全性不同

Elasticsearch 和 OpenSearch 都配备了许多相同的安全功能。

但是，这些功能都包含在 OpenSearch 中，而某些功能在 Elasticsearch 中只对付费客户可用。

如 OpenSearch 官网介绍：其已缺省（系统默认）安全。

Elastic 付费功能清单列表：https://www.elastic.co/cn/pricing

3.6 性能不同

如果你正在进行大规模的搜索操作，你可能会对这两种搜索引擎中哪一个能提供更快查询感兴趣。

Elastic 最近发表了一篇博客，标题为 “Elasticsearch vs. OpenSearch：揭开性能差距”。

🚀 文章地址：https://www.elastic.co/cn/blog/elasticsearch-opensearch-performance-gap

Elastic 官网文档强调：自从 Elasticsearch 的一个早期版本问世以来，OpenSearch 就没有跟上创新的步伐。自 OpenSearch GA 以来，Elasticsearch 在功能创新方面已经超过了 $4$ 倍。

Elastic 官方对比强调，如下图所示 —— Elasticsearch 在各个关键性能指标上的优势，并且更加节约存储资源。

• 文本查询（Text Querying）：Elasticsearch 在文本查询性能上比 OpenSearch 快 $76\%$。
• 排序（Sorting）：在排序操作中，Elasticsearch 比 OpenSearch 快 $58\%$。
• 日期直方图（Date Histogram）：在进行日期直方图聚合时，Elasticsearch 显示出比 OpenSearch 快 $81\%$ 的性能。
• 条款（Terms）：在处理条款查询时，Elasticsearch 的性能比 OpenSearch 快 $61\%$。
• 范围（Ranges）：在范围查询方面，Elasticsearch 展现出比 OpenSearch 快 $42\%$ 的性能。
• Elasticsearch 使用的 存储空间 比 OpenSearch 少 $37\%$。

这意味着 Elasticsearch 在处理同等任务时，不仅查询速度更快，而且在存储效率上也更优。

如下截图参见博客：https://www.elastic.co/cn/blog/migrating-1-billion-log-lines-opensearch-elasticsearch

左边是 Opensearch，右边是 Elasticsearch。明显对比可知：Elasticsearch 较 OpenSearch 节省了 $23\%$ 的存储空间。

3.7 价格不同

Elasticsearch 和 OpenSearch 的自我管理版本可以免费下载，但用户需要使用自己的硬件和计算资源来安装、管理和操作它们。

中小企业国内使用 Elasticsearch 居多，普通的免费基本功能基本够用。

而部分商业化银行等大型企业使用 Elasticsearch 商业化功能的也不在少数。

国内还有新特点就是云厂商和 Elastic 合作紧密，推出的 Elasticsearch 版本。比如：阿里云 Elasticsearch、腾讯云 Elasticsearch 用得也不少。

• 🚀 Elasticsearch 下载地址：https://www.elastic.co/cn/downloads/elasticsearch
• 🚀 OpenSearch 下载地址：https://opensearch.org/downloads.html
• 🚀 阿里云 Elasticserach：https://www.aliyun.com/product/bigdata/elasticsearch
• 🚀 腾讯云 Elasticsearch：https://cloud.tencent.com/product/es

3.8 两者可相互导入

OpenSearch 迁移到 Elasticsearch 参见：

• 🚀 https://www.elastic.co/cn/blog/migrating-1-billion-log-lines-opensearch-elasticsearch

Elasticsearch 迁移到 OpenSearch 参见：

• 🚀 https://opensearch.org/docs/latest/upgrade-to/upgrade-to/

4.总结

OpenSearch 已发布 3 年多，Elasticsearch 和 OpenSearch 已存在很多不同，但它们最终都源自同一个版本：Elasticsearch 7.10.2。

我们不对 Elasticsearch 和 Amazon OpenSearch 之间的选型提供直接的推荐，因为最合适的选择将取决于项目或产品独特的需求和环境。但，文中数据相信会给你提供参考。

建议读者根据自己的具体情况和偏好做出决定，并考虑功能需求、成本效益、长期的技术支持或自身是否具备架构及性能调优等能力。