海量数据迁移,亚马逊云科技云数据库服务为大库治理提供新思路

1.背景

 目前，文档型数据库由于灵活的schema和接近关系型数据库的访问特点，被广泛应用，尤其是游戏、互联网金融等行业的客户使用MongoDB构建了大量应用程序，比如游戏客户用来处理玩家的属性信息；又如股票APP用来存储与时间线相关的行情数据。随着时间的推移和业务的发展，MongoDB库越来越大，大库治理是必须面临的问题。

 一般来讲，大库治理有如下几种方案。一是做冷热数据隔离，将数据根据使用频率分为热、温、冷、冻级别，超过一定时间的冷数据，转储到另一个冷库或低成本存储的数据库；热库只保留近期访问频繁的数据；二是做垂直拆分，比如大系统有多个集合，按照模块进行垂直划分，把不同模块对应的集合拆分到不同库，实现数据量和访问量的垂直分离；三是做水平拆分，比如选择userid的哈希值，将大的集合水平拆分到多个库，实现整体存储和计算能力的扩展。第四，也有部分业务，它的历史数据的使命完成，走完生命周期，可以直接删除。这4种方案，各有利弊，且需要根据实际业务场景进行选型。而很多场景下，客户会选择水平sharding，主要原因如下：

• 很多业务需要经常查询历史数据，水平sharding不需要删除或分离历史数据；

• 长远来看，水平sharding的扩展性更好，可以支撑更大的业务规模。

 DocumentDB Elastic Cluster是亚马逊云科技提供的一个很好的支持水平sharding的云数据库服务。本文，主要针对客户从MongoDB副本集架构迁移到DocumentDB Elastic Cluster的过程中，如何进行海量数据迁移的问题，进行研究，并提供最佳实践。

2.可选迁移方案

 众所周知，含有大数据量的数据库的迁移，是比较有挑战性的问题。数据库在不断的读写，不仅需要在目标库完成当前全量数据的初始化，也需要把初始化期间的数据变化同步到新库。以下是迁移方案示意图：

 MongoDB记录文档变化的方式有两种：oplog和change stream。由于，oplog或change stream的存储空间是有限的，因此全量初始化阶段的迁移速度是必须要考虑的因素。另外，增量同步阶段的速度也必须大于源数据库的变化速度，这样才能实现新旧数据库的数据一致。这两个阶段，我们都需要依赖稳定、高效的工具来完成。尤其在大型数据库的迁移时，甚至要配合一定的数据迁移策略（比如并行、压缩；冷、热数据分别迁移；不同集合分别迁移等）。

亚马逊云科技有3种可行的迁移方案：

• AWS DMS全量+增量迁移

• Mongoshake全量+增量迁移

• Mongodump/mongorestore+DMS增量迁

方案1：AWS DMS全量+增量

 DMS是亚马逊云科技的一项云服务，允许迁移关系数据库、MongoDB数据库和其他类型的数据存储。可以使用DMS执行一次性迁移，或复制源库正在进行的更改以保持源和目标同步。DMS在全量迁移阶段提供了Auto segmentation和Range segmentation的方式来并行加速迁移；在CDC增量阶段，3.5 bet版也支持并发方式写入DocumentDB。

方案2：Mongoshake全量+增量

 开源的Mongoshake，也支持迁移写入DocumentDB。由于它属于开源产品，优势是社区活跃，遇到问题可以定制开发解决，迁移速度较快；劣势是遇到问题可以获得的技术支持力度较低，用户需要自己定位或求助社区。

方案3：Mongodump/mongorestore+DMS增量

 mongodump是MongoDB官方提供的备份工具，它可以从MongoDB数据库读取数据，并生成BSON文件，然后通过mongorestore工具恢复到MongoDB。它也同样支持从DocuemntDB备份数据。而mongodb-database-tools的6.1版本也支持恢复到DocumentDB Elastic Cluster。这种方案的优势是稳定快速，缺点是增量同步能力不足。但是，可以借助DMS的增量同步能力。重点是需要选择好增量同步的起始位点，防止数据丢失。

以上三种方案，各有优缺点，如下表。

使用DMS托管服务，用户配置迁移任务最方便，整个迁移过程，日志清晰、速度直观，可观测性较好。Mongoshake在增量写入DocumentDB环节速度略慢，在TPS较高的场景不适用；而mongodump和mongorestore在MongoDB大数据库迁移场景上，速度比DMS full load更快。大库迁移是否成功的一个非常重要因素是迁移速度。

原标题：大型MongoDB数据库迁移到DocumentDB Elastic Cluster的最佳实践

原链接：https://aws.amazon.com/cn/blogs/china/best-practices-for-migrating-large-mongodb-databases-to-documentdb-elastic-cluster/