SpringBoot多数据源架构实现

使用Spring Boot 3.x + MyBatis-Plus + MySQL 8.0 + ClickHouse 24 实现多数据源配置

在现代的应用程序开发中，使用多个数据源已经成为一种常见的需求。例如，我们可能需要在同一个应用中使用MySQL作为主数据库，同时使用ClickHouse来处理大量的分析数据。本文将介绍如何使用Spring Boot 3.x、MyBatis-Plus、MySQL 8.0和ClickHouse 24，结合dynamic-datasource-spring-boot-starter实现多数据源配置。

1. 环境准备

在开始之前，确保你已经准备好以下环境：

• JDK 17 或更高版本
• Spring Boot 3.x
• MySQL 8.0
• ClickHouse 24
• Maven 或 Gradle

2. 创建Spring Boot项目

首先，创建一个新的Spring Boot项目。你可以使用Spring Initializr来生成项目骨架，选择以下依赖：

• Spring Web
• MyBatis Framework
• MySQL Driver
• ClickHouse Driver

3. 添加依赖

在pom.xml中添加以下依赖：

<dependencies><!-- Spring Boot Starter --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId><version>3.0.0</springBoot></dependency><!-- MyBatis-Plus --><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.5.3.1</version></dependency><!-- MySQL Driver --><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.33</version></dependency><!-- ClickHouse JDBC driver --><dependency><groupId>ru.yandex.clickhouse</groupId><artifactId>clickhouse-jdbc</artifactId><version>0.3.2</version></dependency><!-- Dynamic Datasource --><dependency><groupId>com.baomidou</groupId><artifactId>dynamic-datasource-spring-boot-starter</artifactId><version>3.6.1</version></dependency>
</dependencies>

4. 配置多数据源

在application.yml中配置MySQL和ClickHouse的数据源：

spring:datasource:dynamic:primary: master # 设置默认的数据源strict: false # 是否严格匹配数据源，不严格匹配时，找不到对应数据源会使用默认数据源datasource:master:url: jdbc:mysql://localhost:3306/mydb?useUnicode=true&connectTimeout=30000&characterEncoding=utf-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai&rewriteBatchedStatements=true&allowPublicKeyRetrieval=trueusername: rootpassword: rootdriver-class-name: com.mysql.cj.jdbc.Driverdw:url: jdbc:clickhouse://localhost:8123/mzdb?timezone=Asia/Shanghai&socket_timeout=600000&connect_timeout=60000username: defaultpassword: driver-class-name: com.clickhouse.jdbc.ClickHouseDriver

5. 配置MyBatis-Plus

在Spring Boot中配置MyBatis-Plus，确保它能够支持多数据源。

@Configuration
@MapperScan("com.example.mapper")
public class MybatisPlusConfig {@Beanpublic MybatisPlusInterceptor mybatisPlusInterceptor() {MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();interceptor.addInnerInterceptor(new PaginationInnerInterceptor(DbType.MYSQL));return interceptor;}
}

6. 使用多数据源

在代码中使用@DS注解来指定使用哪个数据源。@DS注解可以放在类或方法上。

@DS注解可以使用在mapper接口上，也可以使用在方法上，也可以使用在Service类上，取决于业务中需要实现的作用域

@Service
public class UserService {@Autowiredprivate UserMapper userMapper;public List<User> getUsers() {return userMapper.selectList(null);}@DS("clickhouse") // 切换为clickhouse数据源public List<DwOperationRecordMapper> getAnalyticsData() {return analyticsMapper.selectList(null);}
}

7. 创建Mapper接口

创建对应的Mapper接口，并使用@Mapper注解标记。

/**
* 主数据源
*/
@Mapper
public interface SysUserMapper extends BaseMapper<SysUser> {
}
/**
* 副数据源
*/
@Mapper
@DS("dw") //切换为clickhouse数据源
public interface DwOperationRecordMapper extends BaseMapper<DwOperationRecord> {
}

8. 实体类定义

定义对应的实体类，并使用@TableName注解指定表名。

/**
* 主数据源
*/
@Data
@Builder
@AllArgsConstructor
@NoArgsConstructor
@TableName(value = "sys_user")
public class SysUser {//账号状态_启用public final static Integer FORBIDDEN = 0;@TableId(type = IdType.AUTO)private Long id;@Schema(description = "姓名")private String name;@Schema(description = "密码")private String password;@Schema(description = "账号名")private String userName;@Schema(description = "手机号")private String phone;
}/**
* 副数据源
*/
@Data
@NoArgsConstructor
@AllArgsConstructor
@Builder
@TableName("DWS_OPERATION_RECORD")
public class DwOperationRecord implements Serializable {/*** 手术记录id*/@TableField(value = "surgical_id",exist = false)@Schema(description = "手术记录id")private String surgicalId;/*** 病案号*/@Schema(description ="病案号")private String patientid;/*** 姓名*/@Schema(description ="姓名")private String name;/*** 性别*/@Schema(description ="性别")private String sex;
}

9. 测试多数据源

编写测试类，验证多数据源是否正常工作。

@SpringBootTest
public class MultiDataSourceTest {@Autowiredprivate UserService userService;@Testpublic void testMySQLDataSource() {List<SysUser> users = userService.getUsers();Assert.notEmpty(users, "MySQL数据源查询失败");}@Testpublic void testClickHouseDataSource() {List<DwOperationRecord> list = userService.list();Assert.notEmpty(list, "ClickHouse数据源查询失败");}
}

10. 注意事项

10.1 事务导致多数据源失效问题

在使用多数据源时，如果开启了事务（@Transactional），可能会导致数据源切换失效。这是因为Spring的事务管理机制默认会绑定一个数据源，事务开启后不会动态切换数据源。

解决方案：

1. 禁用事务
   如果业务场景允许，可以在切换数据源的方法上禁用事务：

   @DS("dw")
   @Transactional(rollbackFor = SQLException.class, propagation = Propagation.NOT_SUPPORTED) // 禁用事务
   public List<DwOperationRecord> getDwOperationRecord() {return dwOperationRecordMapper.selectList(null);
   }
   

2. 使用@DSTransactional注解
   dynamic-datasource-spring-boot-starter提供了@DSTransactional注解，支持多数据源事务管理。需要在主数据源上开启事务，其他数据源不支持事务。

   @Transactional(rollbackFor = SQLException.class) // 主数据源事务
   public void updateUserAndLog(SysUser user) {userMapper.updateById(user);logToClickhouse(user); // 切换到ClickHouse
   }@DS("clickhouse")
   public void logToClickhouse(SysUser user) {dwOperationRecordMapper.insert(new DwOperationRecord(user.getId(), "UPDATE", LocalDateTime.now()));
   }
   

3. 手动控制事务
   如果必须使用事务，可以手动控制事务的提交和回滚：

   @Autowired
   private DataSourceTransactionManager transactionManager;// 默认使用主数据源
   public void updateUserAndLog(SysUser user) {DefaultTransactionDefinition definition = new DefaultTransactionDefinition();TransactionStatus status = transactionManager.getTransaction(definition);try {userMapper.updateById(user);logToClickhouse(user); // 切换到ClickHousetransactionManager.commit(status);} catch (Exception e) {transactionManager.rollback(status);throw e;}
   }
   

---

10.2 ClickHouse的事务支持

ClickHouse本身不支持事务（ACID），因此在使用ClickHouse时，无法使用事务管理。如果需要保证数据一致性，可以通过业务逻辑或补偿机制来实现。

---

10.3 数据源切换的性能开销

频繁切换数据源可能会带来一定的性能开销，尤其是在高并发场景下。建议尽量减少数据源切换的次数，或者通过缓存机制优化数据访问。

---

10.4 数据源配置的优先级

如果同时配置了spring.datasource.url和dynamic-datasource，dynamic-datasource会覆盖默认的spring.datasource配置。确保只使用一种配置方式，避免冲突。

11. 总结

通过以上步骤，我们成功地在Spring Boot 3.x项目中配置了MySQL和ClickHouse的多数据源，并使用MyBatis-Plus进行数据操作。dynamic-datasource-spring-boot-starter使得多数据源的切换变得非常简单，只需通过@DS注解即可轻松切换数据源。

在实际项目中，多数据源的配置可能会更加复杂，例如涉及到事务管理、读写分离等。但通过本文的介绍，你已经掌握了基本的配置方法，可以根据实际需求进行扩展和优化。

注意事项：

• 事务管理在多数据源场景下需要特别处理，避免数据源切换失效。
• ClickHouse不支持事务，需通过业务逻辑保证数据一致性。
• 尽量减少数据源切换的频率，优化性能。

希望本文对你有所帮助，祝你在使用Spring Boot开发多数据源应用时顺利！