数据双份存储， ES + MySQL, 如何保证一致性

ayonel 2019-09-16 14:01:27 +08:00 14823 次点击

这是一个创建于 2216 天前的主题，其中的信息可能已经有所发展或是发生改变。

目前业务的数据都存在 mysql 中，为了做一个搜索模块，故需要将数据冗余一份至 es. mysql 中的数据可以理解为星型模型，由一个主表跟多个副表关联而成。比如：主表是用户基本信息，副表 1:用户爱好; 副表 2:用户课程; 副表 3:用户历史购物记录。副表跟主表根据 user_id 关联，且副表跟主表都会独自更新。

期望是在 es 中维护一份 mysql 的逻辑视图，因为要做搜索，所以相当于 es 中是一张大宽表。为了不影响现有业务逻辑，不期望在代码逻辑中双写，可能走数据同步的策略（监听 binlog，做增删改 es 逻辑）

这样的话，如何保证这两份数据的一致性，以及 mysql 更新时 es 的更新时延。大佬们有类似的经验么，望不吝赐教。

副表

MySQL

主表

逻辑

14 条回复 2019-09-17 14:16:07 +08:00

iluhcm

2019-09-16 14:19:43 +08:00

mysql binlog -> kafka -> es，通过消息可以保证最终一致，无法做到强一致。

Rush9999

2019-09-16 14:53:56 +08:00

https://dbaplus.cn/news-11-2397-1.html
MySQL 数据同步到 ES 中，大致总结可以分为两种方案：

# 方案 1：监听 MySQL 的 Binlog，分析 Binlog 将数据同步到 ES 集群中。

优点：业务与 ES 数据耦合度低，业务逻辑中不需要关心 ES 数据的写入；

缺点：Binlog 模式只能使用 ROW 模式，且引入了新的同步服务，增加了开发量以及维护成本，也增大了 ES 同步的风险。

# 方案 2：直接通过 ES API 将数据写入到 ES 集群中。

优点：简洁明了，能够灵活的控制数据的写入；

缺点：与业务耦合严重，强依赖于业务系统的写入方式。

考虑到订单系统 ES 服务的业务特殊性，对于订单数据的实时性较高，显然监听 Binlog 的方式相当于异步同步，有可能会产生较大的延时性。且方案 1 实质上跟方案 2 类似，但又引入了新的系统，维护成本也增高。所以订单中心 ES 采用了直接通过 ES API 写入订单数据的方式，该方式简洁灵活，能够很好的满足订单中心数据同步到 ES 的需求。

由于 ES 订单数据的同步采用的是在业务中写入的方式，当新建或更新文档发生异常时，如果重试势必会影响业务正常操作的响应时间。

所以每次业务操作只更新一次 ES，如果发生错误或者异常，在数据库中插入一条补救任务，有 Worker 任务会实时地扫这些数据，以数据库订单数据为基准来再次更新 ES 数据。通过此种补偿机制，来保证 ES 数据与数据库订单数据的最终一致性。