
1 littlewing 2024-03-06 14:19:46 +08:00 |
2 sssmm666 OP @littlewing Datax 用不了,有些表没有时间属性的,另外两个看了下,没看到支持 sqlServer 的 |
3 vczyh 2024-03-06 14:57:58 +08:00 |
4 goodryb 2024-03-06 15:17:27 +08:00 先从架构上看看,C 库为什么要用 mysql ,都用 SQLserverless 行不行,同类型数据库相对来说比较容易做同步 其次,同步的据主要用作什么,入大数据还是日常的查询分析,这种一般都有数据集成工具,支持各种数据源 |
5 N9f8Pmek6m8iRWYe 2024-03-06 15:25:28 +08:00 大数据平台的 CDC ,用 streamset ,参考: https://blog.csdn.net/BlackArmand/article/details/106407801 |
6 kgcHQbTYyvcz2w3j 2024-03-06 15:31:54 +08:00 Kettle ? 要我就手撸 ETL ,定义好规则代码写起来很快的 |
8 xiaoer90 2024-03-06 16:15:43 +08:00 cloudcanal ,3 个月免费,过期更新一下许可证就可以 |
9 lstz 2024-03-06 16:18:11 +08:00 via Android 没钱的话,用最大众的 mysql 就是稳的。 不过自己应用层写写代码,应该也能实现 |
10 x66 2024-03-06 16:45:45 +08:00 via Android nifi 自己手撸 SQL |
11 asmoker 2024-03-06 17:39:26 +08:00 可以试试 debezium (坑真 TM 的多,随便一搜时间戳处理的开源 Transforms 库就 TM 一大堆... |
13 smallpigzbl 2024-03-07 14:13:08 +08:00 我用的 airbyte ,开源版本,本地 docker 部署,不是太老的 SQLSERVER 都可以 |
14 sssmm666 OP @goodryb 因为我用惯了 mysql 加上用的开源框架,都用 sqlserver 的话使用开源框架那边也得换,因为目前只是从 sqlserver 读取数据的来做大屏分析和后台系统的饼图柱状图这些 |
17 sssmm666 OP @smallpigzbl 我去试下这个,昨天忙活一天用 flinkCDC 跑通了 |
20 sssmm666 OP 昨天研究一天找到了解决方案了,用的是 flink-cdc 来处理,感谢各位的解答 |
21 smallpigzbl 2024-03-08 08:43:11 +08:00 @sssmm666 Airbyte 更全一点,也支持 CDC ,折腾吧~ |
22 sssmm666 OP @smallpigzbl Airbyte 不支持 sqlserver2008,T_T ,我去看了官方文档的要求了 |
23 smallpigzbl 2024-03-08 14:57:57 +08:00 @sssmm666 想要 CDC 的话,最低都是 sqlsever 2008 R2 ,都得找兼容的连接器版本,最新版都不行。 |
24 sssmm666 OP @smallpigzbl 那现在 flinkCDC 跑通了,应该 sqlsever 2008 R2 版本了,那 Airbyte 应该也能用了,我去折腾下看看 |