
1 littlewing 2024 年 3 月 6 日 |
2 sssmm666 OP @littlewing Datax 用不了,有些表没有时间属性的,另外两个看了下,没看到支持 sqlServer 的 |
4 goodryb 2024 年 3 月 6 日 先从架构上看看,C 库为什么要用 mysql ,都用 SQLserverless 行不行,同类型数据库相对来说比较容易做同步 其次,同步的数据主要用作什么,入大数据还是常的查询分析,这种一般都有数据集成工具,支持各种数据源 |
5 N9f8Pmek6m8iRWYe 2024 年 3 月 6 日 大数据平台的 CDC ,用 streamset ,参考: https://blog.csdn.net/BlackArmand/article/details/106407801 |
6 kgcHQbTYyvcz2w3j 2024 年 3 月 6 日 Kettle ? 要我就手撸 ETL ,定义好规则代码写起来很快的 |
8 xiaoer90 2024 年 3 月 6 日 cloudcanal ,3 个月免费,过期更新一下许可证就可以 |
9 lstz 2024 年 3 月 6 日 via Android 没钱的话,用最大众的 mysql 就是稳的。 不过自己应用层写写代码,应该也能实现 |
10 x66 2024 年 3 月 6 日 via Android nifi 自己手撸 SQL |
11 asmoker 2024 年 3 月 6 日 可以试试 debezium (坑真 TM 的多,随便一搜时间戳处理的开源 Transforms 库就 TM 一大堆... |
13 smallpigzbl 2024 年 3 月 7 日 我用的 airbyte ,开源版本,本地 docker 部署,不是太老的 SQLSERVER 都可以 |
14 sssmm666 OP @goodryb 因为我用惯了 mysql 加上用的开源框架,都用 sqlserver 的话使用开源框架那边也得换,因为目前只是从 sqlserver 读取数据的来做大屏分析和后台系统的饼图柱状图这些 |
17 sssmm666 OP @smallpigzbl 我去试下这个,昨天忙活一天用 flinkCDC 跑通了 |
20 sssmm666 OP 昨天研究一天找到了解决方案了,用的是 flink-cdc 来处理,感谢各位的解答 |
21 smallpigzbl 2024 年 3 月 8 日 @sssmm666 Airbyte 更全一点,也支持 CDC ,折腾吧~ |
22 sssmm666 OP @smallpigzbl Airbyte 不支持 sqlserver2008,T_T ,我去看了官方文档的要求了 |
23 smallpigzbl 2024 年 3 月 8 日 @sssmm666 想要 CDC 的话,最低都是 sqlsever 2008 R2 ,都得找兼容的连接器版本,最新版都不行。 |
24 sssmm666 OP @smallpigzbl 那现在 flinkCDC 跑通了,应该 sqlsever 2008 R2 版本了,那 Airbyte 应该也能用了,我去折腾下看看 |