这是一个创建于 1177 天前的主题，其中的信息可能已经有所发展或是发生改变。
求效率最快的思路
 | 1 someonedeng 2022-08-15 11:06:51 +08:00 按批次 select 出来塞线程池跑就好了 |
 | 2 lmshl 2022-08-15 11:26:56 +08:00 1. 选一个 reactive stream 库（比如 akka-stream ） 2. 数据源（例如 jdbc ）包装为 stream source （一般 reactive stream 已经有包装好的） 3. 在 mapAsync(parallelism = <根据你的网络与综合性能设定的并行度>) 中实现你的 http download （推荐 akka-http ） 逻辑 4. 把它润起来 优点是不需要管理线程池，全程异步，如果网速不快的话，那 CPU 会很低。如果网速足够快，CPU 也不会浪费在无意义的上下文切换 |
 | 3 java253738191 2022-08-15 11:41:20 +08:00 datax+udf |
 | 4 qwer666df OP |
| 5 someonedeng 2022-08-15 22:23:56 +08:00 @qwer666df 50 万行又不多，随便搞搞就好了 |
 | 6 letitbesqzr 2022-08-15 22:32:09 +08:00 50 多万 就别折腾了... 那些复杂的流程写完以后.. 开多线程都已经下完了 |
 | 7 yuuyoo 2022-08-18 11:24:23 +08:00 导入迅雷批量下载 |
Select Language