这是一个创建于 1672 天前的主题，其中的信息可能已经有所发展或是发生改变。
服务器上有 3 个 t 的数据大概由百万级别数量的小文件构成,现在挂了一个 5 个 t 的硬盘想把 3 个 t 的数据备份到硬盘上有啥好方法么 cp mv rsync tar 都试过了 不太好使
 | 1 wtfcworld 2021-06-02 17:44:14 +08:00 dd ? |
 | 2 AoEiuV020 2021-06-02 17:44:51 +08:00 ghost? 或者整个硬盘 dd 过去再 resize 分区, |
 | 3 F281M6Dh8DXpD1g2 2021-06-02 17:45:04 +08:00 tar |
 | 4 doyel 2021-06-02 17:46:11 +08:00 dd 最快 |
 | 5 hulala1021 2021-06-02 18:09:43 +08:00 rsync 应该没问题诶，我现在同步上百万的文件，没啥问题 不过我是从无到有增量同步的，不是一下字有上百万文件 |
 | 6 westoy 2021-06-02 18:11:23 +08:00 dd 到新硬盘， 再 resize2fs 扩容 |
 | 7 lerry 2021-06-02 18:26:36 +08:00 硬盘快照，具体要看是什么文件统 |
 | 8 mingl0280 2021-06-02 22:20:54 +08:00 via Android partclone 好。 |
 | 9 liuguangxuan 2021-06-02 23:48:35 +08:00 via Android rsync 会碰到什么问题？ |
 | 10 kokutou 2021-06-03 08:42:14 +08:00 via Android 先看看你的 5t 硬盘是不是叠瓦。。。 挂着不管放机房拷几天也就拷完了。 |
 | 13 aloxaf 2021-06-03 09:15:29 +08:00 |
 | 14 heguangyu5 2021-06-03 09:39:05 +08:00  1 机械硬盘的话试试这个 https://github.com/heguangyu5/qtar 原理就是先给要 copy 的文件排序,让接下来 tar 读取文件时尽可能少地移动磁头什么的,时间有点久记不清楚了. 我们用这个工具迁移了千万数量级小文件,比简单的 cp 什么地快很多. |
15 Variazioni 2021-06-03 09:56:28 +08:00 @wtfcworld 不懂就问。。dd 是什么。。。 |
 | 16 Pythondr 2021-06-03 10:16:35 +08:00 |
 | 17 MarkLeeyun 2021-06-03 12:38:14 +08:00 rm -rf .* 最快，哈哈。 |
 | 18 wangkun025 2021-06-03 13:30:35 +08:00 dd: Copy and convert (called dd because cc is already in use by C compiler) |
| 19 wangkun025 2021-06-03 13:30:47 +08:00 @MarkLeeyun 差评 |
 | 20 iphoneXr 2021-06-03 13:49:13 +08:00 只要是涉及到大量文件迁移备份和同步的 统一推荐使用开源软件 rclone 自带校验比对和状态输出。 上面很多人回复都是没实践过，瞎扯淡。 |
| 21 AoEiuV020 2021-06-03 14:24:13 +08:00 @iphoneXr 本来就很慢了，再校验一下岂不是更慢了，一般硬盘对拷也不会出错，不需要这种东西吧， 而且看了下官网也没提 dd 之类的，竞品只是 rsync, cp，怎么到你这里好像都能吊打 dd 了似的， |
 | 22 X0ray 2021-06-03 17:13:48 +08:00 请问下楼主 cp / mv 哪里不好了 |
 | 23 wzq001 2021-06-03 17:28:28 +08:00 |
| 24 wzq001 2021-06-03 17:28:49 +08:00 |
 | 25 newmlp 2021-06-03 19:29:07 +08:00 当然是硬盘对拷最快 |
 | 26 msg7086 2021-06-04 04:53:05 +08:00 叠瓦盘拷 3T 小文件可以拷一年…… |
 | 28 maxbon 2021-06-04 16:53:08 +08:00 试试 unison，之前百万级别的文件用这个效率还行 |
 | 29 FenixVu OP @heguangyu5 谢谢老哥用你推荐的方法 成功了 |
Select Language