这是一个创建于 3488 天前的主题，其中的信息可能已经有所发展或是发生改变。
假如现在我有一个 100G 的大文件，内容为文本。现在想要将文件的本身进行复制，得到一个大约 1T 的文件。 我想到的一种方法是对这个 100G 的文件进行复制，然后将多个文件进行 merge 。
copy 100G.txt another100G.txt cat another100G.txt >> 100G.txt 就是利用 copy 和 cat 命令。但是，这样做还是太慢。有没有什么高效的做法呢？
 | 1 zxgngl 2016-03-23 22:29:25 +08:00 能更具体地讲一下你的应用场景吗？通过你的描述我还是不太清楚是什么导致你有这样的需求。 |
| 2 zxgngl 2016-03-23 22:33:51 +08:00 但是我可以提供一点思路：节省时间可以通过减少对硬盘的“读”或“写”操作，如果你每次写的都是一样的内容（这 100 G 的大文件），那么可以通过把它放到内存中，这样就不用每次都“读”了。然后你可以写一个程序多次把内存中的这 100 G 的数据写入到目标文件中。这只是一个简陋的思路，具体操作可能还有优化的余地。 |
 | 3 SoloCompany 2016-03-24 02:46:40 +08:00 for i in `seq 4` ; do cat 1.txt | tee -a 1.txt > /dev/null done 循环执行 4 次，你的 1.txt 就自增 16 倍 嗯，建议循环 64 次作死一下试试 |
| 4 SoloCompany 2016-03-24 02:49:29 +08:00 不想重复 io 的话其实人体蜈蚣一下就可以了 cat 1.txt | tee -a 1.txt | … 此处省略一千字 ... | tee -a 1.txt | tee -a 1.txt > /dev/null |
 | 5 lhbc 2016-03-24 02:58:01 +08:00 via Android 其实大文件分割成几个小的不是更容易处理吗…… |
Select Language