大量个人数据的存储和备份,你是怎样做的? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
clowwindy
V2EX    问与答

大量个人数据的存储和备份,你是怎样做的?

  •  
  •   clowwindy 2012-06-10 00:03:12 +08:00 8583 次点击
    这是一个创建于 4876 天前的主题,其中的信息可能已经有所发展或是发生改变。
    记得很多年前的时候,我刻过十几个光盘包的光盘。刻录、读取、解压、分卷都很费时,人工为光盘“分库”“建索引”也很麻烦。而且光盘存放时间有限,隔几年就要重新刻一遍。后来硬盘越来越便宜的时候,大家就都直接用硬盘备份了。

    在硬盘容量还在增长的阶段,我每隔一年左右就要买一块更大的硬盘,然后把原来硬盘上的根目录整个拷进去。现在电影、动画、游戏的容量越来越大,单块硬盘的容量和读写速度没有很大的进步。当需要三块以上的硬盘才能装下所有数据时,硬盘也变得不方便了。

    1. 文件分散在不同硬盘上,管理起来不方便,即使用符号链接,也不能维持统一的目录结构。比方说,为了避免单块硬盘用满,可能就要在不同的硬盘上分别建 Movie01,Movie02,Movie03……机械硬盘近年来读写速度没什么进步,手工平衡容量要花很长的时间转移文件,很不方便。
    2. 如果硬盘多了,其中某块硬盘挂掉的概率会成倍增加,所以需要一个带冗余的方案。
    3. 这些数据应该能很容易的被家中的不同设备访问。

    目前找到的方案里面,似乎 Hadoop 的 DFS 能满足这几点,用 fuse 驱动或 webdav 可以挂载到操作系统里。用很便宜的配件(CPU300 + 主板300 + 机箱电源150)就能搭起来,成本基本上大部分就在硬盘上。搭起来之后,存文件的时候不用考虑哪块硬盘还有空间,加硬盘、换硬盘就再也不用手工转移数据了。即使一台机器插满了硬盘,再加一台机器就能直接扩容了。

    不知大家有没有尝试过?
    28 条回复    1970-01-01 08:00:00 +08:00
    virushuo
        1
    virushuo  
       2012-06-10 00:04:04 +08:00
    试试zfs?
    binux
        2
    binux  
       2012-06-10 00:09:09 +08:00
    保存存100M的种子,而不是10T的文件
    welsmann
        3
    welsmann  
       2012-06-10 00:13:33 +08:00
    @binux +1
    clowwindy
        4
    clowwindy  
    OP
       2012-06-10 00:18:03 +08:00
    @virushuo zfs 能否像 hdfs 那样,可以设置一个 replication 数量,自动决定数据存储在哪些节点?
    virushuo
        5
    virushuo  
       2012-06-10 00:25:20 +08:00
    @clowwindy zfs应该是可以通过创建多个不同的文件系统来做这事。但和hdfs的目标是不一样的,所以应该不能直接和replication那么用。

    但zfs只要管理好存储池,划分好文件系统应该就可以解决同样问题。
    pengjiayou
        6
    pengjiayou  
       2012-06-10 01:26:40 +08:00   1
    直接上 NAS ,推荐 Synology 和 Netgear ,尤其是前者,专业做 NAS 的。
    lyxint
        7
    lyxint  
       2012-06-10 01:30:48 +08:00
    删掉,最好的解决方案
    blueven
        8
    blueven  
       2012-06-10 01:55:23 +08:00
    @lyxint 赞!
    FreeWriting
        9
    FreeWriting  
       2012-06-10 02:16:23 +08:00
    只备份个人文档,dropbox加移动硬盘
    其它下载来的东西没了就没了,否则烦恼太多
    blacktulip
        10
    blacktulip  
       2012-06-10 05:08:32 +08:00
    真心建议删光,反正我电影从不看第二次,某种特殊类型的除外。
    akann
        11
    akann  
       2012-06-11 02:24:55 +08:00
    电影建议只保存链接,或者只保存bt种子,音乐保存在google music或者直接使用虾米等音乐网站 其他文件可以保存在网盘或者自己的硬盘。
    电影是最占硬盘的,最好不要保存。如果你非要保存电影,建议保存flv格式的电影,容量会比mpeg4格式的电影缩小很多。
    goophile
        12
    goophile  
       2012-06-11 02:47:41 +08:00
    @akann 电影当然是要么不保存,要么保存最好的版本
    yuiagain
        13
    yuiagain  
       2012-07-05 14:25:17 +08:00
    学习。。。。。
    cheshirecat
        14
    cheshirecat  
       2012-07-05 14:40:11 +08:00
    这是 Hoarding ... 得治...
    dhysum
        15
    dhysum  
       2012-07-05 14:59:19 +08:00
    可以试试LINUX集群, NFS等。
    dhysum
        16
    dhysum  
       2012-07-05 15:14:23 +08:00
    磁盘柜。
    brucmao
        17
    brucmao  
       2012-07-05 15:21:52 +08:00
    迅雷离线空间那么大,保存在上面吧,
    likuku
        18
    likuku  
       2012-07-05 15:29:11 +08:00   1
    zfs 轻松扩容。只要把zpool里所有的硬盘都以每次替换一块的方式换掉,然后重新加载一次,容量就增大了。
    tuita012
        19
    tuita012  
       2012-07-05 15:30:55 +08:00
    可以试试网盘的服务
    tuita012
        20
    tuita012  
       2012-07-05 15:30:58 +08:00
    可以试试网盘的服务
    qiuai
        21
    qiuai  
    PRO
       2012-07-05 18:30:29 +08:00
    我目前的解决办法.不保存电影,不保存动漫,H片看完好看的保存,不好看的直接删除,但是不管好看不好看,保留种子.电子书因为体积的关系,全部保存了,照片有单独的分区,音乐也有单独的分区,工作文档也有.
    同时,我买了115的VIP,做同步盘用.因为DB我这边速度太慢.
    pulse_me
        22
    pulse_me  
       2012-07-05 18:35:12 +08:00
    @blacktulip 什么特殊类型的呢?
    eric_q
        23
    eric_q  
       2012-07-05 21:04:16 +08:00
    MooseFS?
    heidour
        24
    heidour  
       2012-07-05 21:28:08 +08:00
    利用发展的眼光看问题的话,以后想看什么在线瞬间看,现在收藏没用。
    heidour
        25
    heidour  
       2012-07-05 21:28:09 +08:00
    利用发展的眼光看问题的话,以后想看什么在线瞬间看,现在收藏没用。
    Kvm
        26
    Kvm  
       2012-07-06 15:39:59 +08:00
    简单的干法用lvm
    huochengfang
        27
    huochengfang  
       2012-07-06 16:59:02 +08:00
    我原来是1比1备份,全挂在机子上,用库统一访问……但是当我硬盘膨胀到6T的时候。我觉悟了……走向了另一个极端。
    alexrezit
        28
    alexrezit  
       2012-07-06 17:55:02 +08:00
    看完就删, 至于那个"隔几年就要重新刻一遍"太二了, 这几年内都没有看过的话就说明没价值了直接丢掉就好了啊~
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5837 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 02:41 PVG 10:41 LAX 19:41 JFK 22:41
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86