毕业设计-分布式存储? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
taofoo
V2EX    程序员

毕业设计-分布式存储?

  •  
  •   taofoo 2021-12-08 18:21:09 +08:00 4306 次点击
    这是一个创建于 1402 天前的主题,其中的信息可能已经有所发展或是发生改变。

    又到了一年一度的毕业设计时间了。此次是本科毕业设计,想做一个系统涉及到文件存储(10MB 以内)。想上一个分布式的文件系统,直接用库感觉不大好,想自己实现一个简单的分布式文件系统作为支撑。各位怎么看?

    28 条回复    2021-12-09 23:52:42 +08:00
    taofoo
        1
    taofoo  
    OP
       2021-12-08 18:23:06 +08:00
    有啥难点或坑点吗?要是自己实现的话就做一个比较简单的分布式文件系统,忽略很多东西。
    KagurazakaNyaa
        2
    KagurazakaNyaa  
       2021-12-08 18:28:43 +08:00
    CAP 打算选那两个的抉择
    raaaaaar
        3
    raaaaaar  
       2021-12-08 18:51:04 +08:00
    mark ,我明年也准备写分布式相关的
    fuis
        4
    fuis  
       2021-12-08 19:00:18 +08:00   2
    复杂程度取决于:
    1. 丢数据是不是可以容忍的?如果可以容忍,那 journal 就不用了,奇怪的 case 也可以不测了
    2. 支不支持多读多写?
    3. 支持多少 POSIX 语义?
    4. 元数据怎么组织,怎么存储?比如文件在哪个节点上,有几个 block ?
    5. 怎么组织 block ?是直接写在盘上?还是用一下单机的文件系统?
    6. 你需要一个 zk/etcd 之类的东西来帮助你做一个 ocfs DLM 类似物,还是用现成的 raft+leveldb 实现?还是说自己搓一个 raft ?
    Akiya
        5
    Akiya  
       2021-12-08 19:18:15 +08:00   2
    10M 也要做成分布式。。。?没什么,就是有点离谱
    lbp0200
        6
    lbp0200  
       2021-12-08 19:21:25 +08:00
    学校更看重和国家政策相关的技术,比如实现一套 MATLAB ,解决卡脖子的问题。
    taofoo
        7
    taofoo  
    OP
       2021-12-08 19:31:09 +08:00
    @Akiya 不知道写啥,不想写管理系统了,吃力不讨好
    Akiya
        8
    Akiya  
       2021-12-08 19:34:50 +08:00
    @taofoo 分布式存储的代码会比管理系统的 CURD 简单吗,如果是带着做分布式存储比较轻松的想法那还是别做了,光实现一个稳定的 Raft 都够吃力了
    taofoo
        9
    taofoo  
    OP
       2021-12-08 19:45:47 +08:00
    @Akiya 不是说简单,而是说做了很多工作但都是很基础的虽然有一些亮点的地方。但是老师已经审美疲劳了
    taofoo
        10
    taofoo  
    OP
       2021-12-08 19:47:57 +08:00
    @Akiya 确实单机也可以,不过也就是毕设而已。但是也就因为是毕设,想做个亮点吧。
    taofoo
        11
    taofoo  
    OP
       2021-12-08 19:49:30 +08:00
    @fuis 目前还在看,如果难度大了,可能直接用现成的。还在和老师商量,说不定直接换题了
    realrojeralone
        12
    realrojeralone  
       2021-12-08 20:45:27 +08:00
    《基于分布式文件存储和分布式 KV 存储的对象存储系统设计与实现》
    dongcidaci
        13
    dongcidaci  
       2021-12-08 20:47:53 +08:00 via Android
    把 gfs 论文里的点实现一边就可以了
    zxCoder
        14
    zxCoder  
       2021-12-08 20:52:28 +08:00   1
    《基于深度学习的分布式系统管理系统》
    bz5314520
        15
    bz5314520  
       2021-12-08 21:59:16 +08:00
    data mesh
    agdhole
        16
    agdhole  
       2021-12-08 22:08:47 +08:00 via iPhone
    《去中心化存储》
    LeeReamond
        17
    LeeReamond  
       2021-12-08 22:34:11 +08:00
    《分布式存储---在每个设备上都存一份》
    DiamondYuan
        18
    DiamondYuan  
       2021-12-08 23:15:48 +08:00
    可以看看 CRDT
    aheadlead
        19
    aheadlead  
       2021-12-08 23:39:20 +08:00 nbsp; 3
    你弄这么 fancy 对你没啥好处,毕业设计弄个套路点的让老师也减轻点负担吧。
    随便弄个图书管理系统,赶紧通过毕设,这不香吗…

    万一到后期玩崩了,没做出来还有可能延毕,影响就大了。
    想折腾啥自己空余时间慢慢折腾呗。
    dayeye2006199
        20
    dayeye2006199  
       2021-12-09 08:13:05 +08:00
    这玩意儿自己可以成为一个项目了,如果做的精细点的化;
    建议评估一下这个功能是不是会喧宾夺主,让 LZ 忘了自己原来要做的系统
    wellsc
        21
    wellsc  
       2021-12-09 09:46:25 +08:00
    @Akiya 10M 怎么就不能分布式了?
    Juszoe
        22
    Juszoe  
       2021-12-09 09:46:58 +08:00
    要不就直接专心做分布式存储。为了亮点而强行使用有些本末倒置了,答辩老师灵魂问题“你的系统为什么要使用分布式存储?”,如果答不上来这个“亮点”会被认作是无关痛痒的小功能。
    zhengxiaowai
        23
    zhengxiaowai  
       2021-12-09 11:43:38 +08:00
    不如做分布式 kv 存储还简单,只需要找一个 raft lib 和 leveldb/rocksdb ,一天就能撸完
    vincent7245
        24
    vincent7245  
       2021-12-09 14:40:24 +08:00
    hdfs 源码研究透了,你就可以直接去找大数据的工作了,去 TM 的毕业设计
    cs419
        25
    cs419  
       2021-12-09 17:30:03 +08:00
    工作中通常是 先把东西做出来, 然后再调优 。
    先用现成的,功能实现后,再考虑换成自研的。
    Kasumi20
        26
    Kasumi20  
       2021-12-09 17:30:49 +08:00
    10MB ,何不直接做成 NFT ,存储在区块链上
    Akiya
        27
    Akiya  
       2021-12-09 21:03:30 +08:00 via iPhone
    @wellsc 10M 的数据拆成 3 份放三台机器是吧,说实话开个网盘备份都比这个有意义
    wellsc
        28
    wellsc  
       2021-12-09 23:52:42 +08:00 via iPhone
    @Akiya 您得看这是什么数据呢
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2360 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 15:42 PVG 23:42 LAX 08:42 JFK 11:42
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86