咨询各位 v 友,文件服务器针对海量小文件有什么优化手段 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lingeo
V2EX    服务器

咨询各位 v 友,文件服务器针对海量小文件有什么优化手段

  •  
  •   lingeo 2023-08-08 10:50:46 +08:00 1474 次点击
    这是一个创建于 862 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司有台服务器,系统是 windows server 2019 数据中心版。里面放了很多数据集,音视频,文本、很多小文件,磁盘有没有做 raid 不清楚,我入职之前这服务器就存在了,而且塞了很多数据了。现在每次拷数据进去,如果移动硬盘的小文件过多,服务器的文件资源管理器直接卡死,感觉是有服务在检索移动硬盘里的文件,排查的时候发现不知道哪个哥们装了个 everything 内存占用 60%,卸了之后发现资源管理器卡顿消除了。还有拷数据的时候为了跑满带宽,我都是先打成压缩包再复制,虽然压缩也比较费时间但是总体来说要比直接复制快一点。我想问下现在 AI 这么火,存储数据集的服务器都是怎么设计的,传输时有大量小文件需要寻址,有时候可能还需要在服务器进行文件检索。

    5 条回复    2023-08-09 01:06:27 +08:00
    v2gba
        1
    v2gba  
       2023-08-08 11:01:12 +08:00
    HDD 还是 SSD ?

    我自己家全固态存文件服务器 之前简单测试过下没啥问题
    * 几十万张的色图包(我真没看,纯测试用的)复制来复制去
    * 整个 PC 机系统盘带游戏等 1T 直接复制备份
    (网络是 10G 内网)
    lingeo
        2
    lingeo  
    OP
       2023-08-08 11:05:31 +08:00
    @MrGba2z 机械硬盘,家用 SSD 成本咋样。
    opengps
        3
    opengps  
       2023-08-08 11:24:19 +08:00
    首先是硬盘格式,格式化时候需要选最小的块,否则可能极大浪费存不下文件
    其次是资源管理器的操作模式天然就很卡,反倒是你可以直接精确控制程序写入或者读取文件不会卡死
    tool2d
        4
    tool2d  
       2023-08-08 11:45:22 +08:00
    我服务器挂的是固定大小的 VHD ,速度也很快。
    v2gba
        5
    v2gba  
       2023-08-09 01:06:27 +08:00
    @lingeo 我用的带保修的 sn640 我觉得还行吧. ssd 没做冗余, 每小时自动备份到 HDD 的冷备里. 也在等之前传言的 zhitai 还是长江的大容量 ssd
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     891 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 21:32 PVG 05:32 LAX 13:32 JFK 16:32
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86