求助 6TB 照片分类方案 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
AnonymouSam
V2EX    程序员

求助 6TB 照片分类方案

  •  
  •   AnonymouSam 2023-10-13 00:25:01 +08:00 via iPhone 3722 次点击
    这是一个创建于 728 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近手上有个让人头疼的活,想了很久也没有想到靠谱的方案。 来这里听听大家的意见。

    这 6T 多的照片是通过 Dropbox 发给我的,但是因为他之前操作上的问题,导致这些照片的命名,分类,日期等 exif 信息全都是乱的。现在他要我把这些照片按照不同的人整理,其他不包含的人的照片就先搁置。

    对于我来讲。首先,照片数量太多,并且里面很多人我都不熟悉,所以手动肯定是不可能。 其次,数目太大,我也不可能下载到本地来处理。

    综上,我初步的想法是,将这些存在 Dropbox 上的文件,通过磁盘映射的方式,映射到 VPS 上/本地计算机上,然后利用开源或者付费的人脸识别软件来进行分类。不知道这样做可行性有多大呢? 如果可行,那么映射工具以及人脸识别软件,有没有推荐?

    第 1 条附言    2023-10-13 12:58:54 +08:00
    谢谢大家的建议,综合考虑了一下,还是决定先尝试扔到 google photos 里面,交给谷歌来处理
    26 条回复    2023-11-01 16:42:58 +08:00
    BeautifulSoap
        1
    BeautifulSoap  
       2023-10-13 00:28:08 +08:00 via Android
    rclone 了解下,但 mount 一个 6T 的 dropbox 然后使用有没有可行性因为没试过就不清楚了
    JustSong
        2
    JustSong  
       2023-10-13 00:42:51 +08:00 via Android
    简单提供一下思路,首先通过人脸识别的模型找出图片中的人脸,之后通过预训练好的人脸识别网络获取对应的 embedding 向量,通过计算向量之间的相似度来对照片进行聚类
    tux
        3
    tux  
       2023-10-13 01:01:06 +08:00
    华为手机相册自带按人分类功能
    Valyrian
        4
    Valyrian  
       2023-10-13 01:25:31 +08:00
    Leonard
        5
    Leonard  
       2023-10-13 02:03:57 +08:00 via iPhone
    现在手机相册都有这个功能吧,不过识别不是 100%准确
    yunzhongzhuan
        6
    yunzhongzhuan  
       2023-10-13 02:16:22 +08:00
    直接百度搜我名字
    dangyuluo
        7
    dangyuluo  
       2023-10-13 04:44:15 +08:00   1
    @yunzhongzhuan 云中专?
    bjzhush
        8
    bjzhush  
       2023-10-13 08:15:07 +08:00
    目标不明确,先梳理好目标再谈吧,比如说照片里有 ABC 三个人各自的照片,又有 AB 的合照,那么后者怎么分类?单独分一个合照的分类还是在 AB 里都算一份?
    winterx
        9
    winterx  
       2023-10-13 08:23:36 +08:00   1
    买一台 Pixel ,然后把照片丢到 Google photos ,让他帮你分析
    photos 在图片识别这一块暂时是 No.1
    glouhao
        10
    glouhao  
       2023-10-13 08:28:33 +08:00
    我感觉 9 楼挺靠谱的,买个群晖,组个黑群晖也行。
    rainfallmax
        11
    rainfallmax  
       2023-10-13 08:30:43 +08:00
    我只能想到 Adobe 家的 Lightroom ,好像是有智能人脸。
    xJogger
        12
    xJogger  
       2023-10-13 08:40:49 +08:00 via Android
    @rainfallmax Lightroom 我用过,只能说能用,但是体验一般…
    ltkun
        13
    ltkun  
       2023-10-13 08:40:50 +08:00 via Android
    找一个 pixel 一代手机 或者插件一个 无损传谷歌相册 分人脸很简单 就是传的过程比较痛苦 本地的话 找一个支持人脸识别的 nas 了比如海康有几款支持的 他的人脸识别率比谷歌牛逼 就是 6t 照片不敢想象要多久 还有就是自建人脸识别应用 但是如果是亚洲人估计识别率不高需要自己训练模型
    glouhao
        14
    glouhao  
       2023-10-13 08:43:49 +08:00
    @winterx pixel ,能否上传群晖里的照片
    id4alex
        15
    id4alex  
       2023-10-13 08:47:02 +08:00
    群晖人脸识别一般般
    felixcode
        16
    felixcode  
       2023-10-13 08:57:39 +08:00 via Android
    digikam
    gam2046
        17
    gam2046  
       2023-10-13 08:59:12 +08:00
    人脸识别、分类目前还是有许多开源方案,虽然不可能 100%准确,但是整个七七八八还是问题不大的。

    compreface 可以尝试一下,主要是提供了 API 接口。
    ma836323493
        18
    ma836323493  
       2023-10-13 09:11:11 +08:00
    上传到阿里云盘, 人像分配好后, 用 ali 现成的 api 获取所有数据信息, 数据里面包含了 faces_thumbnail ,有文件名称,直接 python 代码很快的,
    ma836323493
        19
    ma836323493  
       2023-10-13 09:12:40 +08:00
    啊,不可能下载到本地, 好吧
    ButcherHu
        20
    ButcherHu  
       2023-10-13 11:35:42 +08:00
    之前看到一个老哥用 yolo 给群晖照片打 tag

    https://github.com/charlie-captain/MeowAI
    winterx
        21
    winterx  
       2023-10-13 11:54:09 +08:00
    @glouhao #14 可以先试一下群晖的 Synology Photos 套件,也自带人脸识别。
    群晖是没有办法直接传谷歌相册,需要在 pixel 装一个 sync 软件,通过 SMB 或其他协议把照片拉到 pixel
    bbroot
        22
    bbroot  
       2023-10-13 11:55:43 +08:00
    lightroom
    swulling
        23
    swulling  
       2023-10-13 12:02:11 +08:00 via iPhone
    映射到本地再处理,也不过是把每个文件都下载一遍而已。

    找个国外的服务器,写个脚本处理下。逐个文件下载,处理,分类,移动。Dropbox 有 API 。

    这里的核心是人脸识别,其实不难,开源模型足够了。
    tcpdump
        24
    tcpdump  
       2023-10-13 12:12:08 +08:00
    Google 的人脸识别确实很
    tommyxps
        25
    tommyxps  
       2023-10-17 22:45:19 +08:00
    Google photo 可以但是也有问题,人脸识别的精确度遇到 PS 或者美颜过的会低很多。
    s4d
        26
    s4d  
       2023-11-01 16:42:58 +08:00
    @gam2046 compreface 的准确度如何提升?实践效果好像比较差,可能是没用好。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5704 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 03:06 PVG 11:06 LAX 20:06 JFK 23:06
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86