怎么用反向代理拉取 git lfs 的内容? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
bbsingao
V2EX    程序员

怎么用反向代理拉取 git lfs 的内容?

  •  
  •   bbsingao 2023-12-31 00:53:32 +08:00 2232 次点击
    这是一个创建于 649 天前的主题,其中的信息可能已经有所发展或是发生改变。
    各位,我最近要在一个权限很小的云主机上开发,没有 root 权限,不能 sudo, 也无法访问 huggingface 和 github.
    我想办法用 nginx 代理了 github 和 hf.

    比如:
    git clone https://huggingface.co/microsoft/phi-2 拉不动.
    我用 nginx 反代后,
    git clone https://我的 vps 域名/microsoft/phi-2
    就可以了拉下来了.

    但是在 git lfs 时就遇到了问题. 因为 hf 都是大文件
    比如 https://huggingface.co/microsoft/phi-2/blob/main/model-00001-of-00002.safetensors
    这个文件是 5G 大小, 所以要在库下载后,用
    git lfs fetch --include="model-00001-of-00002.safetensors" 来拉取,但这个命令我不知道要怎么进行反代. 不知道具体大文件存储在什么地方.

    请问有人做过类似的工作吗,请赐教.
    6 条回复    2024-01-02 14:36:11 +08:00
    bbsingao
        1
    bbsingao  
    OP
       2023-12-31 01:06:05 +08:00
    我试着也反代了 git-lfs.github.comgit-lfs.com ,并且修改了指针文件:
    version https://git-lfs.github.com/spec/v1 #将这里改成我的反代的地址
    oid sha256:8602d4d3b14f586520d1f765091d9f3a4feb1c5786448c600d018db7216f7235
    可是还是取不下来.
    Alias4ck
        2
    Alias4ck  
       2023-12-31 01:27:05 +08:00
    fdwjtz
        3
    fdwjtz  
       2023-12-31 01:41:55 +08:00 via Android
    走 http_proxy https_proxy 试试
    jim9606
        4
    jim9606  
       2023-12-31 11:34:27 +08:00
    git-lfs 服从 HTTPS_PROXY 环境变量
    其实吧一般不需要完整 git 仓库的可以考虑网页直链单独下载大文件,这样就可以套用浏览器能用的扶墙方案了,其他小文件可以继续用 git 拉下来,clone 之前设置环境变量 GIT_LFS_SKIP_SMUDGE=1 可以避免下载 lfs 文件
    2026
        5
    2026  
       2023-12-31 11:46:02 +08:00 via iPad
    loadingimg
        6
    loadingimg  
       2024-01-02 14:36:11 +08:00
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5791 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 06:18 PVG 14:18 LAX 23:18 JFK 02:18
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86