我做了一个 Ollama 模型仓库镜像站,帮你更快的从 ModelScope 魔搭拉取模型 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mili100
V2EX    Local LLM

我做了一个 Ollama 模型仓库镜像站,帮你更快的从 ModelScope 魔搭拉取模型

  •  
  •   mili100 273 天前 1344 次点击
    这是一个创建于 273 天前的主题,其中的信息可能已经有所发展或是发生改变。

    你好啊,

    不知道你知道你那里官方 Ollama Registry 的 Cloudflare R2 速度怎么样,但是在我这里特别是晚高峰,那是相当的糟糕。特别是每当新的开源模型发布的一个又一个深夜,每次模型拉取的的待都让我咬牙切齿(比如前两天的 Phi4 )。

    于是我把目光转向了 Ollama 和抱抱脸合作的 hf.co Registry,奈何在 HF 的可访问性也非常看运气,我刚好也属于运气不那么好的那部分。虽然还有 HF-Mirror 但是速度也不容乐观。 但是 hf.co Registry 也给了我一些启发,抱抱脸都可以,魔搭难道不行吗?

    于是就有了我们今天的主角 ModelScope2OllamaRegistry (比起镜像站它更类似 hf.co Registry ,所以可能也许有一丝标题党)。再加上一些可能的冷知识 Ollama Registry 是 OCI Registry (好吧,也可能大家早就知道了),我通过魔搭的 API 获取了一些元数据补上了 manifests 还有一些乱七八糟的 config ,再以及最让人讨厌的对话模板,现在它已经能够 almost 完美的工作了。


    使用方法就像是这样:

    拉取模型

    请选择带有 GGUF 模型的仓库:

    ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf 

    这将能够拉取 https://www.modelscope.cn/models/qwen/Qwen2.5-0.5B-Instruct-gguf 中的模型,对于不带有标签或 latest 将依次按顺序尝试选择Q4_K_MQ4_0Q8_0量化。

    指定量化

    可以通过 tag 指定选择的量化:

    ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf:Q8_0 

    这将能够拉取 https://www.modelscope.cn/models/qwen/Qwen2.5-7B-Instruct-gguf/resolve/master/qwen2.5-0.5b-instruct-q8_0.gguf ,量化类型标签不区分大小写,你可以在 这里 查看 Ollama 支持的量化。

    仓库中需要包含带有正确格式文件名的 GGUF 文件(模型名称以“-”分隔,最后一位需要为有效的量化类型,形如:model-quant.gguf ),暂不支持包含类似 0000x-of-0000x 的切分后的模型。

    指定模板

    若对话模板未能正确识别或识别有误导致对话输出异常,你可以尝试这样指定模型的对话模板:

    ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf:Q8_0--qwen2 

    你可以查看 Ollama 官方支持的模板,和 本项目支持的模板,以手动指定更加合适的模板。


    当然,它也开源: https://github.com/onllama/Onllama.ModelScope2Registry

    如果你也喜欢的话也可以为我点个 Star ,你的 Star 将是我继续维护的动力。

    目前尚无回复
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     892 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 20:48 PVG 04:48 LAX 13:48 JFK 16:48
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86