Reading view

There are new articles available, click to refresh the page.

我做了一个 Ollama 模型仓库镜像站,帮你更快的从 ModelScope 魔搭拉取模型

mili100:

你好啊,

不知道你知道你那里官方 Ollama Registry 的 Cloudflare R2 速度怎么样,但是在我这里特别是晚高峰,那是相当的糟糕。特别是每当新的开源模型发布的一个又一个深夜,每次模型拉取的的等待都让我咬牙切齿(比如前两天的 Phi4 )。

于是我把目光转向了 Ollama 和抱抱脸合作的 hf.co Registry,奈何在 HF 的可访问性也非常看运气,我刚好也属于运气不那么好的那部分。虽然还有 HF-Mirror 但是速度也不容乐观。 但是 hf.co Registry 也给了我一些启发,抱抱脸都可以,魔搭难道不行吗?

于是就有了我们今天的主角 ModelScope2OllamaRegistry (比起镜像站它更类似 hf.co Registry ,所以可能也许有一丝标题党)。再加上一些可能的冷知识 Ollama Registry 是 OCI Registry (好吧,也可能大家早就知道了),我通过魔搭的 API 获取了一些元数据补上了 manifests 还有一些乱七八糟的 config ,再以及最让人讨厌的对话模板,现在它已经能够 almost 完美的工作了。


使用方法就像是这样:

拉取模型

请选择带有 GGUF 模型的仓库:

ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf

这将能够拉取 https://www.modelscope.cn/models/qwen/Qwen2.5-0.5B-Instruct-gguf 中的模型,对于不带有标签或 latest 将依次按顺序尝试选择Q4_K_MQ4_0Q8_0量化。

指定量化

可以通过 tag 指定选择的量化:

ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf:Q8_0

这将能够拉取 https://www.modelscope.cn/models/qwen/Qwen2.5-7B-Instruct-gguf/resolve/master/qwen2.5-0.5b-instruct-q8_0.gguf ,量化类型标签不区分大小写,你可以在 这里 查看 Ollama 支持的量化。

仓库中需要包含带有正确格式文件名的 GGUF 文件(模型名称以“-”分隔,最后一位需要为有效的量化类型,形如:model-quant.gguf ),暂不支持包含类似 0000x-of-0000x 的切分后的模型。

指定模板

若对话模板未能正确识别或识别有误导致对话输出异常,你可以尝试这样指定模型的对话模板:

ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf:Q8_0--qwen2

你可以查看 Ollama 官方支持的模板,和 本项目支持的模板,以手动指定更加合适的模板。


当然,它也开源: https://github.com/onllama/Onllama.ModelScope2Registry

如果你也喜欢的话也可以为我点个 Star ,你的 Star 将是我继续维护的动力。

❌