这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
这是一个创建于 252 天前的主题，其中的信息可能已经有所发展或是发生改变。
我很好奇，有没有人将 deepseek 搭建在服务器上，然后对外提供出租服务的？ 比如给个 mstsc ，或者弄个外网访问权限的。 可以让租用的人在本地调用这个云服务器上的模型的....
 | 1 Hansah 252 天前 官方不是有 API ？ |
 | 2 fcten 252 天前 官方有 api ，不过官方 api 这两天基本处于不可用的状态。 |
 | 3 Jerry23333 252 天前 阿里云百炼里面有 deepseek |
 | 4 hamsterbase 252 天前 |
 | 5 Themyth OP |
| 6 hamsterbase 252 天前 @Themyth deepseek 官方应该不是亏本的，他们服务器有特殊优化的。 |
 | 7 dream7758522 252 天前 via Android 昨天凌晨 2 点多，官网 web 版也崩了，等了半个多小时，好了。联网搜索也是彻底废了。 |
 | 8 parad 252 天前 via Android 有很多，我这里做了对比 https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed 持续更新中 |
| 9 parad 252 天前 域名太小众，渲染不出 link [https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed]( https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed) |
 | 10 akira 252 天前 阿里云百炼 前天放了 deepseek 出来了。 一百万个 免费额度，足够测试了 |
 | 11 lovestudykid 251 天前 @parad #8 Deepseek 不是本来就是用 FP8 训练的吗，FP8 怎么还会有量化损失？ |
 | 12 duzhuo 251 天前 |
| 13 parad 251 天前 via Android @lovestudykid 根据我的理解，DeepSeek 最终的 weight 是 mixed F8_E4M3 + FP32 。这个可以在 Hugging Face 的 原始 model layer details 里面看到： https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00027-of-000163.safetensors 而 Hyperbolic 的 FP8 是他们自己的 quantization ，是在 model 上面额外的 quantization ，这里有解释： https://docs.hyperbolic.xyz/docs/hyperbolic-ai-inference-pricing 所以我理解 Hyperbolic 应该是做了额外的 quantization 。当然有可能是我理解错了。欢迎指正。 |
| 14 parad 251 天前 @lovestudykid 问了另一家 provider ，他们说因为 Deepseek R1 是 "trained in FP8"，所以本来就是 FP8 quantization 。所以没有影响。 但我也不确定这些 provider 有没有自己多做一层 quantization ，因为 Deepseek R1 的 FP8 是某些 layer 才有的，有会多其他 layer 还是 BF16： - https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00001-of-000163.safetensors - https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00160-of-000163.safetensors - https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00163-of-000163.safetensors 这些 BF16 不确定是不是被额外的做了 FP8 quantization 。按照 vLLM 的说法，如果是 Online Dynamic Quantization “all Linear modules (except for the final lm_head) have their weights quantized down to FP8_E4M3 precision with a per-tensor scale”： - https://docs.vllm.ai/en/v0.5.0.post1/quantization/fp8.html |
 | 15 bccah 250 天前 via Android 除非你有奇怪的需求，不然直接官网就可以了。deepseek 的优势一直都是便宜大碗 |
 | 16 kimizen 249 天前 我找到流畅体验无需等待的 DeepSeek R1 推理模型的方法了 硅基流动 联合 华为腾 推出了 DeepSeek-R1 、DeepSeek-V3 的 [671B 满血版] API 服务，回复速度与官方 API 基本一致。 通过邀请链接注册送 14 元平台额度，等效 87 万 DeepSeek-R1 Tokens 或 700 万 DeepSeek-V3 Tokens ，配合 CherryStudio 、ChatBox AI 等开源工具可在本地搭建 AI 聊天平台。 邀请注册可以获得赠送额度，邀请码注册，我们都能获得赠送额度 https://cloud.siliconflow.cn/i/7vbnP2Ow |
 | 17 tycholiu 241 天前 这家 https://ppinfra.com 可以试试，点我的链接 https://ppinfra.com/user/register?invited_by=P0KD6O 注册 ，我们双方都能拿到赠送的 5000 万 Token 使用量，个人可以用一年了。 |
 | 18 larryzhu9952 220 天前 |
Select Language