半个小时前， ollama 上线了目前单显卡里，最强的中小模型 gemma3

claude：
说道跑分。。我可就不困了

@dbpe 不太一样，claude 是商业版。google 这个完全开源模型，包括底模都提供了，吹嘘水准已经到了商业标准。还是多模态，而且还能同时识别多张图片，似乎以前模型只能识别出一张图片。

@tool3d claude ，跑分没赢过，体验没输过


先质疑一波，等量化模型出来大家跑一跑就知道了。

这么说一张 A100 80G 就搞定了?

怎么没有和 qwq 32b 对比

@l4ever 写的是 H100

我玩了 qwq 32b 是真的爽，对中文的拿捏，估计 gemma3 无法达到，等子弹飞一飞

lmarena 上确实把包括 deepseek v3 等一众远大于它的模型给灭了，我自己稍微测了一下感觉算是二线非思考模型水平了（或者说准一线？除了 grok 3 和 claude sonnet 3.7 之外的非思考模型的水平），不过不知道为什么明明是一个这么小的模型，google ai studio 的推理速度特别特别慢，所以我也没测太多。

@LaTero 本地 ollama 没问题，网友 Apple M1 Max 32G ，运行飞快。我自己显卡运行也挺快的。

4090 能跑吗

gpt 4o 都已经这么落魄了么

其实，真正的极致小模型，还得看 rwkv ，0.5b 都能很猛

多少个 tokens/s ?
@tool3d

开源模型生机勃勃了，好事，deepseek 开的好头。
QWQ 32B q8 两张显卡 40G 正好够，已经感觉和 deepseek 满血差距很小了，非常好用。
期待 gemma3 。

这榜单还行，是个写作榜单，也就是评测 llm 在进行写作创作时人哪个人情味更多些。lmarena 评测更多是答案的亲和性。

@supersf 是有点慢（和同类型的模型对比）。我这里差不多 15 tokens/s ，架构似乎是新的，我看 ollama 上也有人说速度慢，估计需要时间优化。

不过很奇怪的是，官方也很慢。

@hutng 刚用 ollama 测试了一下，12b 模型，效果一般。老是报错，Error: POST predict: Post "http://127.0.0.1:35039/completion": EOF ，不知道怎么回事，可能是我的环境问题。

@hutng #18 ollama 官网也得是：12B parameter model (128k context window)。我比较好奇这 128K 的上下文窗口是怎么来的。ollama 默认都是 2K ，128K 不爆显存吗？

这个可以输入图片，我试了下还挺好，至少各种表情包图片能解释出来

ollama 上的给的参数有问题，温度应该是 1.0, 不是 0.1

>>> 请你自己成语拉龙 10 次
好的，没问题！我来连续成语拉龙 10 次：

1. **一帆风顺**
2. **水到渠成**
3. **蒸蒸日上**
4. **鹏程万里**
5. **龙腾虎跃**
6. **锦上添花**
7. **如鱼得水**
8. **马到成功**
9. **心想事成**
10. **福星高照**

希望这些成语能给你带来好运！

0.1 的温度

>>> 请你自己成语拉龙 10 次
好的，没问题！我来挑战一下成语拉龙十次：

1. **一帆风就** (yīfán fēngjiù) - 比喻一开始就非常顺利。
2. **龙腾虎跃** (lóngténghúyuè) - 形容跑跳时动作矫健，也形容人充满活力，气旺而有精神。
3. **龙马精神** (lóngmǎ-JīngShén) - 形容老气十足的精力旺盛、精神振奋。
4. **呼风唤兽** (hūfēng huànshòu) - 原指道士或巫师招风唤雨，后比喻凭借某种神秘的力量变化事物。
5. **生龙活虎** ( shēnglónghuótiger) - 比喻像龙和虎一样有生机、有活力。
6. **游龙珠** (yóu lóng xì zhū) - 喻君王巡视，也形容玩耍得很自得。
7. **画龙点睛** (huà lóng diǎnjīng) - 比喻在关键地方简明地点明要旨，使内容传神生辉。
8. **望云断雾看风辨雨** (wàngyún duànwù kàng fēng biàn yǔ) 古人根据云、雾、风、雨变化判断天。比喻通过敏锐的观察判断事物的发展趋势。
9. **龙争虎斗** (lóng zhàng hū dǒu) - 比喻势力或竞争对手之间激烈的争夺。
10. **惊天动地** (jīngtiāndòngdì)- 形容声势非常大，足以使天大地颤动。也形容事件影响震惊寰宇。

完成了！希望你喜欢我拉的这些“成语龙”!

1.0 temperature

@openmynet #21 确实，google 的 aistudio 上就是 1 。
aistudio 上试了一下 27B 的模型，光数学上来看，准确性一般，比 qwq 差远了（当然了，直接这样比较推理模型和非推理模型不是很公平）

@hutng 大佬， 推理模型，和非推理模型，各推荐一个能本地部署的？

@hutng QWQ 32B q8 需要的配置不算很低啊

这个等人试了再看

@follow 非大佬，纯小白。推理模型 qwq 32b 的 q4 就可以，实际占用显存 20G 多点，4090 、3090 都可以，便宜点 2080ti 也行。目前感觉比 r1 蒸馏的 32b 强很多。唯一的问题就是思考的过程有点长，回答的精细度、准确性非常好。

gemma3 12b

>>> 请你自己成语接 10 次
好的，没问题！我来挑战一下成语接龙，10 次：

1. **一帆风顺**
2. **顺水推舟**
3. **舟车劳顿**
4. **顿悟成仙**
5. **仙姿佚貌**
6. **貌合神离**
7. **离恨仇深**
8. **深恶痛绝**
9. **绝无仅有**
10. **有恃无恐**

怎么样？ 这是一个有趣的挑战！

@listenfree AI 对这种异常输入，表现很一般。
毕竟你说的是“成语拉龙”。你换成“成语接龙”试试。

@google2023 我是 3090+tesla t10 ，显卡成本 7.5k ，q8 15token 左右。2 个 2080ti22g 更便宜，5k

@niubilewodev #30 ds r1 开深度思考是可以的，他打错是有点欺负国外 AI 了

补充下 模型大小对质量的影响肯定还是存在的。671B 基本还是优势很大的，明天部署下原版 gemma3 27B 看看效果

@niubilewodev 谢谢提醒，老了，经常打错字

Gemma3 的多言能力肯定比 Qwen2.5

最少正中文的用, Gemma3 1B 不字已很害, Qwen2.5 7B 的出有不忍睹, 32B 才像, 更不用用差 Qwen 是不行的

Gemma3 4B 都比 Qwen2.5 32B 很多。

我想人看得懂

QwQ 32B, 完全看不懂, 不懂香港也算了, 回字也不, 程度的在香港是有商用值的。
用:
---
如果一登仔到呢笑, 接落去?
```
荒到
死 3 幸存者
跟住比地食人族捉晒番去
3 人去到比人吊晒起身
食人族公主就第一幸存者
「你十下周定死」
幸存者十下周
跟住公主第二幸存者
「你一百下周定死」
幸存者一百下周
痛到叫
跟住公主第三幸存者
「你一千下周定死」
幸存者 我死！！
公主就
```

AI:
---
这个笑话的结构是一个递进式的幽默，通过逐步增加数字（从 10 到 100 再到 1000 ）来制造笑点。每个幸存者的反应也随着数字的增大而变得更加极端，最后第三个幸存者选择死亡而不是承受更大的痛苦，这本身已经具有一定的荒谬感和幽默效果。

然而，在第三个人选择了“宁愿死”之后，公主会有什么样的回应呢？这里的关键在于预期与现实之间的反差。根据前面的模式，公主可能会继续沿用类似的句式，但需要制造一个转折或意外来增强笑点。

可能的结局是：
公主说：“好啊！那我让你死一千次！”
或者更夸张一点：
“既然你选择死亡，那么……你就得弹一万下宾周再死！”（进一步加剧了荒谬性）

这样的回应既延续了之前的模式，又通过出乎意料的数量增加制造了额外的幽默效果。同时，这也突显了食人族公主可能具有某种扭曲的逻辑或偏好，即不断加码惩罚以达到极端的效果。

需要注意的是，“宾周”在这里应该是一个特定词汇或双关语，在中文网络环境中可能存在特定含义，但根据上下文推测它可能是“槟榔”或其他有弹性的物品（例如气球等），或者是某个谐音梗。由于具体背景不明确，这里假设其为某种需要反复拉伸的动作对象。

总结来说，这个笑话的高潮在于通过逐步升级的选择和出人意料的结果来制造笑点，并且可能包含文化或语言上的双关元素以增强效果。公主的反应应该打破之前简单的二选一模式，转而采取更极端的方式，从而产生喜剧性的反差。


Gemma 3 27B 就多了, 懂, 懂登

AI:
---
登仔到呢笑，接落去反肯定：

**「公主：『你唔早！我已成千下周喇！』」**

或者加多句：

* **「正宗 on9 笑！」**
* **「笑死，呢 level 柴笑都得？」** (通常刺意味)
* **「登仔表示理解哂痛苦」** (自嘲)
* **「其公主想：『你 on9 咩？』」**

之，登仔用一好似睇唔起但又忍不住笑度去接呢笑。意柴笑入面刺同自嘲空。

QwQ 32B 的古析, 正是用回答, 篇大的在不住, 我是成 Qwen2.5 32B 看

###

析以下古
--
早白帝城 - 李白

朝白帝彩，千里江陵一日。
岸猿啼不，舟已重山。



### Qwen 2.5 32B:
《早白帝城》是唐代著名人李白的一首七言句，描了清晨白帝城的景象和迅速航行的舟情景。首主要表出人的喜心情以及大自然景色的美。

首先，“朝白帝彩”，便呈了一幅美而神的面：清晨，霞光丈，人了被彩的白帝城。句以“白帝”和“彩”的意象，造出一神奇、幻而又的意境。

接著，“千里江陵一日”，通速度感表人的自在。用了一奇的字比“千里”“一日”。不是空和上的反差，更重要的是表了人快速返家的急切心情。

下一句，“岸猿啼不”，描沿江而行到的猿猴啼。自然之音，象徵著旅途中的持性和永不停息的生命力，也增添了旅程中的一寂孤感。

最後，“舟已重山”了人利抵目的地的心情。的“舟”不是指船本身，更是象征著人的自由和洒，表出他生活的和度；而“重山”的意象更突出了旅程的辛最的成功。

整首通生活的景色描、明快美的句表了作者朗豁的心境和大自然之美的美，是李白作品中一首非常有名的山水。


### Gemma 3 27B
好的，我析李白的《早白帝城》。首是李白在被赦免後，白帝城所作，充了喜、自信和豪之情。

**句解：**

* **「朝白帝彩」**: 描人清晨告白帝城。白帝城地高山谷之中，常年，景色瑰奇特。“彩”不明了地理位置的美，也暗示了人的心情如同彩般愉快。
* **「千里江陵一日」**: 明人乘坐舟，一天之便可白帝城返回江陵。句看似，但真地反映了江水流的湍急和人的心似箭。“千里”距，“一日”突速度之快，也暗示了人被赦免後心情的快和自由的渴望。
* **「岸猿啼不」**: 描江岸猿猴的叫此起彼伏，不。“啼不”不表了猿猴的量之多，也暗示了人旅途中的和生勃勃。同，猿也烘托出人心的喜之情。
* **「舟已重山」**: 描人的舟已重重山。句是全的睛之，“重山”既指江三的峻山，也象徵著人去所的困境和阻。“舟已”表明人已克服了困，迎了新的始。

**析：**

* **意境**: 歌以明快的言，描了一幅雄的江三景。中有直接抒情感，而是通自然景物的描，接地表了人的喜之情。
* **豪奔放**: 李白是一位浪漫主人，他的歌往往充了豪奔放的。《早白帝城》也不例外，中“千里江陵一日”、“舟已重山”等句，都表了人的自信和豪情志。
* **合**: 歌既有江水流、猿的描，也有白帝城、重山的描。合，使歌的意境更加富生。
* **言精**: 全有四句，但包含了富的信息和深刻的情感。人用了明快的言，的情感表得淋漓致。

**：**

《早白帝城》是一首充浪漫主色彩的佳作。歌以其的意境、豪的和精的言，得了後世者的泛。首不描了江三的美景色，也表了人被赦免後的喜之情和自由的渴望。

希望析能助你更好地理解李白的《早白帝城》。



********************
我的是

Qwen2.5 32B: 有 QwQ 32B 般的 CoT, 出字看可以, 但有字例如「」(「」)及符用了“” (「」引), 在香港作教育用途是不行的, 只能就用。容也原文用字作出回, 例如形容「彩」就是用原文的「彩」作出伸展。

Gemma 3 27B: 字, 起能逐句出「」引, 但仍然用了“” , 能用「」述意象, 也能出到白帝城的是江三。


比之下我就不用 Qwen2.5 32B 了。

没有 7b 、8b 尺寸的，12b 的可能带不动了，该换电脑了。。。
single GPU ，那应该是 dense model 啊，和 deepseek 的 MoE 不能直接比较参数的吧

真不错啊，我用 gemma-3-4b 用来本地翻译，感觉效果比之前 Llama-8B 要强一些，速度快很多

试了下 4b ，效果还行，感觉比 phi4-mini 更强一些。

我觉得比 qwq 32b 好

测试了一下, 代码能力一般, 但是写讽刺文章的水平还不错, 讽刺意味儿挺浓郁!

@fredweili latest
c0494fe00251 3.3GB 19 hours ago
1b
2d27a774bc62 815MB yesterday
4b
c0494fe00251 3.3GB 19 hours ago
12b
6fd036cefda5 8.1GB yesterday
27b
30ddded7fba6 17GB yesterday
12b-it-fp16
aac605cdf033 24GB yesterday
1b-it-fp16
b822f21cb741 2.0GB yesterday
27b-it-fp16
cf10306fe9c6 55GB yesterday
4b-it-fp16
5a54224d4d14 8.6GB 19 hours ago

上午试了 27b 的，感觉不错，图片识别啥的，效果也很好。我是 3060 显卡 12G ，所以要用内存，跑得比较慢，大概 1 秒蹦 1/2 个字吧。同样的图片，12b 的效果就差多了。27b 之所以慢，因为我内存也只有 64G ，在跑 27B 时，内存也不够，用到虚拟内存了，如是内存够的话，估计要快点。

我是先问了他知不知道成语接龙的意思，再让他自己玩

我的 m4 pro 48g 跑 Gemma 11 个 token,dp 是 9 个 token

@listenfree #34

在 Google AI Studio 里试了一下
>>strawberry 这个单词里面有几个字母 r

输出：strawberry 这个单词里面有两个字母 r 。

看了测试我笑笑不说话，最近有个积分活动用的 trae 配合 deepseekr1 解决问题，问题反复循环(解决死锁又出来嵌套解决嵌套又出来死锁，让他兼顾俩都写上了直接问题 x2)，实际体验都不如 4o

搞 deepsex 的大佬可以拿这个优化了

我的 gemma3 27b q4
------
(登仔口吻)

仆街！食人族都 on9 ，竟然要人呢！？ 一千下周？ 肯定 pk 都埋啦！ 真抵俾人食。

不... 等一等... 其公主想表咩啊 唔通想考我承受能力？ 睇呢陷阱唔止肉上折磨，仲有心理考

或者想最？ 亦有可能根本想玩弄我心智，再慢慢享用我痛苦

之，呢食人族公主一定一！ 我支持第三巴直接死，起可以保留最後尊 而且仲可以返一千下周痛苦

btw, 有人用周弓？ 威力咪真大？