q4 量化的大模型能比原版全精度的差多少？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 218 天前的主题，其中的信息可能已经有所发展或是发生改变。

ollama 上 q4 量化的 qwq-32b 和 r1-32b 刚好都在 20g 以下，一张卡就能跑
感觉已经很能打了

当然是了解它的能力，给他一个在能力范围内的任务
毕竟只有 32b 参数，问他历史观点肯定是胡说，物理数学这些有简单规则的
我感觉很好用了

比如根据一个什么涉密数据的表格，写个报告。完全够用

原版的没试过，有大佬告诉我吗
差距主要体现在哪里？