V2EX neteroster
 neteroster 最近的时间轴更新
neteroster

neteroster

V2EX 第 191331 号会员,加入于 2016-09-11 21:01:55 +08:00
今日活跃度排名 7185
根据 neteroster 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
neteroster 最近回复了
有的,通知还会出现去不掉的情况,如 @eagleoflqj 所说。解决方法也很简单

1. 先去设置,开发者设置那里生成一个 classic 的 token

2.
读通知

curl -L \
-H "Accept: application/vnd.github+json" \
-H "Authorization: Bearer <YOUR-TOKEN>" \
-H "X-GitHub-Api-Version: 2022-11-28" \
https://api.github.com/notifications

记下垃圾未读通知的 ID

3. 把他删掉

curl -L \
-X DELETE \
-H "Accept: application/vnd.github+json" \
-H "Authorization: Bearer <YOUR-TOKEN>" \
-H "X-GitHub-Api-Version: 2022-11-28" \
https://api.github.com/notifications/threads/THREAD_ID
CC 一早火出圈,影响力自然大,这就跟一开始很多人听到 AI 听到 LLM 就是 ChatGPT 类似。

而且 codex cli 现在还相对没那么成熟,前段时间才重构到 rust ,现在还在快速迭代的阶段,不过已经算是能用
@aur3l14no 确实,其实 new-api 也有提供透传模式,但是中转用的不多;普通模式这一段时间的改动都是往通用化发展,减少了很多严格的参数限制,除了一些计费强相关的和边缘情况(有一些功能需要重写请求的部分参数)。所以看起来还是往好的方向发展的,不过像 Responses API 这样有状态的 API 中转由于是号池估计还是不太好处理,要单独维护状态,可能要一些更先进的方案了。

---

这个我也不懂了,大概是要赚钱吧(
@aur3l14no 特性这方面考虑到 new-api 所做的努力反而国内很多站支持更好,只要用 new-api 新版+渠道没问题特性支持都很好(基本和官方 API 体验差不多,除非一些 edge case ,比如 Gemini 的大视频上传 Files API 就大都不支持)。推荐的话,非广告且不负责任的推荐个 aihubmix 吧,他家在新特性方面相对前卫,但还是随用随充防止跑路
1. 稳定性没什么问题
2. 一般吧,充值手续费不低

还有一个就是 OpenRouter 特性不太好,OpenAI 模型不支持 Responses API ,也没有 Claude 和 Gemini 原生接口,能接受用用还行
Mistral... 别说和 Qwen GLM 什么的比,之前随手试过几次他们所谓的 SOTA 级别推理模型,我也没上什么难题,输出结果还是令人让忍俊不禁
chat 版,也就是非推理版,进步不大,不过比 4.1 还是强一点,但不多,日常简单问题可以用,其他都推荐推理版
@iyaozhen

> 不是给一个 schema 让模型去生成一个 json 再修语法。而是使用已有的数据(非 json 的 output ),往 schema 上填。

可很明确的说并不是这样的,各大开源推理引擎都有相关实现可以参考。

---

来具体捋一下:

guided decode 可以确保模型生成的内容满足 json schema (前提是生成会终止),但是“让模型知道我要按某个 schema 输出 json” 是提示词(或者说上下文)做的事。

有的厂商,例如 OpenAI 和火山,他会告诉你:你直接在参数里给我传 schema 就行了,prompt 里不用说我要这个 json ,关注业务就好。这里,它们实际做的事是:在你的 prompt 后面或者在系统提示词里,按一定格式(可能有针对训练固定格式,也可能是直接拼接 prompt )告诉模型:下面这个是 schema ,你要按照这个生成,最后在 decode 时候由采样器强制规范,完成整个过程。实际上输入给模型的大多是这样的东西(示意)

<|user|>{你的 prompt} <|output_format|>JSON: {schema} <|assistant>

也可以参考 OpenAI 最近的开源模型,它的聊天模板里明确说了

Structured output

To control the output behavior of the model, you can define a response format at the end of the developer message with the following structure:

```
# Response Formats
## {format name}
// {description or context}
{schema}<|end|>
```

是加在系统提示里面的。最后结合推理引擎的 guided decode 生成。
@matrix1010 这里其实比较微妙,实际上现在绝大多数的大模型都或多或少接受过“给定一个 json schema ,生成满足这个 schema 的 json” 这种训练(或者由其他类似的训练泛化得到相同能力)你可以纯纯的使用 prompt 给模型 schema 要求它生成,他不至于完全做不了,顶多是有些地方会有语法/语义错误,然后 guided decode 就可以强制解决语法错误,至于内容和语义上,最终还是看模型的能力。

@musi #8 ,这里的 decode 是指 LLM 生成的最后一个阶段从概率分布中采样,不是说 decode json string
这个其实不难,就是推理引擎加个约束采样,感觉更多是不重视,火山引擎就可以

https://www.volcengine.com/docs/82379/1568221

也可以用一些第三方平台提供的推理服务,都有这些功能

https://fireworks.ai/docs/structured-responses/structured-response-formatting

https://docs.nebius.com/studio/inference/json
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2764 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 12ms UTC 14:21 PVG 22:21 LAX 07:21 JFK 10:21
Do have faith in what you're doing.
ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86