B 站那种视频总结账号和总结插件的时间线功能是怎么做的? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
Jenqyang
V2EX    程序员

B 站那种视频总结账号和总结插件的时间线功能是怎么做的?

  •  
  •   Jenqyang 2024-03-07 14:48:30 +08:00 2926 次点击
    这是一个创建于 582 天前的主题,其中的信息可能已经有所发展或是发生改变。

    除了总结视频,很多这类总结账号和总结插件都提供了时间线,或者叫时间点跳转的功能,我观察了几个总结之后发现,这些时间点并不是长度相同的间隔,也就是说有可能真的是按照内容来分块总结的,思来想去找不到比较优雅的解决方案,在 twitter 有个开发者的帖子说可以用提示词解决,有大佬知道其他的解决方案或者开源项目吗?

    7 条回复    2024-03-07 22:10:43 +08:00
    yyzh
        1
    yyzh  
       2024-03-07 15:07:56 +08:00
    mmxq
        2
    mmxq  
       2024-03-07 15:13:45 +08:00
    有个思路:b 站视频有自带的字幕,字幕导出后就自带时间点和每一个时间点的文字。
    只要利用这个就能轻松做出自带时间线的总结了。
    类似项目:
    https://github.com/IndieKKY/bilibili-subtitle 这个项目就是依托本身生成的字幕,加入了 ChatGPT 总结出来的。
    mxT52CRuqR6o5
        3
    mxT52CRuqR6o5  
       2024-03-07 16:49:56 +08:00
    没人说话的视频都总结不了,都是靠语音识别出的文字进行总结的
    noahlias
        4
    noahlias  
       2024-03-07 17:00:13 +08:00
    这种挺好做的你吧字幕加上时间线 给大语言模型总结下 类似 ai 搜索的方式 让它自己标注内容引用的源时间轴
    edotac
        5
    edotac  
       2024-03-07 19:32:08 +08:00
    1 、ffmpeg 提取音频
    2 、通过 Asr 比如开源的 [whisper]( https://github.com/openai/whisper) 生成字幕文件
    3 、交给 GPT 总结一下
    noahlias
        6
    noahlias  
       2024-03-07 20:29:19 +08:00
    不过有一种视频总结更加准确 用视频的里面图片( https://cookbook.openai.com/examples/gpt_with_vision_for_video_understanding) 用 vision 模型获取文本 这种总结更加准确
    但是成本很高 大佬 Andrej Karpathy 在 x( https://twitter.com/karpathy/status/1760740503614836917)上提到了这种想法 下面有很多实现方案 其中有一个是最近的 claude3 Opus demo( https://hundredblocks.github.io/transcription_demo/) 代码( https://github.com/hundredblocks/transcription_demo/)
    其实 之前也有人去做 比如 gemini1.5 ( https://simonwillison.net/2024/Feb/21/gemini-pro-video/)都是用大窗口模型来弄的
    zhiyu1998
        7
    zhiyu1998  
       2024-03-07 22:10:43 +08:00
    我是做的 Yunzai-Bot 的插件,之前就用的字幕根据算法做的,但是嫌麻烦删了,然后用官方的 AI 了。

    如果对你有帮助可以参考,Node.js 写的: https://gitee.com/kyrzy0416/rconsole-plugin
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     878 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 21:15 PVG 05:15 LAX 14:15 JFK 17:15
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86