只需要录音文件, AI 自动生成视频 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
yedaxia
V2EX    分享创造

只需要录音文件, AI 自动生成视频

  •  
  •   yedaxia
    YeDaxia 2022-03-19 18:36:32 +08:00 4090 次点击
    这是一个创建于 1310 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在开发了33 搜帧之后,我突发奇想,既然可以根据文案匹配到关联的画面,那么理论上是可以在这个基础上实现一个自动生成视频的功能。

     33 搜帧是一个使用 AI 技术构建的视频画面搜索引擎,它的核心能力是通过文本来搜索相关视频素材里面的帧画面。 

    于是,经过了七七四十九天的闭关,终于搞了一个初步能用的版本。

    只要你录好音,这个工具就能帮你生成一个视频,具体步骤如下:

    第一步:上传录音文件

    第二步:语音识别生成台词文本,修正识别错误的部分

    第三步:选择匹配的素材,然后一键生成视频。

    目前可能还存在很多局限性,不过还是值得作为视频创作者的你前来一试的~

    体验链接:33 搜帧

    18 条回复    2022-03-22 11:01:03 +08:00
    id4alex
        1
    id4alex  
       2022-03-19 18:40:52 +08:00
    上传文本, 借助 api 合成音频和视频.

    起码我看到 YouTube 是有人这样做的.
    moonkiller
        2
    moonkiller  
       2022-03-19 18:41:56 +08:00

    这就去试试
    yedaxia
        3
    yedaxia  
    OP
       2022-03-19 18:45:31 +08:00
    @id4alex 啊,没有感情的工作机器~
    C603H6r18Q1mSP9N
        4
    C603H6r18Q1mSP9N  
       2022-03-19 18:48:46 +08:00
    advancejar
        5
    advancejar  
       2022-03-19 21:11:54 +08:00
    非常好的创意,完善了真的是 ai 创造给人看了
    yedaxia
        6
    yedaxia  
    OP
       2022-03-19 22:58:11 +08:00
    @advancejar 谢谢支持。
    Chihaya0824
        7
    Chihaya0824  
    PRO
       2022-03-21 01:00:04 +08:00
    草,想起了我们学校以前就有人做过一模一样的东西
    phithon
        8
    phithon  
       2022-03-21 02:37:36 +08:00
    这个真的支持!
    haiyan
        9
    haiyan  
       2022-03-21 08:37:44 +08:00
    @id4alex 我写过把小说变成视频上传 youtube ,被封了很多号,就算求了
    yws112358
        10
    yws112358  
       2022-03-21 09:57:32 +08:00
    积分扣除有点问题啊
    我刚才用 read aloud 生成了一段音频 注册给了 50 积分。生成一次 扣了 23 积分。生成之后发现有个片段有问题。,返回编辑,结果又扣了 23 ,并且可能由于缓存,编辑的片段并未生效,还是原来那个
    hwwang112244
        11
    hwwang112244  
       2022-03-21 14:09:31 +08:00
    请教下,这个具体的视频素材是哪儿来的,有侵权的风险吗?
    hbtech
        12
    hbtech  
       2022-03-21 14:38:31 +08:00
    我是之前内测的时候就注册了,后面送了我 500 积分。现在似乎有点问题,剪切一直显示失败,一看积分还扣除了

    xueyangkk
        13
    xueyangkk  
       2022-03-22 10:13:46 +08:00
    我上上家公司做过类似的产品 ,给你提供点思路吧 他们做的是 识别电影中的物体 台词 等等, 搜所的时候 可以根据物体 和 台词 组合成新的短片 。 举个例子 我爱你 周星驰在大话西游说过 梁朝伟 在某部片子里说过 等等等 。。最后组合成一部 我爱你的合集 。 这个有个困难的是 版权怎么解决 ? 其次训练的精度 尤其是截取片段的准确度要很高 。这些问题一直弄了很久 .... 最后上线了 但是商业化变现又很困难 。 客户是 MCN 机构 试用一段时间 反馈效果是不准,其次是资源不够多等等问题
    yedaxia
        14
    yedaxia  
    OP
       2022-03-22 10:51:52 +08:00
    @hbtech 谢谢反馈,这个是昨天升级服务器导致的,现在已经修复了,这边会补偿积分。
    yedaxia
        15
    yedaxia  
    OP
       2022-03-22 10:52:50 +08:00
    @yws112358 嗯谢谢反馈,是缓存问题,已经修复了。
    yws112358
        16
    yws112358  
       2022-03-22 10:57:17 +08:00
    @yedaxia #15 反复编辑的项目可以不扣积分或者酌情减少积分扣除吗
    yedaxia
        17
    yedaxia  
    OP
       2022-03-22 11:00:00 +08:00
    @xueyangkk 谢谢建议。
    yedaxia
        18
    yedaxia  
    OP
       2022-03-22 11:01:03 +08:00
    @yws112358 嗯,这个后续会完善一下~
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     798 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 20:58 PVG 04:58 LAX 13:58 JFK 16:58
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86