ACE-Step 1.5:性能超越 Suno 的端侧开源音乐模型 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Daniel6606
V2EX    产品发布

ACE-Step 1.5:性能超越 Suno 的端侧开源音乐模型

  •  1
     
  •   Daniel6606 10 天前 566 次点击

    ACE-Step 1.5 是一款开源音乐模型,在 A100 显卡上仅需约 2 秒即可生成完整歌曲。该模型支持本地运行,显存占用仅需 4GB 左右(普通 PC 即可畅玩),且在多项主流评测指标上均超越了目前的顶级商用及开源模型。

    GitHub: https://github.com/ace-step/ACE-Step-15

    为什么我们要做这个项目?

    自 SUNO 问世以来,AI 音乐席卷全球。然而在音乐模型领域,开源与闭源模型之间仍存在巨大鸿沟无论是在生成质量、能力多样性,还是原生性能上,开源力量都略显滞后。

    目前,这个领域基本被商用闭源模型垄断。这意味着我们的“创作权”往往被绑定在特定的 App 或模型上。一旦失去访问权限,或者模型发生了非你所愿的变动,你的创作能力可能一夜之间受到打击(这种担忧在社区讨论中屡见不鲜;例如这篇: https://www.reddit.com/r/SunoAI/comments/1p76vo0/rip_suno_youre_goin

    通过 ACE-Step 1.5 ,我们希望打破这种依赖,为世界提供一个真正具有竞争力的开源选择。我们认为创作者应当能够:在自己的电脑上运行并完全掌控模型;使用自己的作品进行 Fine-tune (微调);无需再为隐私和数据泄露感到焦虑。

    ACE-Step 1.5 是什么?

    核心特性:

    1. 极致的速度表现:在单卡 A100 上,生成一首 3 分钟的完整歌曲仅需约 2 秒。在消费级显卡上表现依然出色:RTX 3090 约 10 秒即可完成,且显存占用仅需 4GB 左右。

    2. 顶尖的生成质量:在主流评测指标( SongEval & AudioBox )上,其表现已超越 SUNO 等商业模型,并与现有的开源模型拉开了显著差距。

    3. 支持 LoRA 微调:创作者只需提供少量歌曲即可训练专属 LoRA ,精准捕捉并复刻特定的音乐风格。

    4. 合规的数据来源:训练数据完全基于授权素材 + 合成数据,规避版权争议。

    5. 丰富且实用的功能:

    • 全曲生成 (Full song generation)
    • 翻唱/封面重绘 (Song cover / Repainting)
    • 伴奏音轨叠加 (基于现有轨道添加 Stem)
    • 生成式音轨拆分 (Generative stem splitting)
    • 歌曲续写/补全 (Song completion)

    ACE-Step 1.5 的应用场景

    由于其极快的生成速度和本地运行的特性,ACE-Step 1.5 解锁了许多全新的工作流:

    一、批量生成 + 自动评分 (Batch Generation & Auto Scoring)

    得益于本地部署的高效率,你完全可以针对同一个 Prompt 一次性生成 100 个版本,从中挑选最完美的一个。 为了配合这一工作流,我们同步开源了一个 Reward Model (奖励模型)。你可以让模型自动为这 100 首生成的歌曲打分,你只需要直接导出分数最高的那首即可。这种“大力出奇迹”的方式能让你在极短时间内获得高质量的成品。

    ACE-Step 1.5 Demo

    二、LoRA fine-tuning:

    只要有几首歌,或者几十首歌,你就能训练自己的 LoRA 。在我们的实验中,我们用 8 首春节风格的歌曲训练了一台 LoRA 。之后,当我们创作出完全不同的曲风,比如情歌、爵士和摇滚时,它们都带有浓厚的中国新年氛围。LoRA 让创作者可以用自己的音乐微调风格。它从你的歌曲中学习,捕捉你的风格。而且因为你本地运行,你拥有 LoRA ,不用太担心数据泄露。

    ACE-Step 1.5

    三、Cover

    输入任意歌曲,然后提供提示和歌词,你就能将曲目转换成不同的风格。我们尝试过把一首以人声为主的流行歌曲改编成合成器驱动的器乐舞曲,也尝试把一首柔和的女声歌改编成男性摇滚版本。这与《 SUNO 》的翻唱特色略有不同:它保留了输入歌曲的结构和时长,但重新构想了旋律和乐器编制。你用它打造什么取决于你的创造力,我们迫不及待想看到你的作品。

    ACE-Step 1.5

    四、Repainting:

    这是个非常方便的功能。你加载一首歌,选中一段,点击“Repaint”,然后重新生成该段,同时保持之前和之后的音频。如果你不喜欢一小部分很棒的赛道,可以继续重新粉刷那段。是的,ACE-Step 很快,所以你可以重涂 100 次,选中你喜欢的那个。

    ACE-Step 1.5 Image

    五、Vibe DJ 一款有趣的社区应用

    利用 ACE-Step 的本地运行时、高速和重绘功能,一位社区开发者开发了一个非常酷的应用,叫 VibeDJ 。每次输入提示时,模型都会生成一个固定长度的片段并播放。播放时,你输入下一个提示,然后用 Repaint 生成下一个片段,这样它就能无缝连接上一个片段。这能让任何人通过自然语言提示变成 DJ 。你是通过打字而不是混音来“DJ”的。想象一下,在家庭派对上拿出笔记本电脑,为大家现场主持一场 VibeDJ 表演。这正是本地实时生成所能实现的。

    ACE-Step 1.5

    ComfyUI 集成

    我们很高兴地告诉大家,ACE-Step 1.5 已经在 ComfyUI 上提供,这得益于他们的 day-0 支持

    教程(如何在 ComfyUI 中使用 ACE-Step 1.5 ): https://blog.comfy.org/p/ace-step-15-is-now-available-in-comfyui

    在 ACE-Step 1.5 中,唯一的限制就是你的想象力

    请在这里探索 ACE-Step 仓库

    https://github.com/ace-step/ACE-Step-1.5

    如果你喜欢 ACE-Step 1.5 ,请帮忙给仓库加星号!

    ACE-Step 1.5 演示

    acemusic.ai

    基于 ACE-Step 1.5 ,我们正在构建一个开放生态系统的 AI 音乐平台:acemusic.ai https://acemusic.ai/

    我们提供永久免费的云端版本(真正免费,无每日限制),并提供本地安装和部署包,方便你自行运行模型。我们绝不会限制下载或上传,我们支持 LoRA 共享,并计划整合更多优秀的开源模型以及第三方音乐模型 API 。我们的目标是提供一个开放、功能齐全的 AI 音乐平台,并将创作自由、资产所有权和模型所有权归还给创作者。

    欢迎试试: https://acemusic.ai/

    你可以在以下网站了解更多关于 ACE-Step 1.5 的信息:

    Project page: https://ace-step.github.io/ace-step-v1.5.github.io/

    Discord:https://discord.gg/aMjaXPUg7U

    X:https://x.com/acemusicAI

    YouTube: https://www.youtube.com/@acemusicAI

    ACE Music: https://acemusic.ai/

    2 条回复    2026-02-04 20:55:35 +08:00
    dethan
        1
    dethan  
       10 天前 via Android
    厉害!
    Daniel6606
        2
    Daniel6606  
    OP
       10 天前
    @dethan 感谢支持!如果可以的话麻烦帮我们点个 star 哈哈哈
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1886 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 04:43 PVG 12:43 LAX 20:43 JFK 23:43
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86