产品亮点
你能用它做什么
- 给中文歌词配旋律和伴奏,生成完整歌曲
- 尝试金属、爵士等风格的编曲效果
- 研究歌词到歌曲的生成方法与模型表现
怎么用
- 1 访问 YuE 的 GitHub 页面,下载模型检查点
- 2 准备歌词文本,选择语言和音乐风格
- 3 用工具把歌词分割成多个片段
- 4 将片段输入模型,生成对应音乐片段
- 5 拼接成完整歌曲,可按需用上采样器优化
- 6 调整节奏、音调等参数,导出最终文件
适合谁使用
优点
- 开源免费,模型和检查点可自由获取
- 整曲生成,人声伴奏一步到位
- 多语言多风格,覆盖常见流行类型
- 技术细节公开,便于研究和改进
局限
- 需要本地部署,对硬件和开发环境有要求,学习成本不低
- 生成质量不稳定,成品通常需要人工筛选和后期
- 人声的咬字、气息等细节可能出现瑕疵
- 免费开源,但使用许可和后续版本规则可能调整
YuE 是什么
YuE 是由香港科技大学和多模态艺术投影团队开发的开源音乐基础模型,专注于全曲生成。它能够根据给定歌词生成长达 5 分钟的完整歌曲,包含人声和伴奏部分。模型通过语义增强音频标记器、双标记技术、歌词链式思考等创新,解决歌词到歌曲生成的复杂问题。它支持英语、中文、日语、韩语等多种语言,以及流行、摇滚、爵士、说唱等多种风格,目前免费开源。
你能用它做什么
- 输入一段歌词,生成带人声和伴奏的完整歌曲
- 尝试流行、金属、爵士等不同风格的编曲
- 用多语言歌词做代码切换实验
- 研究生成人声技巧的表现效果,作为创作参考
适合谁使用
- 想给自己写的词配曲的音乐爱好者
- 研究音乐生成的开发者和科研人员
- 需要风格化 Demo 或灵感素材的内容创作者
需要留意什么
它需要下载模型检查点并在本地运行,涉及环境配置、歌词分段、片段拼接等多个步骤,对硬件和开发基础都有要求,学习成本不低。生成质量并不稳定,人声咬字、气息和混音常出现瑕疵,通常需要人工筛选和后期处理。模型目前免费开源,但使用许可和后续版本规则可能调整,商用前建议仔细查看授权说明。
常见问题
YuE 是免费的吗?
该模型目前免费开源,用于推动音乐生成技术发展。
能生成多长的歌?
官方称能根据歌词生成长达 5 分钟的完整歌曲,包含人声和伴奏。
支持中文吗?
支持,包括英语、中文、日语和韩语,还能做多语言代码切换。
需要什么基础?
需要下载模型检查点并在本地环境运行,涉及一定的开发和硬件基础。
为什么说它免费
官网写明的免费方式: 免费
免费额度、试用天数与功能范围由官网决定,随时可能调整,请以官网为准。
产品截图
截图归档自收录页面,仅供预览参考。