音乐制作平台 · 功能模块清单与可交互 Demo
蓝图 v1 · 2026-10-15

面向音乐爱好者的 AI 音乐制作平台

不是一个「输入一句话出首歌」的玩具，而是一条完整的创作链路：听得懂参考曲 → 拆得开成品 → 写得出旋律 → 改得动细节 → 发得出去。 下面三个是主路径，其余模块都是为它们服务的。

🎧

① 照着样片学编曲

上传参考曲 → 自动读出速度/调性/和弦/段落/能量曲线 → 抽出「编曲骨架」→ 套用到你的工程（可只借和声或只借节奏）

🧩

② 把一段音乐分轨

上传成品 → 分离成人声/鼓/贝斯/其他（可到乐器级）→ 逐轨独奏试听与下载 → 直接送进 Remix / 采样 / 伴奏提取

✍️

③ 给歌词谱曲

粘贴歌词 → 标段落与中文声调 → 生成多个旋律候选（可真的试听）→ 逐句重生成、锁定乐句 → 自动配和弦、出带词乐谱

平台分层模块地图（P0 = 首版必须有，P1 = 体验加分，P2 = 规模化再做）

三件容易被忽略、但决定成败的事

算力：分轨与生成必须 GPU

现有香港机（2C2G、无 GPU）跑不动音源分离与大模型的实时推理。需要 GPU 推理机 / 云函数 / 第三方 API 三选一，并用任务队列削峰。

版权：参考曲学习与分轨的边界

「学习编曲」输出的是可解释的结构参数（和弦、节奏、密度），不复制原音频；分轨结果仅供个人练习与 Remix，需在产品内明确授权声明与二次分发限制。

卡顿：浏览器端必须能流畅预览

波形渲染用 WebGL/Canvas 分块、音频不整段下载（切片 + 流式）、重计算放 Web Worker。爱好者最容易因为「点一下卡三秒」而流失。

参考曲学习编曲 核心工作流 ①

把一首你喜欢的歌喂进去，平台不是「翻唱」，而是把它的编曲逻辑拆成可读、可改、可复用的参数，让你的作品站在同样的结构上。

拖入参考曲，或点击选择（wav / mp3 / m4a，≤ 10 分钟）
也支持粘贴 YouTube / 网易云链接，或从我曲库里挑一首　·　点这里载入示例样片 →

音乐分轨 核心工作流 ②

把一段成品音乐拆成独立音轨。用途不只是 Remix：练耳扒带、做伴奏、提取人声、切采样，全靠这一步。

1 · 上传音频

拖入音频文件
或点这里载入示例（3:24 mp4 转码 · 44.1kHz）

2 · 选择分离粒度

2 轨：人声 / 伴奏 4 轨：人声 / 鼓 / 贝斯 / 其他 6 轨：＋钢琴 / 吉他 乐器级 8–10 轨（较慢）
粒度越细越慢、串音风险越高；4 轨是性价比甜点，乐器级建议只用在干净的商业录音上。
等待上传…

3 · 分轨结果

—
还没有音轨。左侧载入示例并开始分离 →

4 · 导出

WAV 24bit MP3 320k FLAC 打包 ZIP 送入工作台继续编曲
后处理：响度归一到 -14 LUFS、可勾选降噪 / 去齿音 / 残留人声抑制（de-bleed）。

分轨之后可以做什么（这决定了它的价值上限）

🎤 提取伴奏 / 消人声

卡拉 OK、翻唱、练琴用。人声轨还能反向导出成 acapella 做和声分析。

🥁 扒鼓与扒贝斯

分轨后单独听鼓组更容易听清；可一键转成鼓组 MIDI（P1），直接变成你的节奏模板。

✂️ 切片采样

在波形上按瞬态自动切片 → 做成采样包，回到工作台里当素材用（需先确认授权）。

歌词谱曲 核心工作流 ③

中文谱曲的难点是「倒字」——旋律走向和字的声调打架就会听不懂词。这个模块把声调显式标出来，让旋律跟着字走，并给出多个候选让你挑。

1 · 歌词与结构

每行前面的标签＝段落
支持直接粘贴整首；也可以先「AI 写词」再改。结构标签决定乐句长度与重复关系（副歌会更强、更高）。

2 · 声调标注（自动）

一声平 · 二声扬 · 三声拐 · 四声降
轻声标 5，不参与旋律走向。多音字（如「了」「地」）可手动改标。

3 · 音乐设定

风格
调性 / 音阶
音域
速度 76 BPM

4 · 旋律候选（点 ▶ 试听）

—
点左边「生成旋律候选」→
三种走向可以真的听出差别

5 · 精细化（P1）

逐句重生成（锁定其他句） 按旋律自动配和弦 加装饰音 / 转音 换伴奏织体

6 · 输出

旋律 MIDI 简谱（带词） 五线谱（带词） AI 人声试唱 歌词时间轴 LRC
MIDI 可以直接拖进任何编曲软件（Logic / Cubase / FL / 库乐队）继续做；LRC 用来对字幕和 MV。

编辑与混音工作台 P1 · 决定「能不能改到底」

生成只是起点。爱好者真正会留下来，是因为能在这里把细节改到自己满意：多轨时间线、钢琴卷帘、和弦轨、歌词轨、混音台。

小节 1 · 拍 1
这是原型：点击时间线可移动播放头，钢琴卷帘显示选中轨的音符（这里显示旋律轨）。

工作台必备模块

P0
多轨时间线
音频轨 + MIDI 轨 + 和弦轨 + 歌词轨；循环片段编排
P0
钢琴卷帘
写旋律/鼓；和生成引擎双向同步（改这里，AI 接着改）
P0
工程保存与云同步
版本树、变体对比、误操作可回退
P1
混音台与效果器
音量/声像 + EQ/压缩/混响/延迟，带风格预设
P1
速度轨与拍号
变速、渐快渐慢、拍号变化
P1
自动化包络
音量/声像/滤波器随时间变化
P2
外部音源与插件
导入采样、VST 桥接、DAW 工程导入导出

建议先做「片段编排」而不是完整 DAW

爱好者做音乐更多是拼 loop 和段落，不是精修自动化。首版做「时间线 + 卷帘 + 混音台」三件套就够，把精修留给 P2，能省掉一半工作量。

开发路线图 按依赖顺序，不按难度

建议分成四期。原则是：每一期结束时都有一个完整可用的闭环，而不是四个半成品同时开工。

P0
MVP
  • 音频分析：BPM/拍点、调性、和弦进行、段落切分（先做准，这三项是所有功能的地基）
  • 分轨：2 轨与 4 轨，排队 + 进度 + 逐轨试听下载
  • 歌词谱曲：声调标注 + 三条候选 + 试听 + MIDI 导出
  • 工作台：单工程多轨时间线 + 钢琴卷帘 + 播放（沿用现有 /studio/ 的引擎）
  • 账号与作品库（已有）、导出与分享链接
P1
好用
  • 结构参数化输出：编曲骨架、能量曲线、与参考曲对比雷达
  • 套用与移调改速（和弦自动移调、鼓组重新量化）
  • 6 轨 / 乐器级分离、后处理（降噪、de-bleed、响度归一）
  • 旋律精细化：逐句重生成、锁定乐句、自动配和弦、转装饰音
  • 混音台与效果器预设、工程版本树、云同步
P2
规模
  • 素材库：Loop / 采样 / 和弦模板 / 鼓组模板，按 BPM 与调性检索
  • 社区：作品发布、可播放链接、参考曲榜、评论批注到时间点
  • 协作编曲：多人分轨、版本合并
  • 移动端 PWA、离线草稿
P3
生态
  • AI 人声合成（试唱 / 虚拟歌手）、母带处理
  • DAW 插件与工程互导、素材市场与授权结算
  • 版权指纹比对与合规审核

技术选型建议

能力推荐方案说明
音源分离Demucs v4 / MDX-Net开源 SOTA，4 轨稳定；6 轨以上需级联，串音与耗时都要评估。必须 GPU。
节奏与调性madmom / essentia / librosa拍点检测与调性识别成熟，CPU 即可；和弦识别用 Chordino 或 CREMA。
旋律生成符号序列模型（Transformer）先做「规则 + 声调约束」可控版本（本页 Demo 就是），再叠模型提升自然度；可控性比炫技重要。
伴奏与音色现有 /studio/ 合成引擎已实现 60 种乐器、分轨排程与 WAV 渲染，可直接复用为「伴奏渲染后端」。
浏览器音频Web Audio + Web Worker波形分块渲染、音频切片流式加载、重计算放 Worker 防卡 UI。
后端Python 推理服务 + 任务队列FastAPI + Redis/RQ 或 Celery；长任务走异步 + 轮询/推送，别让 HTTP 请求硬等。
存储对象存储 + CDN音频与分轨结果体积大，直传对象存储，前端拿签名直传，别过应用服务器。

现有服务器能扛到哪一步

跑不动的部分

音源分离、伴奏生成、大模型推理 —— 当前香港机 2C2G 无 GPU，全部需要外部算力。

现在就能跑的部分

静态站点、账号系统、作品库、符号层面的旋律生成与前端合成试听（即现有 /studio/ 这套）—— 这也是为什么建议 P0 先做符号层。

三条算力路线

① 云 GPU 按量（起步最省事）　② 包月 GPU 实例（量稳后更便宜）　③ 第三方分离 API（最快上线，成本高、可控性差）。建议先用 ③ 验证需求，再转 ①→②。