声纹克隆 & 语音合成
何时使用此 Skill
| 场景 | 是否需要此 Skill |
|---|
| 数字人平台支持声纹克隆（可灵/即梦/HeyGen） | 不需要，直接在 digital-avatar 里处理 |
| 数字人平台不支持声纹克隆 | 需要，生成音频后上传 |
| 纯音频输出（播客/有声书） | 需要 |
| 需要更精细的语音控制 | 可选，MiniMax/ElevenLabs 控制更细 |
推荐：优先用数字人平台自带的声纹克隆，保持后端一致性。
功能
- 声纹克隆：上传音频样本 → 生成声纹 ID
- 语音合成：文本 + 声纹 → 音频文件
- 批量生成：分镜列表 → 多个音频文件
支持的后端
| 后端 | 克隆 | 情绪 | 多语言 | 特点 |
|---|
| MiniMax | ✓ | ✓ | 中/英 | 国内快，中文好 |
| ElevenLabs | ✓ | ✓ | 30+ | 质量顶级 |
| Fish Audio | ✓ | - | 中/英/日 | 开源，便宜 |
| Azure TTS | - | ✓ | 100+ | 稳定，多语言 |
| OpenAI TTS | - | - | 多语言 | 简单快速 |
默认使用 MiniMax（如已配置）。
工作流程
流程 A：声纹克隆
输入: 音频样本（10s-5min）
↓
上传到后端
↓
等待训练（即时-几分钟）
↓
输出: voice_id
流程 B：语音合成
输入: text + voice_id + 参数
↓
调用 TTS API
↓
输出: 音频文件
流程 C：批量生成
输入: scenes[] + voice_id
↓
逐条生成（或并行）
↓
输出: 音频文件列表
输入参数
声纹克隆
| 参数 | 必填 | 说明 |
|---|
| mode | ✓ | clone |
| backend | - | minimax / elevenlabs / fish |
| audio_sample | ✓ | 音频文件路径（10s-5min） |
| name | - | 声纹名称 |
| description | - | 声纹描述 |
语音合成
| 参数 | 必填 | 说明 |
|---|
| mode | ✓ | synthesize |
| backend | - | 同上 + azure / openai |
| text | ✓ | 要合成的文本 |
| voice_id | ✓ | 声纹 ID 或预设名 |
| output | - | 输出路径 |
| speed | - | 语速 0.5-2.0（默认1.0） |
| emotion | - | 情绪（见下表） |
| pitch | - | 音调调整 |
| format | - | mp3 / wav / ogg |
批量生成
| 参数 | 必填 | 说明 |
|---|
| mode | ✓ | batch |
| backend | - | 同上 |
| scenes | ✓ | 分镜列表（含台词） |
| voice_id | ✓ | 声纹 ID |
| output_dir | - | 输出目录 |
情绪控制
| 情绪 | 英文 | 适用场景 |
|---|
| neutral | neutral | 默认/旁白 |
| happy | happy | 轻松/种草 |
| sad | sad | 共情/痛点 |
| angry | angry | 吐槽/愤怒 |
| excited | excited | 惊喜/CTA |
| serious | serious | 专业/严肃 |
| whisper | whisper | 悄悄话/ASMR |
输入格式（批量）
mode: batch
voice_id: "voice_abc123"
backend: minimax
scenes:
- id: 1
text: "你是不是也遇到过这样的问题？"
emotion: neutral
speed: 1.0
- id: 2
text: "每次做 PPT 都要花好几个小时..."
emotion: sad
speed: 0.9
- id: 3
text: "现在只需要 30 秒！"
emotion: excited
speed: 1.1
- id: 4
text: "链接在评论区，快去试试吧"
emotion: happy
speed: 1.0
output_dir: "./audio_output/"
format: mp3
输出格式
声纹克隆
voice:
id: "voice_abc123"
backend: minimax
name: "我的声音"
status: ready
created_at: "2024-01-01T00:00:00Z"
语音合成
audio:
path: "./output/scene_01.mp3"
duration: 3.5
format: mp3
sample_rate: 44100
批量生成
audios:
- id: 1
path: "./audio_output/scene_01.mp3"
duration: 2.8
- id: 2
path: "./audio_output/scene_02.mp3"
duration: 4.2
- id: 3
path: "./audio_output/scene_03.mp3"
duration: 2.1
- id: 4
path: "./audio_output/scene_04.mp3"
duration: 3.0
total_duration: 12.1
后端配置
详见 references/backend-setup.md
音频样本要求
声纹克隆最佳实践
| 项目 | 要求 |
|---|
| 时长 | 30s-3min（最佳1-2min） |
| 格式 | mp3 / wav / m4a |
| 采样率 | ≥16kHz |
| 内容 | 清晰朗读，无背景噪音 |
| 情绪 | 自然平稳，不要太夸张 |
提高克隆质量
- 安静环境录制
- 保持语速稳定
- 内容覆盖常用音节
- 避免口水音/换气声
- 使用高质量麦克风
使用示例
克隆声纹
用户：用这段音频克隆我的声音 [附音频]
执行：
1. mode=clone, audio_sample=<音频路径>
2. 上传到 MiniMax
3. 返回 voice_id
单条合成
用户：用 voice_abc123 合成这句话："大家好，欢迎来到我的频道"
执行：
1. mode=synthesize, voice_id="voice_abc123", text="..."
2. 调用 TTS API
3. 返回音频文件
批量合成分镜
用户：根据这个分镜列表生成配音 [附 YAML]
执行：
1. 解析 scenes 列表
2. 逐条调用 TTS
3. 返回音频列表 + 总时长
与上下游对接
上游：video-script-generator 的 scenes[].narration
下游：
digital-avatar：音频输入生成口播scene-video-generator：音频轨道video-stitcher：音频合并
Pipeline 集成
# video-script-generator 输出
scenes:
- id: 1
narration: "你是不是也..."
duration: 3s
# 自动提取 narration → voice-clone-tts
# 输出音频 → digital-avatar / video-stitcher
注意事项
- 声纹克隆需遵守各平台使用条款
- 不要用他人声音做误导性内容
- 商用需确认版权协议
- 批量生成建议控制并发，避免 rate limit
- 保存 voice_id，避免重复克隆