声音克隆放本地跑，和用云端 API 差在哪
摘要
云端 TTS 便宜、简单、开箱即用；本地克隆可控、免费、隐私。这篇用实测数据对比两条路线，并说明什么情况下值得折腾本地部署。
先给判断标准
| 你的情况 | 选云端 | 选本地 |
|---|---|---|
| 每月生成 < 10 万字 | ✅ | |
| 需要批量生成 | ✅ | |
| 内容敏感（内部培训、未发布产品） | ✅ | |
| 只需要标准音色 | ✅ | |
| 需要克隆特定人声 | ✅ | |
| 没有 GPU | ✅ |
云端 TTS 的核心优势是省事。本地克隆的核心优势是免费 + 可控 + 隐私。
成本对比
云端主流 TTS 服务大约 0.1–0.3 元/千字。按每月 50 万字算，是 50–150 元/月，一年 600–1800 元。
本地跑的电费：一张 3060 持续推理，功耗约 150W，一小时生成约 3 万字，电费约 0.09 元。同样 50 万字，电费不到 2 元。
差距主要在倍率上。用得越多，本地越划算。
克隆质量的真实差异
云端和本地用的是不同的技术路线：
- 云端大厂 — 自研模型，音色自然度高，但通常不支持任意声音克隆（合规原因）
- 本地开源 — 基于 few-shot 克隆，3–10 秒参考音频就能复刻音色
具体到相似度：
| 维度 | 云端标准音色 | 本地克隆 |
|---|---|---|
| 自然度 | 优秀 | 良好 |
| 音色还原 | N/A（不能克隆） | 高（参考音频够干净时） |
| 情绪控制 | 有限 | 需调参 |
| 多语言 | 通常好 | 取决于模型 |
本地的弱项是情绪控制和韵律。开源克隆模型读长句时偶有语调平淡的问题，需要靠标点、分段、语速参数去调。
本地部署的真实门槛
运行时依赖
这是最大的坑。这类工具通常依赖 Python + PyTorch + 一堆音频库。国内直连 PyPI 和 PyTorch 官方源经常几十 KB/s，装一晚上装不完。
我的做法是把依赖下载全部走自建 CDN 代理，安装时零直连。这件事本身比模型推理难得多。
模型体积
- 运行时（CUDA 版）约 9.5 GB
- 必需模型约 3 GB
- 建议预留 15 GB 空间
显存
不同模型要求差别很大。基础 TTS 4GB 显存够用，带克隆的模型建议 6GB+。
一个具体的实践建议
先用云端验证需求，再上本地。
如果你只是给视频配个旁白，云端 5 分钟搞定。只有当你发现：
- 每月要生成几小时的音频
- 需要固定某个人的声音
- 内容不能上传
这三条同时成立时，本地部署才值得。
FAQ
- 克隆一个声音需要多少样本？
- 3–10 秒清晰人声即可起步。要效果好，建议 30 秒以上、无背景音、单一说话人。
- 本地克隆合法吗？
- 技术上没有限制，法律上要看你用谁的声音。克隆他人声音需要授权，商用更要谨慎。自己的声音、已获授权的声音没问题。
- 生成的音频能商用吗？
- 取决于所用模型的开源协议。有些模型禁止商用，用之前务必确认 license。
- 需要多好的麦克风？
- 参考音频的质量直接决定克隆效果。手机录音在安静房间录 30 秒，效果通常够用；有底噪会明显拉低相似度。