跳转至

语音合成

TTS

elevenlabs

elevenlabs官网

官方文档

不注册账号也可以使用,不过应该是有限制的(具体多少未知)。免费账号拥有每月1万字的额度。

genshinvoice.top

在线体验官网

官方GitHub仓库,内含api使用说明

官方视频讲解:【在线合成&效果优化】基于VITS的米哈游全角色语音合成现已发布

tts.ai-lab.top

在线体验官网: https://tts.ai-hobbyist.org/

注册账号,登录,然后在在线合成页面,按下键盘F12打开开发者工具,在选择Network网络,随便合成一个音频,然后找到vits的一个请求,点进去,点击负载,找到appidtoken,配置即可。

VITS(vits-simple-api)

emotional-vits官方仓库:emotional-vits

接入API:vits-simple-api

vits-simple-api整合包下载:github.com/Artrajz/vits-simple-api/releases

个人提供的已训练好的模型:github , 迅雷云盘

视频教程:【AI主播-TTS篇】新增 纯 VITS 接入,配合vits-simple-api,支持情感控制,语速调控 , 【AI主播-TTS篇】新增 bert-vits2 的接入,配合vits-simple-api食用,强有力的中文TTS让你到达新高度~

如何白嫖huggingface上的vits-simple-api? 只需要开启魔法,将API地址修改为项目提示的接口地址即可,例如:https://artrajz-vits-simple-api.hf.space

vits-simple-api配置,修改 config.py ,参考配置如下,路径为追加的相对模型路径和配置文件路径(注意,新版本的变动,配置改到config.yml了,所以你需要直接改yml或者删除yml,修改py,然后重启):

# Fill in the model path here
MODEL_LIST = [
    # VITS
    [ABS_PATH + "/Model/ikaros/G_95500.pth", ABS_PATH + "/Model/ikaros/config.json"],
    # Bert-VITS2
    [ABS_PATH + "/bert_vits2/G_0.pth", ABS_PATH + "/bert_vits2/config.json"],

如果使用 bert_vits2 ,需要注意 vits-simple-api\bert_vits2\bert\chinese-roberta-wwm-ext-large 路径下 flax_model.msgpack 等模型文件是否缺失,如果缺失,可以从隔壁 bert_vits2 整合包中拷贝进来 或者 从huggingface下载:hfl/chinese-roberta-wwm-ext-large 。另外模型需要存放在 bert_vits2 目录里面。

相关模型备份:夸克网盘

另外如果运行闪退、报错

Traceback (most recent call last):
  File "E:\vits-simple-api\app.py", line 49, in <module>
    tts = merge_model(app.config["MODEL_LIST"])
  File "E:\vits-simple-api\utils\merge.py", line 117, in merge_model
    for id, name in enumerate(obj.get_speakers()):
  File "E:\vits-simple-api\utils\utils.py", line 29, in __getitem__
    return getattr(self, key)
TypeError: getattr(): attribute name must be string

需要修改 utils\merge.py 116行左右。

for id, (key, name) in enumerate(obj.get_speakers().items()):
# for id, name in enumerate(obj.get_speakers()):

如果在使用bert-vits2时,报错:

error, ref_enc.convs.0.bias is not in the checkpoint
error, ref_enc.convs.0.weight_g is not in the checkpoint
......

解决方案参考:issues/311

bert_vits2/models.py 中第646if n_speakers > 1: 修改为 if n_speakers >= 1:

VITS-fast-fine-tuning

官方仓库:VITS-fast-fine-tuning

官方推理包:inference-webui-v1.1

个人提供的已训练好的模型:点我跳转

视频教程:【AI语音合成-数据集篇#00】模型使用简单讲解,手把手演示【AI主播-功能篇】TTS语音合成 VITS-Fast怎么使用?为什么没有合成语音?VITS不行吗?模型兼容吗?

训练用整合包(原作者整合包备份):pan.quark.cn/s/da52e78983da

整合包视频教程:AI声音克隆又进化了,10分钟学会声音克隆!一键启动包发布!

整合包视频教程2:【VITS一键包】本地训练独属于你的AI嘴替?训练部署AI语音合成教程

睿声

官网:https://www.reecho.ai/

角色管理 页面,创建训练一个你想用使用的角色的声音模型,点击更多,顶部可以看到一串字符串,就是角色ID,配置到配置项中。

申请API Key:https://dash.reecho.ai/apiKey,配置到对应配置项中,保存即可。

VALL-E-X

官方仓库:VALL-E-X

个人提供的已训练好的preset预设:点我跳转

官方视频讲解:仅需3秒音频实现声音克隆!我开源了微软的最新语音合成模型VALL-E X

视频教程:【AI主播-功能篇】接入 VALL-E-X(整合包附赠),进行TTS,3秒声音克隆,“好用”喵hhh

整合包下载:pan.quark.cn/s/b817e285ab41

OpenVoice

官方仓库:OpenVoice

视频教程:OpenVoice 整合包 | 一句话快速克隆?英文可调语气?效果实测【TTS】

整合包下载:迅雷云盘, 夸克网盘

启动webui后就可以对接了,适配gradio监听端口即可。

GPT-SoVITS

官方仓库:GPT-SoVITS

整合包下载:https://pan.quark.cn/s/936dcae8aba0https://pan.xunlei.com/s/VNitDF0Y3l-qwTpE0A5Rh4DaA1

视频教程:BV1CJ4m1b7pR

天降之物模型分享:https://github.com/Ikaros-521/GPT-SoVITS/releases

运行webui后,启动TTS推理,然后适配配置项即可,注意参考音频路径还有ws的端口即可,别的配置问题不大。

clone-voice

官方仓库:clone-voice

整合包下载:https://pan.quark.cn/s/936dcae8aba0https://pan.xunlei.com/s/VNitDF0Y3l-qwTpE0A5Rh4DaA1

视频教程:BV17z421d7T9

Azure TTS

视频教程:【AI主播-TTS篇】接入 Azure TTS,微软官方商用语音合成,随便造(

官网:https://azure.microsoft.com/zh-cn/products/ai-services/text-to-speech/

注册账号,领取一年免费试用额度,创建 语音转文本服务,获取 区域 和 密钥,配置后进行使用。

fish-speech

官方仓库:fish-speech

官方文档:https://speech.fish.audio/inference/

在线web

官网:https://fs.firefly.matce.cn/

进入官网,选好参数,F12打开开发者工具,抓包 网络,ws,点击 Generate 合成音频,查看 join请求,展开后可以看到 参考音频的绝对路径和其他配置,配置到webui保存 运行即可使用。

参考图

api 1.1.0

B站找个对应版本的整合包,启动API的bat脚本。然后把配置都配上就行了。
图文文档:https://github.com/Ikaros-521/AI-Vtuber/pull/827

ChatTTS

官方仓库:https://github.com/2noise/ChatTTS

视频教程:https://www.bilibili.com/video/BV17D421g7cx

CosyVoice

官方仓库:https://github.com/FunAudioLLM/CosyVoice

视频教程:https://www.bilibili.com/video/BV1iw4m1a7zx/

MultiTTS

图文文档:https://github.com/Ikaros-521/AI-Vtuber/pull/1042

视频教程:https://www.bilibili.com/video/BV1DRSbYaEP3/