语音合成
TTS
elevenlabs
不注册账号也可以使用,不过应该是有限制的(具体多少未知)。免费账号拥有每月1万字的额度。
genshinvoice.top
官方GitHub仓库,内含api使用说明
官方视频讲解:【在线合成&效果优化】基于VITS的米哈游全角色语音合成现已发布
tts.ai-lab.top
在线体验官网: https://tts.ai-hobbyist.org/
注册账号,登录,然后在在线合成页面,按下键盘F12
打开开发者工具,在选择Network
网络,随便合成一个音频,然后找到vits
的一个请求,点进去,点击负载
,找到appid
和token
,配置即可。
VITS(vits-simple-api)
emotional-vits官方仓库:emotional-vits
接入API:vits-simple-api
vits-simple-api整合包下载:github.com/Artrajz/vits-simple-api/releases
视频教程:【AI主播-TTS篇】新增 纯 VITS 接入,配合vits-simple-api,支持情感控制,语速调控 , 【AI主播-TTS篇】新增 bert-vits2 的接入,配合vits-simple-api食用,强有力的中文TTS让你到达新高度~
如何白嫖huggingface上的vits-simple-api
? 只需要开启魔法,将API地址
修改为项目提示的接口地址即可,例如:https://artrajz-vits-simple-api.hf.space
vits-simple-api配置,修改 config.py
,参考配置如下,路径为追加的相对模型路径和配置文件路径(注意,新版本的变动,配置改到config.yml了,所以你需要直接改yml或者删除yml,修改py,然后重启):
# Fill in the model path here
MODEL_LIST = [
# VITS
[ABS_PATH + "/Model/ikaros/G_95500.pth", ABS_PATH + "/Model/ikaros/config.json"],
# Bert-VITS2
[ABS_PATH + "/bert_vits2/G_0.pth", ABS_PATH + "/bert_vits2/config.json"],
如果使用 bert_vits2
,需要注意 vits-simple-api\bert_vits2\bert\chinese-roberta-wwm-ext-large
路径下 flax_model.msgpack
等模型文件是否缺失,如果缺失,可以从隔壁 bert_vits2
整合包中拷贝进来 或者 从huggingface
下载:hfl/chinese-roberta-wwm-ext-large 。另外模型需要存放在 bert_vits2
目录里面。
相关模型备份:夸克网盘
另外如果运行闪退、报错
Traceback (most recent call last):
File "E:\vits-simple-api\app.py", line 49, in <module>
tts = merge_model(app.config["MODEL_LIST"])
File "E:\vits-simple-api\utils\merge.py", line 117, in merge_model
for id, name in enumerate(obj.get_speakers()):
File "E:\vits-simple-api\utils\utils.py", line 29, in __getitem__
return getattr(self, key)
TypeError: getattr(): attribute name must be string
需要修改 utils\merge.py
116行左右。
for id, (key, name) in enumerate(obj.get_speakers().items()):
# for id, name in enumerate(obj.get_speakers()):
如果在使用bert-vits2
时,报错:
error, ref_enc.convs.0.bias is not in the checkpoint
error, ref_enc.convs.0.weight_g is not in the checkpoint
......
解决方案参考:issues/311
改 bert_vits2/models.py
中第646
行 if n_speakers > 1:
修改为 if n_speakers >= 1:
VITS-fast-fine-tuning
官方推理包:inference-webui-v1.1
个人提供的已训练好的模型:点我跳转
视频教程:【AI语音合成-数据集篇#00】模型使用简单讲解,手把手演示 ,【AI主播-功能篇】TTS语音合成 VITS-Fast怎么使用?为什么没有合成语音?VITS不行吗?模型兼容吗?
训练用整合包(原作者整合包备份):pan.quark.cn/s/da52e78983da
整合包视频教程:AI声音克隆又进化了,10分钟学会声音克隆!一键启动包发布!
整合包视频教程2:【VITS一键包】本地训练独属于你的AI嘴替?训练部署AI语音合成教程
睿声
在 角色管理 页面,创建训练一个你想用使用的角色的声音模型,点击更多,顶部可以看到一串字符串,就是角色ID,配置到配置项中。
申请API Key:https://dash.reecho.ai/apiKey,配置到对应配置项中,保存即可。
VALL-E-X
官方仓库:VALL-E-X
个人提供的已训练好的preset预设:点我跳转
官方视频讲解:仅需3秒音频实现声音克隆!我开源了微软的最新语音合成模型VALL-E X
视频教程:【AI主播-功能篇】接入 VALL-E-X(整合包附赠),进行TTS,3秒声音克隆,“好用”喵hhh
整合包下载:pan.quark.cn/s/b817e285ab41
OpenVoice
官方仓库:OpenVoice
视频教程:OpenVoice 整合包 | 一句话快速克隆?英文可调语气?效果实测【TTS】
启动webui后就可以对接了,适配gradio监听端口即可。
GPT-SoVITS
官方仓库:GPT-SoVITS
整合包下载:https://pan.quark.cn/s/936dcae8aba0,https://pan.xunlei.com/s/VNitDF0Y3l-qwTpE0A5Rh4DaA1
视频教程:BV1CJ4m1b7pR
天降之物模型分享:https://github.com/Ikaros-521/GPT-SoVITS/releases
运行webui后,启动TTS推理,然后适配配置项即可,注意参考音频路径还有ws的端口即可,别的配置问题不大。
clone-voice
官方仓库:clone-voice
整合包下载:https://pan.quark.cn/s/936dcae8aba0 ,https://pan.xunlei.com/s/VNitDF0Y3l-qwTpE0A5Rh4DaA1
视频教程:BV17z421d7T9
Azure TTS
视频教程:【AI主播-TTS篇】接入 Azure TTS,微软官方商用语音合成,随便造(
官网:https://azure.microsoft.com/zh-cn/products/ai-services/text-to-speech/
注册账号,领取一年免费试用额度,创建 语音转文本服务,获取 区域 和 密钥,配置后进行使用。
fish-speech
官方仓库:fish-speech
官方文档:https://speech.fish.audio/inference/
在线web
官网:https://fs.firefly.matce.cn/
进入官网,选好参数,F12打开开发者工具,抓包 网络,ws,点击 Generate 合成音频,查看 join请求,展开后可以看到 参考音频的绝对路径和其他配置,配置到webui保存 运行即可使用。
api 1.1.0
B站找个对应版本的整合包,启动API的bat脚本。然后把配置都配上就行了。
图文文档:https://github.com/Ikaros-521/AI-Vtuber/pull/827
ChatTTS
官方仓库:https://github.com/2noise/ChatTTS
视频教程:https://www.bilibili.com/video/BV17D421g7cx
CosyVoice
官方仓库:https://github.com/FunAudioLLM/CosyVoice
视频教程:https://www.bilibili.com/video/BV1iw4m1a7zx/