Qiu Xipeng团队的开源苔藓

如果您不想查看内容，请请求推送！ （该博客基于Moss-TTSD的综合）语音对话在播客，访谈，体育评论，新闻报道和实时电子贸易广播中无处不在。当前的语音话语模型（TTS）显着改善了单个句子或孤立段落的语音产生的影响，自然性，清晰度和综合语音的表现力有了显着改善，有些更接近现实水平。但是，由于缺乏对话的一般情况，这些TTS模型仍然无法综合高质量的对话声音。现在是历史上的时间！福丹大学和缪斯智能的上海chuangzhi学院的OpenMoss团队共同启动了创新成果：Moss -TTSD！根据一百万小时的音频培训，这是他第一次对播客AI“黑社会山谷”的诅咒。 MOSS-TTSD-V0最近发行了，带有开源推理的比索DELS和代码，使您可以访问商业应用程序。项目地址：https：//github.com/openms/mossd在线体验：https：//huggingface.co/spaces/fnlp/moss-ttsd与传统的TTS模型不同。 MOSS-TTSD直接根据几个人的对话的全文进行高质量的对话演讲，精确地捕捉了对话的节奏变化和对话的语调的特征，并允许将现实对话的讲话与非常高的人格化整合在一起。接下来，我们聆听实际测试的结果，并将试镜中的差异与其他TTS模型进行比较。中国播客样本团队比较了播客doubao（商业产品）的播客的产生，并比较了Moss-TTSD的播客来源的播客的产生与MOSS-TTSD每日推文的工作流程。事实证明，这两个在多个维度上相对运行。情感财富，语气的自然性是物理表达性的MOSS-TTSD作为开源模型显示的性能水平与商业解决方案相当。生成的某些比较集的结果如下：注意：Doubao无法控制博客的文本内容，因此它不能控制两个内容以保持一致。该团队还收集了更多的Moss-TTSD音频样品，以显示出出色的模型性能。在下面，我们显示了具有更高的零样品克隆和稳定的长音生成功能，具有更多的MOSS-TTSD生成播客剪辑，研究了情绪表达，音调的性质和一般流动流程中的出色性能。播客的时间比G.E.M.，Jay Chou，Pan Changjiang和Gazi Speed XQC：我使用Podcast的Genshin Generation Workflow来提高播客Genshin Impact Game在Podcast Gene Generation Generation的工作流程中的削减。接下来，我们对MOSS-TTSD技术核心有了更深入的了解。 MOSS-TTSD模型技术分析基于QWEN3-1.7B-B ASE MODEL是不断训练的，并且已经采用了单个语音测序模型方法。该团队培训了大约100万小时的扬声器音频数据和40万小时的交互式音频数据，以允许双语能力的中文和英语音频集成。模型结构的摘要：基于基于QWEN3-1.7B的模型的训练，使用8层RVQ代码簿使用语音划分，使用自我re-re-re-re-re-re-re-patterns使用语音令牌的产生，最后，使用解码器ador恢复了语音令牌。在XY-Tokenizer Moss-TTSD共同汇编中的创新前进是在XY-Tokenizer中找到的，XY-Tokenizer是一个专门设计的声音的编码器。这个8 -layer RVQ音频COD是语义语音，可以对声学信息进行建模和编码以压缩1kbps的比特率，从而使大型语言模型能够有效地学习音频序列和模型详细的声学能力。如下图所示，xy tokero使用两倍E阶段多任务学习。第一阶段（上半年）训练ASR和重建任务，使编码器在编码语义信息的同时保留声学粗粒信息。第二阶段（下半部）纠正了编码器和量化层的部分，并仅训练解码器零件。生成模型容量用于通过重建损失和损失来补充AC信息谷物用户。 XY-Takeizer使用两个多任务学习阶段进行培训。多亏了超低位速率COD，Moss-TTSD承认音频生成长达960秒，避免了传播的语音夹之间的反天然过渡，这使您可以同时产生超长的声音。这使得Moss-TTSD特别适合播客，电影和电视配音，长期访谈，数字人类对话和其他应用程序。数据工程：高质量数据在大规模处理真实数据时面临挑战。这是一个良好的TTSD模型的基础。该团队设计了一个有效的数据处理管道，该管道允许一个人的对话声音和几个人在大规模上精确地过滤并用内部工具模型标记，如下图所示。 MOSS-TTSD数据清洁管的一般描述。该团队首先使用内部扬声器分离模型进行语音细分和扬声器。这超过了开源的Pyannote-Sepeaker-Diarization-3.1及其商业性能版本。然后通过DNSMOS得分评估音频质量，并且仅保留了≥2.8的高质量音频夹。下表显示了不同数据集（较低，更好）的扬声器绝缘模型的DER（腹泻错误率）的结果。 OSS-TTSD使用的Metrolas工具在四个测试组中实现了最佳性能。对于几个人的对话声音，该团队还训练了进行FINE扬声器和文本转录，解决了现有的ASR模型无法用叠加发音的预测转录的问题。实验结果：要客观地评估Moss-TTSD的更高表现，Moss-TTSD的较高表现，该行业领先水平的团队仔细构建了一套高质量的测试，其中包含约500次中文和英语双重对话。在评估过程中，该设备首先使用MMS-FA模型（多语言多语言BOOR模型福特·埃列图）将条目文本与在单词级别生成的音频对齐，并根据分数将其分为句子段。每个段的扬声器标签直接在输入文本中指定。为了量化音调克隆的忠诚度和精度，稳定器Simumlet 100用作评估的集成扬声器模型。该模型计算了每个生成的剪辑与APPL中的两个扬声器之间的相似性计算，并确定当前剪辑作为扬声器的相似性。这样，每个音频的说话者变更的精度最终得到了平均音调的相似性。该团队将其与单层开源模型进行了比较，并通过客观的中文指标实现了关键结果。另外，MOSS-TTSD的发音和自然性比参考模型好得多。有关演示的比较，请参见https://www.open-moss.com/cn/mossd/note：本文中显示的音频仅是有效的演示，并且不代表团队的意见和位置。