> ## Content Index > Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt > Use this file to discover other available public pages before exploring further. # Maya1：带情感控制的TTS - URL: https://www.hubwiz.com/blog/maya1-tts-with-emotional-control/ - Published: 2025-11-09T22:27:09.000Z - Updated: 2025-11-09T22:27:09.000Z - Description: 大多数语音AI听起来像2011年的昂贵GPS，清晰到可以理解，但情感平淡。Maya1不是这样，它可以根据提示实际设计您的TTS语音。 - Author: admin - Tags: MODEL-ZOO, MAYA1, #Import 2026-10-14 14:41 大多数语音AI听起来像2011年的昂贵GPS，清晰到可以理解，但情感平淡。Maya1不是这样。 它是首批开源语音模型之一，可以根据提示实际设计您的TTS语音。 让我们剖析它与众不同的地方 ## 1、核心理念：文本 → 情感 → 声音 Maya1不仅仅是文本转语音。它是*语音设计*。你不会从语音库中选择一个语音。你会描述一个语音。 例如： ``` ``` 然后它会实时构建这个语音。 大多数商业系统如ElevenLabs或OpenAI TTS依赖于预训练的语音，固定的“演员”来朗读你的文本。Maya1让你通过自然语言描述创建新的语音。无需微调，无需数据收集，无需滑块或参数名称。 ## 2、架构：用于声音的3B参数Llama 在内部，Maya1是一个**仅解码器的Transformer**，类似于Llama，但它不是生成文本标记，而是从称为**SNAC**的神经编解码器中预测**音频标记**。 这就是效率的来源。传统的语音模型生成原始波形，每秒数千个样本。Maya1生成紧凑的SNAC标记，**每帧音频7个标记**，然后解码器将其重建为24 kHz音频。 这使得它**实时运行**，我们说的是子100毫秒延迟，同时在**单个GPU**（A100、H100甚至4090）上运行。序列长度大大缩短。更少的标记=更少的内存，更快的推理。 SNAC本身运行在约0.98 kbps，这听起来令人难以置信地低，但它是一个*分层编解码器*：多个尺度（≈12/23/47 Hz）捕捉精细纹理和缓慢节奏，因此感觉流畅，而不是机械。 ## 3、内联情感控制 Maya1将情感理解为语言的一部分，而不是元数据。 **例子：** ``` “我简直不敢相信它 最终成功了。” ``` ``标签不是象征性的。它实际上改变了波形——音高提升，呼吸声，瞬态时间。你可以在文本中的任何位置插入``、``、``、``、``、``。 这种控制是局部且可组合的，意味着你可以在句子中间切换语气。不需要为不同的情感生成单独的片段。在后台，Maya1的微调数据集每个样本都有**20多个情感标签**，因此它学会了每个情感的真实声学模式。 ## 4、训练和数据流程 训练设置不太引人注目，但正是它使输出稳定。 两个阶段： **a) 预训练** 互联网规模的英语语音语料库。目标是声学覆盖，而不是完美。教模型真实语音如何流动，音节如何相互渗透。 **b) 微调** 精选的录音室级录音。每个片段都有： - 人工验证的描述（语音年龄、语气、口音） - 情感标签 - 口音变化（美式、英式、中东式等） - 角色变化（反派、主持人、旁白） **所有内容都被无情地预处理**：24 kHz重采样，LUFS标准化（-23 LUFS），使用VAD进行静音修剪，通过蒙特利尔强制对齐器进行短语级对齐，MinHash-LSH用于文本去重，Chromaprint用于音频去重。每一秒的数据都在训练前被**SNAC编码**，所以模型从未直接看到波形，只看到它们的紧凑表示。这就是为什么它可以实时流媒体并且仍然听起来自然。 ## 5、实际运行的流媒体 大多数TTS系统声称是实时的，但在你听到任何内容之前，它们会缓冲半句话。Maya1之所以真正低延迟，是因为它的**SNAC编解码器**和**vLLM集成**。 - **vLLM** 通过**自动前缀缓存（APC）** 快速推理，因此重复相同的语音描述不会重新处理整个上下文。 - SNAC保持带宽极小。 - WebAudio集成允许浏览器中无缝播放。 **结果：** 你可以拥有一个实时语音助手，*立即响应*，同时听起来充满情感。 ## 6、开源与商业用途 Maya1根据**Apache 2.0**许可证发布，因此您可以： - 在生产中使用它。 - 修改它。 - 销售基于它的产品。 没有按秒计费。没有封闭的推理API。 它托管在Hugging Face上（`maya-research/maya1`），并与PyTorch和`transformers`库直接集成。 ## 7、更大的转变 Maya1表明语音AI不必被封闭的API所限制。它显示你可以达到生产质量，24 kHz，情感丰富，实时运行，使用开放模型。 技术成就不仅仅是编解码器或模型大小。它是控制界面。输入``并听到你的模型*真的*哭泣是一种奇怪的魔法。不是深度学习的魔法，而是工程精度。 该模型已开源，权重可以从[这里](https://huggingface.co/maya-research/maya1?source=post%5Fpage-----e499a357db80---------------------------------------)下载，你也可以在[这里](https://www.mayaresearch.ai/studio/text-to-speech?source=post%5Fpage-----e499a357db80---------------------------------------)测试。 --- 原文链接：[Maya1 : 1st AI Voice Design TTS is here !!](https://medium.com/data-science-in-your-pocket/maya1-1st-ai-voice-design-tts-is-here-e499a357db80?ref=hubwiz.com) 汇智网翻译整理，转载请标明出处