> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# Kyutai实时TTS模型
- URL: https://www.hubwiz.com/blog/kyutai-1st-real-time-tts/
- Published: 2025-07-07T14:22:58.000Z
- Updated: 2025-07-07T14:25:05.000Z
- Description: 我见过很多AI语音工具，但Kyutai是我见过的第一个真正感觉像你可以用在实时循环中的声音。
- Author: admin
- Tags: MODEL-ZOO, KYUTAI TTS, #Import 2026-10-14 14:41

现在市面上大多数AI语音模型都说自己是“实时”的。其实不是。

你给它一段文本，它会思考一会儿，然后开始说话。这只是快速的TTS——不是真正的实时。

## 1、Kyutai TTS登场

![](https://www.hubwiz.com/blog/content/images/2025/07/image-51.png)

你输入几个词，它就开始说话。不是等整句话，也不是等整个段落。就在你的LLM还在输入下一部分的时候，它已经开始说话了。这是第一次。

> 目前它只支持英语和法语

Kyutai最初为他们内部的助手Moshi构建了这个模型。然后他们清理了一下并开源了。你可以在[unmute.sh](https://unmute.sh/?ref=hubwiz.com)上尝试，这是一个小演示，模型像主持播客或单口相声一样说话。感觉非常自然，就像有人在背后操作一样。

他们实际发布的模型叫做`kyutai/tts-1.6b-en_fr`。它大约有16亿个参数，目前支持英语和法语。

### 1.1 与众不同之处

> 我们先说清楚：**它不需要完整的文本。** 这是主要的不同点。

![](https://www.hubwiz.com/blog/content/images/2025/07/image-52.png)

我试过的其他流式TTS都声称是流式的，但仍然需要完整的文本。

它们只流式传输*音频输出*，而不是*文本输入*。因此，如果你的LLM仍在生成内容或者你在使用一个实时聊天机器人，总会有一个延迟。Kyutai TTS不关心这些，它从第一个词开始，并随着文本的流入继续前进。

> 另外，输入和音频之间的延迟非常短——大约220毫秒。这足够快，可以感觉自然。当他们在单个GPU上进行批量处理（32个请求）时，它保持在350毫秒左右。依然表现良好。

### 1.2 它也能克隆声音——但有限制

> 你可以给它一个10秒的某人声音的音频片段，它就会用那个声音说话。它能很好地捕捉语气、节奏，甚至麦克风的质量。

但这里有一个限制：**你不能克隆任何声音。** 实际学习声音的部分没有发布。他们只允许你使用预设集合中的声音——来自公共数据集的内容。或者，你也可以匿名捐赠自己的声音。

**也没有水印。** 他们尝试过，但每次重新编码音频时水印都会被清除。所以他们放弃了水印，而是直接限制了克隆流程。

### 1.3 长音频？没问题

大多数AI语音模型在30秒后就会崩溃。它们要么崩溃，要么开始听起来不对劲。Kyutai不会。你可以输入完整的段落——故事、采访、更长的对话——它都能干净地处理。

### 1.4 内置的单词时间戳

![](https://www.hubwiz.com/blog/content/images/2025/07/image-53.png)

它说的每个词都有精确的时间戳。不只是粗略的猜测——是实际的单词级时间。

这对于Unmute这样的工具很有用。如果你在句子中间打断AI，应用程序就知道在哪里暂停以及在哪里继续。你不需要从头再听一遍。它记得说了什么和剩下什么。

## 2、架构

![](https://www.hubwiz.com/blog/content/images/2025/07/image-54.png)

好了，快速介绍一下技术部分，但不要深入论文模式：

- 该模型使用Transformer构建。一部分处理文本，另一部分将其转换为音频。
- 它使用一种自定义的音频编解码器（称为Mimi），将音频分成小的标记。
- 文本和音频流之间有一点延迟——足以让模型在说话前稍微前瞻一下。
- 他们使用了250万小时的公共音频进行训练。Whisper用于生成数据的转录文本。
- 它是在32块H100 GPU上训练的。后来使用CFG蒸馏来加速。

## 3、指标

他们在英文和法文的新闻文章上进行了测试。以下是它的表现：

![](https://www.hubwiz.com/blog/content/images/2025/07/image-55.png)

- **Kyutai TTS在大多数其他模型中表现更好**，具有较低的词错误率（2.82% 英文，3.29% 法文）和较高的说话人相似度（77%以上），这意味着它既准确又自然。
- 在**实时使用**方面尤其强大，在不需要完整文本的前提下，保持了英文和法文语音的质量。

## 4、结束语

该模型是开源的，可在[HuggingFace](https://huggingface.co/kyutai/tts-1.6b-en%5Ffr?source=post%5Fpage-----0ebc2bc0bb4f---------------------------------------)上找到。也可以在[这里](https://kyutai.org/next/tts?source=post%5Fpage-----0ebc2bc0bb4f---------------------------------------)进行测试。

我见过很多AI语音工具。大多数对于一次性使用来说已经不错了：你给他们一个剧本，他们听起来还不错。

**但Kyutai是我见过的第一个真正感觉像你可以用在实时循环中的声音。**

它干净、响应迅速，而且不假装比它本身更厉害。真正的实时TTS，确实是实时的。

让它说话吧。你会感受到不同。

---

原文链接：[Kyutai TTS : 1st Real Time TTS model](https://medium.com/data-science-in-your-pocket/kyutai-tts-1st-real-time-tts-model-0ebc2bc0bb4f?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处