Tagged

MODEL-ZOO

A collection of 166 posts

TTS:MaskGCT & OuteTTS
MODEL-ZOO

TTS:MaskGCT & OuteTTS

在过去的一年中,seamless_communication、StyleTTS、VITS、DeepSpeech和Whisper 等项目都在 TTS(文本转语音)技术的进步中发挥了重要作用。但现在,回顾 GitHub,这些项目中的很多都已经沉寂了。 最初,我只对它们的功能有基本的了解,而没有深入研究它们背后的技术概念和机制。这次,受到最近发布的 MaskGCT 和 OutTTS 等开源项目的启发,我决定总结一下 TTS 的基础技术。总体而言,音频生成的质量自去年以来有了显着提高。以前,合成的声音听起来很机械;现在,多亏了 Hertz-dev 等模型,我们可以生成听起来更自然、更像人类的音频。 1、TTS 基础知识TTS 系统的主要目标是将输入的文本转换为听起来自然的语音。 1.1 传统TTS模型传统的 TTS 模型(例如 Tacotron 和 WaveNet)通常涉及三个主要步骤:

SegFormer数据集制作及模型微调
MODEL-ZOO

SegFormer数据集制作及模型微调

本指南展示了如何微调 Segformer,这是一种最先进的语义分割模型。我们的目标是为披萨送货机器人建立一个模型,这样它就可以看到要行驶的方向并识别障碍物 🍕🤖。 我们将首先在 Segments.ai 上标记一组人行道图像。然后,我们将使用 🤗 transformers 微调预先训练的 SegFormer 模型,transformers 是一个开源库,提供最先进模型的易于使用的实现。在此过程中,我们将学习如何使用 Hugging Face Hub,这是最大的开源模型和数据集目录。 语义分割是对图像中的每个像素进行分类的任务。你可以将其视为对图像进行更精确分类的方法。它在医学成像和自动驾驶等领域有广泛的用例。例如,对于我们的披萨送货机器人来说,重要的是要确切地知道人行道在图像中的位置,而不仅仅是是否有人行道。 因为语义分割是一种分类,所以用于图像分类和语义分割的网络架构非常相似。 2014 年,Long 等人发表了一篇开创性的论文,使用卷积神经网络进行语义分割。 最近,Transformers 已用于图像分类(例如 ViT),现在它们也用于语义分割,进一步推动了最先进的技术。 SegFormer 是 Xie 等人于 2021

SAM 2 视频分割
MODEL-ZOO

SAM 2 视频分割

Segment Anything Model 2 (SAM 2) 是一个统一的视频和图像分割模型。 与图像分割相比,视频分割面临着独特的挑战。物体运动、变形、遮挡、光照变化和其他因素可能会在帧与帧之间发生巨大变化。由于相机运动、模糊和分辨率较低,视频质量通常低于图像,这进一步增加了难度。 SAM 2 在视频分割方面表现出更高的准确性,交互次数比以前的方法少 3 倍。SAM 2 在图像分割方面更准确,速度比原始 Segment Anything Model (SAM) 快 6 倍。 1、加载 SAM 2 模型进行视频处理💡点击这里打开本指南附带的笔记本。首先,使用以下命令克隆存储库并安装所需的依赖项: git clone https://github.com/facebookresearch/segment-anything-2.git