AI

APPLICATION

用AI分析家庭视频

我想给家庭视频添加标签，以便更方便地搜索。当时没有一个很好的模型可以从视频中生成描述性文本，所以我搭建了一个LLM管道，将图像作为输入来生成视频的摘要。我希望使用完全本地化的解决方案，这样就不需要将个人视频发送到云提供商，并且因为视频通常比较大，而且不是总能获得高带宽互联网连接。 这就是我最终搭建的内容——https://github.com/byjlw/video-analyzer/ 它的工作原理是使用whisper转录音频，使用OpenCV选择有趣的/不同的帧，然后使用LLM描述每个帧中的信息。最后，它将所有帧的描述输入以总结整个视频。 有关设计和工作原理的更多详细信息，请参阅存储库中的DESIGN.md 1、要求 要使用它，你需要： * Python 3.10–3.12 * FFMPEG - 安装说明在底部 如果你希望完全在本地运行，还需要安装Ollama。 如果你的电脑不够强大，无法在本地运行LLM，你可以使用OpenAI的API，openrouter.ai或几乎任何主要的LLM服务。我倾向于使用openrouter，因为它是一个一站式服务，涵盖了几乎所有