APPLICATION
Llama3.2-Vision本地OCR应用
在本文中，我们将指导你使用 Ollama 的 Llama 3.2-Vision 模型构建自己的 OCR 应用程序，并使用 Python 作为我们的编程语言。
VLM
MODEL-ZOO
Idefics-2微调实现视觉问答
本文介绍如何使用Transformers库微调Idefics-2视觉大模型，来应对视觉问答任务。
MODEL-ZOO
OmniVision-968M 世界最小VLM
Omnivision 是一个紧凑的、不到1B (968M)参数 的多模态模型，用于处理视觉和文本输入，针对边缘设备进行了优化。
MODEL-ZOO
Llama 3.2 Vision 评测
Llama 3.2-Vision 指令调整模型针对视觉识别、图像推理、字幕和回答有关图像的一般问题进行了优化。这些模型在常见的行业基准上优于许多可用的开源和封闭多模式模型。
MODEL-ZOO
Llama 3.2视觉模型OCR能力
传统的 OCR 工具在文本与视觉元素同时存在时，其性能会很差。但随着 Llama 3.2 视觉模型的发布，只需传递图像并提取文本或对图像提出问题即可。
APPLICATION
双流RAG：文本+视觉
通过将视觉语言模型 (VLM) 与传统文本处理相结合，我们开发了一种双流 RAG 架构，可处理 PDF 文档中的文本和视觉内容。
MODEL-ZOO
Gemini目标检测实测
我们熟悉 Gemini 令人印象深刻的多模态能力，尤其是在推理图像数据时——无论是字幕、OCR、分类还是识别图像中的特定内容。 与其开放模型对手 PaliGemma 不同，Gemini 模型并未专门针对对象检测任务进行训练。这一事实促使我进行了一些实验并撰写了这篇博客。 注意：在这里，当我们谈论对象检测时，我们的意思是通过绘制边界框来识别和定位对象，就像 YOLO、DETR、EfficientDet、Florence-2 和 PaliGemma 等模型一样。 所以，事不宜迟，让我们来看看 Gemini 是否可以执行对象检测和定位。如果是，在多大程度上？ 1、代码实现 我们只需要 Gemini API 密钥—不需要其他任何东西。我假设你已经熟悉 Gemini API。如果还不熟悉，请查看此博客以了解如何在 Google AI Studio 上创建 Gemini
MODEL-ZOO
Llama 3.2-Vision文本提取
该项目通过使用 Llama 3.2-Vision 来升级书籍封面识别，从而无缝地从图像中提取和完成标题和作者姓名。