为现场技术人员构建AI助手
答案可能就在某个地方。也许在第47页。也许在第163页的某个图表中。也许零件在某一页上被识别出来，而实际的操作步骤要到80页之后才解释清楚。
祝你好运。😄
这就是我们一直在用FieldXR解决的问题之一。
我们从一个简单的想法开始：如果技术人员可以直接向手册提问会怎样？
这个问题把我们带到了比最初预期的有趣得多的地方：从文档检索和交叉引用，到语音、视觉，最终到智能眼镜。
因为服务手册包含了大量知识，但找到正确的那部分完全是另一个问题。
而且我们很快发现，答案并不总是整齐地待在某个段落里等着被找到。
这可不是 Ctrl + F 能解决的问题。
1、所以我们从一个更简单的想法开始
上传手册。
提问。
得到基于这些手册的回答。
用AI术语来说，这听起来足够简单。提取文档，创建嵌入向量，放入向量数据库，检索相关信息，让LLM进行推理。
最初，这效果出奇地好。
直到你遇到一本真正的服务手册。
技术文档不只是等待被嵌入的漂亮结构化文本段落。
有扫描页面。
图表。
零件编号。
表格。
安装图纸。
还有，正如我的机械工程学位偶尔提醒我的那样，一些极其密集的工程原理图。😅
有时你需要的信息甚至不在看起来最相关的页面上。
一页识别了组件。另一页解释了操作步骤。其他地方还有一个图表，突然让前两页变得有意义了。
那时我们的问题从：
"如何让AI阅读手册？"
变成了：
"如何帮助它找到并理解一个优秀的技术人员会寻找的相同信息？"
这个区别推动了我们此后构建的大量内容。
2、PDF必须超越PDF
我们构建了一个摄入管道，它不仅仅是从文档中提取文本。
根据查看的内容，FieldXR可以处理提取的文本、OCR和手册页面的视觉表示。
文档在后台被处理，分解成有用的部分，嵌入并索引以供检索。
然后，当技术人员提问时，我们会尝试在要求模型推理之前组装正确的证据。
我们目前的技术栈包括Node.js、TypeScript、MySQL/Prisma、Qdrant、Claude、OpenAI、S3和Firestore等。
但技术本身并不是我觉得最有趣的部分。
有趣的是当你开始消除交互中的摩擦时会发生什么。
3、首先，我们不再让技术人员打字
想象你正在修理一台机器的中途。
你的手正忙着。
拿出手机，输入详细的问题，阅读回复——这并不特别方便。
所以下一步感觉很自然：
和它对话。
我们添加了实时语音交互。
技术人员可以以对话方式向FieldXR提问，而在幕后，助手可以查询我们从公司手册中构建的相同技术知识。
然后它可以把答案说出来。
那确实很酷。
但这又引出了另一个问题。
如果技术人员可以告诉FieldXR他们遇到的问题……
为什么他们不能直接展示它？
4、这就是我们最终选择智能眼镜的原因 👓
最近，我们一直在将FieldXR与Meta Ray-Ban智能眼镜集成。
想法是技术人员可以查看他们正在工作的设备，捕获他们看到的内容，并向FieldXR提问。
现在我们有了以前无法获得的另一部分上下文：
技术人员的视角。
FieldXR可以将该视觉上下文与其从相关服务文档中获取的知识结合起来，两者共同帮助回答技术人员的问题。
而且由于我们已经将语音功能融入了体验中，答案可以返回而无需技术人员停下来操作应用。
看到整个循环运行起来是相当令人满意的。
看。问。检索。推理。响应。
这五个词之间发生了很多事情。
视觉模型参与其中。
检索参与其中。
手册参与其中。
语音参与其中。
还有许多不那么光鲜的工程问题潜伏在所有这些问题之下，确保体验不会崩溃。😄
我在这里故意跳过了很多。
有些值得单独写文章。
5、有趣的部分其实不是眼镜
智能眼镜是一个很好的演示。
但它们实际上并不是我觉得FieldXR最有趣的部分。
有趣的是构建一个能够在正确时刻获得正确上下文的AI系统。
有时这个上下文是手册中的一段话。
有时是一个图表。
有时是技术人员三十秒前说的话。
有时就是他们正在看的东西。
界面可以从文本变为语音，再到摄像头，再到眼镜。
底层更难的问题仍然是一样的：
我们能否找到足够可信的信息来真正提供帮助？
这比简单地在一些PDF上放一个聊天机器人有趣得多。
而且我们仍在努力解决这个问题。
6、不知怎么地，机械工程又找到了我
我实际上并没有做过机械工程师。我的职业生涯坚定地走向了软件方向：移动应用、后端系统、支付、AI以及介于两者之间的一切。
所以最终发现自己在为那些与我花多年学习的机器、图表和系统打交道的人构建软件，这有点有趣。
只是这一次，我从一个非常不同的角度来看待它们。
也许这就是我觉得FieldXR最令人兴奋的地方。
当我们坐在办公桌前向AI提问时，AI的能力令人难以置信。但在键盘之外还有一个更大的工作世界：技术人员维护设备、工程师检查系统、人们在双手已经被占用的情况下诊断问题。
对他们来说，AI助手是什么样子的？
也许它根本不像一个聊天窗口。
也许它在你需要的时候倾听，看到你正在看的内容，理解设备背后的文档，并默默地帮助你完成工作。
我们从尝试让服务手册更容易搜索开始。现在，我们已经进展到将它们放在技术人员的眼镜上。
我有一种感觉，我们才刚刚开始。
原文链接: From Service Manuals to Smart Glasses: Building an AI Assistant for Field Technicians
汇智网翻译整理，转载请标明出处