> ## Content Index > Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt > Use this file to discover other available public pages before exploring further. # 我用AI清洗数据后不再担心被取代 - URL: https://www.hubwiz.com/blog/after-using-ai-to-clean-data-i-am-no-longer-worried-about-being-replaced/ - Published: 2026-05-14T10:03:47.000Z - Updated: 2026-10-13T16:05:00.000Z - Description: AI 不会取代你。你的分析技能和思维方式仍然至关重要，即使你将 AI 引入你的工作。 - Author: admin - Tags: JOB MARKET, #Import 2026-10-14 14:41 如果你是一名数据分析师，你一定知道数据清洗可能是工作中最令人筋疲力尽的部分。不幸的是，数据清洗有时可能占据你数据分析工作的 80% 以上。 然而，为了获得更好、更准确的分析结果，你**无法跳过数据清洗过程**，尽管它既耗时又令人疲惫。 这就是为什么我开始在自己的工作流中使用 AI。在本文中，我将与你分享将 AI 集成到我的工作流程后的真实经验，以及使用后的一些观察。 在我们开始之前，我想先分享一下我的反思。 > AI 不会取代你。你的分析技能和思维方式仍然至关重要，即使你将 AI 引入你的工作。 ![](https://www.hubwiz.com/blog/content/images/2026/05/image-188.png) 数据清洗挑战 ## 1、真实例子：用 AI 来匹配和删除重复的客户记录 让我带你走一个我处理的典型场景。 在我其中一个项目中，我需要**从几个不同的数据源中检索 ID 记录**。申请人可能通过多个平台申请，每个平台的 ID 号码都不同。我的目标是整理并将他们所有的 ID 提取到一个主列表中，以便我可以用它作为参考来检查后续的重复申请。 不同数据源中存在的相似信息是**客户姓名和他们的民事地址**。然而，客户姓名和民事地址通常是由申请人***手动***输入的。这种数据不一致性增加了数据匹配的难度。 我通常的数据清洗过程是让 AI 帮我生成自定义的 Python 代码。我之前没有尝试过让 AI 来处理那些烦人的数据清洗工作。因此，我想试一试，看看效果如何。 我将所有数据文件附加给 AI，并提供了清晰的指令，要求根据客户姓名和地址匹配来自不同来源的申请 ID。我**没有提及分析过程**，因为我希望 AI 能帮我发现那些数据不一致性并自动应用一些标准化处理。 然而，结果一团糟；我回到了原始数据源，用 **Ctrl+F 手动**检查。其中一半匹配错误。 我的梦想没有成真。 我不得不回到原始数据源，花时间理解数据中的模式，并不断精炼我的提示，重复了大约一百次。 以下是我从这个过程中学到的一些关键点，以及我为了让结果更理想而在提示中包含的内容。 ## 2、即使现在有 AI，你仍然需要了解你的数据 AI 不知道我们想要分析什么模式，所以我们仍然需要在使用 AI 的同时查看原始数据。 **使用 AI，探索性数据分析仍然是必要的**。唯一的区别是： - **没有 AI**：我们需要自己编写 EDA 的代码 - **有 AI**：我们只需要告诉 AI 我们的想法和想要探索的内容。 在我的数据探索过程中，我发现有些客户在姓名中包含了中间名，而其他客户只提供了名和姓。因此，我不得不比较两种格式以找到匹配项。 此外，地址也是不一致的；例如，有些客户输入了"St"，而另一些输入了"street"，因此我需要在匹配之前进行标准化。 ## 3、定义转换规则 下一步是定义我的分析规则。 - 我标准化了道路名称：将 Road 和 Rd、Street 和 St、Ave 和 Avenue 等全部统一为缩写和小写。 - 我连接了两种格式的全名（名 + 姓 & 名 + 中间名 + 姓），并移除了名称中的所有空格以最大化匹配。 - 我移除了任何符号，如逗号、空格或冒号，使地址更加一致。 - 最后，如果没有匹配，则返回"未找到"。 ## 4、告诉 AI 你的分析逻辑 在定义数据转换规则后，我需要让 AI 知道我的分析工作流程。 例如，姓名将作为优先匹配项，与地址相比出错的可能性较小。然而，存在**同名的人住在不同地址**的可能。 如果我只比较姓名，我可能会错误匹配客户，但如果我同时选择姓名和地址，由于输入错误，我会得到大量"未找到"的结果。 因此，我定义了工作流，要求 AI 先比较两种姓名格式，并返回所有匹配的 ID。其次，对于那些返回了**多个 ID** 的，请使用地址进行匹配，看姓名和地址是否都匹配，然后返回两者都匹配的 ID。 通过这种方法，我既能保证最大化的匹配，又能有效处理由于同名导致的错误匹配。 ## 5、永远不要 100% 信任 AI 定义验证来检查 AI 的结果。 因为我不确定 AI 返回的结果是否正确，我要求 AI **为我创建一个新列**。这个新列用于记录备注，说明 AI 是**通过哪种方法匹配的**——全名还是地址。 因此，我可以根据这个备注来验证 AI 的结果。 ## 6、时刻注意数据保密性 最后，这是必要且关键的，但人们有时可能会忘记。虽然 AI 聊天机器人或 LLM 模型保证他们不存储个人数据，但在向 AI 提供客户数据时，我们仍然需要格外小心。 当要求 AI 进行数据分析时，我们必须向 AI 提供真实的实际数据，而不是模拟数据。因此，请确保你的机构批准了任何可以内部使用的 AI 模型。 否则，最好要求 AI 编写 Python 代码，然后在本地运行你的清洗和分析，以保护你的公司以及你的客户信息。 ## 7、结束语 在进行这些更新和提示调优之后，结果是令人印象深刻的。它为我节省了大量时间，让我避免了数据清洗带来的倦怠。感谢这个项目，我学到了一些新技能和新策略来清洗我的数据，但最重要的是，它让我意识到你和我这样的数据分析师的工作不会轻易被 AI 取代。 以下是我的观察。 - 模式因情况而异；你需要自己定义这些模式。AI 可以帮助你检查空数据或将所有单词标准化为小写，但要让 AI 自动运行其他检查可能很困难。 你仍然需要编写提示，用你的数据分析知识告诉 AI。如果没有之前的数据清洗经验，你可能不会有将 Road 和 Rd 统一起来的意识。 - 分析工作流仍然与你的数据分析经验密切相关。你想要分析什么以及如何聚合数据，仍然依赖于你的分析技能。 在你自己进行数据分析之前，无论是用 Excel 还是 Python，你可能不知道什么样的聚合或清洗方法能够带来更好的结果。 - 理解你的数据意味着你熟悉你的业务概念和工作流程。如果你不告诉 AI，AI 不会知道你们公司收集数据的标准流程。我相信领域知识和分析思维是让你保持闪光的两个关键。 > 如果你只知道如何写 SQL、Python 或 Excel 公式，你可能会被取代，但如果你具备分析性思维并知道如何利用 AI 使你的工作流程更高效，你就不会被取代。 好了，我希望你今天学到了一些东西，在这个时代感到不那么焦虑。继续利用 AI 工具加速你的分析，但记住要巩固你的分析思维以及领域知识。 --- 原文链接: [I Used AI for Data Cleaning and Here's Why I Think AI Won't Replace Me](https://medium.com/data-science-collective/i-used-ai-for-data-cleaning-and-heres-why-i-think-ai-won-t-replace-me-565bd40bb263?ref=hubwiz.com) 汇智网翻译整理，转载请标明出处 > **这是「RAG / 数据 / 文档智能」专题的一部分。**完整地图见：[RAG / 数据 / 文档智能完全指南](https://www.hubwiz.com/blog/rag-data-stack/)