4.3 更多错误分析示例

接下来，我们到一些实际案例里，看看如何做错误分析。

案例一：发票处理（也就是我们在第一节见到的）

工作流程： PDF - (PDF 转文本) - (LLM 数据提取) - 数据库记录。

发现问题： 提取的到期日经常出错。

收集错误样本： 忽略正确的发票，收集 10 到 100 张到期日提取错误的发票。

定位错误来源：

• PDF 转文本错误： 文本提取太差，导致连人类都无法识别到期日。
• LLM 数据提取错误： PDF 转文本的输出足够好，但 LLM 却错误地拉取了其他日期（如发票日期而非到期日）。

结果指导： 假设统计发现 LLM 数据提取导致了更多的错误。

结论： 应将精力集中在改进 LLM 数据提取组件上（如优化提示词），而不是花费数周时间徒劳地改进 PDF 转文本组件。

---

案例二：回复客户邮件

工作流程： 客户邮件 - (LLM 编写数据库查询) - 数据库 - (LLM 起草回复) - 人工审核。

发现的问题： 最终邮件回复不令人满意。

收集错误样本： 收集最终回复不令人满意的客户邮件。

定位错误来源：

• LLM 查询编写错误： LLM 编写了错误的 SQL 查询，导致无法获取客户信息。
• 数据库数据错误： 数据库数据损坏或不正确，即使查询正确也无法获取正确信息。
• LLM 邮件撰写错误： 即使获取了正确信息，LLM 撰写的邮件内容或语气不妥。

结果指导： 假设统计发现，LLM 编写数据库查询是最常见的错误（例如，占所有问题的 75%），而 LLM 撰写邮件的错误相对较少（例如 30%）。

优先级：首先改进 LLM 编写查询的方式，随后改进撰写最终邮件的提示词。