5.2 创建与执行LLM计划
讲解如何利用结构化输出来保证LLM生成的计划能够被下游代码可靠地执行。
5.2 创建与执行LLM计划
在规划模式中,如何利用结构化输出来保证 LLM 生成的计划能够被下游代码可靠地执行,是非常重要的。
在上一讲中,我们让LLM直接讲出自己的任务规划,但自然语言不够清晰和明确,难以被下游代码稳定地解析和执行。所以在本节中,我们要求 LLM 以结构化格式(如 JSON 或 XML)输出计划。
结构化格式能够清楚地界定计划的步骤、所需工具及其参数,从而允许下游代码更可靠地解析 (parse) 计划的每个步骤,从而系统性地、一步一步地执行。
为了实现结构化输出,开发者应该这样写 LLM 指示词:“你可以访问以下工具,并需要以 JSON 格式创建一个分步计划”,同时详细描述所需的 JSON 结构。
LLM 会返回一个 JSON 列表,列表中的每个对象代表一个步骤,包含清晰的键值:
description(步骤描述)tool(要调用的工具名称)arguments(传递给工具的参数)
这样一来,我们只要接收LLM的字符串输出,转化为JSON格式,并提取参数,执行对应函数即可。这样的解析器编写起来非常方便。