3.9 KiB
LLM
定义
调用大语言模型回答问题或者对自然语言进行处理。
场景
LLM 是 Chatflow/Workflow 的核心节点，利用大语言模型的对话/生成/分类/处理等能力，根据给定的提示词处理广泛的任务类型，并能够在工作流的不同环节使用。
- 意图识别，在客服对话情景中，对用户问题进行意图识别和分类，导向下游不同的流程。
- 文本生成，在文章生成情景中，作为内容生成的节点，根据主题、关键词生成符合的文本内容。
- 内容分类，在邮件批处理情景中，对邮件的类型进行自动化分类，如咨询/投诉/垃圾邮件。
- 文本转换，在文本翻译情景中，将用户提供的文本内容翻译成指定语言。
- 代码生成，在辅助编程情景中，根据用户的要求生成指定的业务代码，编写测试用例。
- RAG，在知识库问答情景中，将检索到的相关知识和用户问题重新组织回复问题。
- **图片理解，**使用 vision 能力的多模态模型，能对图像内的信息进行理解和问答。
选择合适的模型，编写提示词，你可以在 Chatflow/Workflow 中构建出强大、可靠的解决方案。
如何配置
配置 LLM 节点主要包括两个部分：
- 选择模型
- 编写系统提示词
配置模型
在选择适合任务的模型之前，你需要在「系统设置—模型供应商」内完成模型配置。具体配置方式可以参考模型配置说明。选择好模型后可以对模型参数进行配置。
编写提示词
在 LLM 节点内，你可以自定义模型输入的提示词。如果选择对话型模型，你可以自定义系统提示词/用户消息/助手消息三部分的内容。
以知识库问答情景为例，在「上下文」中关联知识库检索节点的「结果」变量后，在提示词中插入「上下文」特殊变量即可将从知识库从检索到的文本内容作为模型输入的上下文背景信息。
在提示词编辑器中，你可以通过输入“/”或者“{”呼出变量插入菜单，将特殊变量块或者前置流程节点中的变量插入到提示词中作为上下文内容。
如果选择补全型模型，系统预置了提示词模板用于实现对话型应用，你可以自定义提示词的内容，在提示词合适的位置内输入“/”或者“{”插入特殊变量块：「会话历史」「上下文」来实现更丰富的会话功能。
记忆开关设置
在对话型应用（Chatflow）中，LLM 节点会默认开启系统记忆设置，在多轮对话场景中，系统会将历史对话消息存储并在对话中传入模型。
在工作流应用（Workflow）中默认关闭系统记忆，且未提供记忆设置的选项。
记忆窗口设置
若关闭记忆窗口设置，系统将根据模型上下文窗口动态传入历史对话消息。开启记忆窗口设置后，你可以根据需求配置窗口传入历史对话消息的条数。
对话角色名设置
由于模型在训练阶段的差异，不同模型对于角色名的指令遵循程度不同，如 Human/Assistant，Human/AI，人类/助手等等。为适配多模型的提示响应效果，系统提供了对话角色名的设置，修改对话角色名将会修改会话历史的角色前缀。