GITBOOK-88: No subject
|
After Width: | Height: | Size: 141 KiB |
|
Before Width: | Height: | Size: 141 KiB After Width: | Height: | Size: 36 KiB |
|
Before Width: | Height: | Size: 36 KiB After Width: | Height: | Size: 587 KiB |
|
Before Width: | Height: | Size: 587 KiB After Width: | Height: | Size: 441 KiB |
|
Before Width: | Height: | Size: 441 KiB After Width: | Height: | Size: 295 KiB |
|
Before Width: | Height: | Size: 295 KiB After Width: | Height: | Size: 10 MiB |
|
Before Width: | Height: | Size: 10 MiB After Width: | Height: | Size: 446 KiB |
|
After Width: | Height: | Size: 94 KiB |
|
Before Width: | Height: | Size: 94 KiB After Width: | Height: | Size: 496 KiB |
|
Before Width: | Height: | Size: 496 KiB After Width: | Height: | Size: 325 KiB |
|
After Width: | Height: | Size: 270 KiB |
|
Before Width: | Height: | Size: 270 KiB After Width: | Height: | Size: 496 KiB |
|
Before Width: | Height: | Size: 496 KiB After Width: | Height: | Size: 427 KiB |
|
After Width: | Height: | Size: 211 KiB |
|
Before Width: | Height: | Size: 211 KiB After Width: | Height: | Size: 479 KiB |
|
Before Width: | Height: | Size: 479 KiB After Width: | Height: | Size: 544 KiB |
|
After Width: | Height: | Size: 111 KiB |
|
Before Width: | Height: | Size: 111 KiB After Width: | Height: | Size: 479 KiB |
|
Before Width: | Height: | Size: 479 KiB After Width: | Height: | Size: 544 KiB |
|
After Width: | Height: | Size: 418 KiB |
|
Before Width: | Height: | Size: 418 KiB After Width: | Height: | Size: 475 KiB |
|
Before Width: | Height: | Size: 475 KiB After Width: | Height: | Size: 10 MiB |
|
After Width: | Height: | Size: 193 KiB |
|
Before Width: | Height: | Size: 193 KiB After Width: | Height: | Size: 415 KiB |
|
Before Width: | Height: | Size: 415 KiB After Width: | Height: | Size: 295 KiB |
|
Before Width: | Height: | Size: 295 KiB After Width: | Height: | Size: 319 KiB |
|
Before Width: | Height: | Size: 319 KiB After Width: | Height: | Size: 493 KiB |
|
After Width: | Height: | Size: 88 KiB |
|
Before Width: | Height: | Size: 88 KiB After Width: | Height: | Size: 295 KiB |
|
Before Width: | Height: | Size: 295 KiB After Width: | Height: | Size: 187 KiB |
|
Before Width: | Height: | Size: 187 KiB After Width: | Height: | Size: 497 KiB |
|
After Width: | Height: | Size: 183 KiB |
|
Before Width: | Height: | Size: 183 KiB After Width: | Height: | Size: 356 KiB |
|
Before Width: | Height: | Size: 356 KiB After Width: | Height: | Size: 301 KiB |
|
Before Width: | Height: | Size: 301 KiB After Width: | Height: | Size: 445 KiB |
|
After Width: | Height: | Size: 57 KiB |
|
Before Width: | Height: | Size: 57 KiB After Width: | Height: | Size: 344 KiB |
|
Before Width: | Height: | Size: 344 KiB After Width: | Height: | Size: 539 KiB |
|
After Width: | Height: | Size: 284 KiB |
|
Before Width: | Height: | Size: 284 KiB After Width: | Height: | Size: 307 KiB |
|
Before Width: | Height: | Size: 307 KiB After Width: | Height: | Size: 597 KiB |
|
After Width: | Height: | Size: 77 KiB |
|
Before Width: | Height: | Size: 77 KiB After Width: | Height: | Size: 296 KiB |
|
Before Width: | Height: | Size: 296 KiB After Width: | Height: | Size: 597 KiB |
|
After Width: | Height: | Size: 345 KiB |
|
Before Width: | Height: | Size: 345 KiB After Width: | Height: | Size: 370 KiB |
|
Before Width: | Height: | Size: 370 KiB After Width: | Height: | Size: 519 KiB |
|
After Width: | Height: | Size: 177 KiB |
|
Before Width: | Height: | Size: 177 KiB After Width: | Height: | Size: 532 KiB |
|
Before Width: | Height: | Size: 532 KiB After Width: | Height: | Size: 344 KiB |
|
Before Width: | Height: | Size: 10 MiB After Width: | Height: | Size: 516 KiB |
|
|
@ -17,6 +17,7 @@
|
|||
* [创建应用](guides/application-design/creating-an-application.md)
|
||||
* [提示词编排](guides/application-design/prompt-engineering/README.md)
|
||||
* [助手型应用](guides/application-design/prompt-engineering/conversation-application.md)
|
||||
* [智能助手(Agent)](guides/application-design/prompt-engineering/zhi-neng-zhu-shou-agent.md)
|
||||
* [文本生成型应用](guides/application-design/prompt-engineering/text-generation-application.md)
|
||||
* [提示词编排专家模式](guides/application-design/prompt-engineering/prompt-engineering-1/README.md)
|
||||
* [提示词初始模版参考](guides/application-design/prompt-engineering/prompt-engineering-1/prompt-engineering-template.md)
|
||||
|
|
|
|||
|
|
@ -23,7 +23,7 @@
|
|||
|
||||
通过进入“应用构建->添加功能”开启标注回复开关:
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (9).png" alt=""><figcaption><p>提示词编排中开启标注回复</p></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (9) (1).png" alt=""><figcaption><p>提示词编排中开启标注回复</p></figcaption></figure>
|
||||
|
||||
开启时需要先设置标注回复的参数,可设置参数包括:Score 阈值 和 Embedding 模型
|
||||
|
||||
|
|
@ -33,17 +33,17 @@
|
|||
|
||||
点击保存并启用时,该设置会立即生效,系统将对所有已保存的标注利用 Embedding 模型生成嵌入保存。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (11).png" alt=""><figcaption><p>标注回复参数设置</p></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (11) (1).png" alt=""><figcaption><p>标注回复参数设置</p></figcaption></figure>
|
||||
|
||||
### 在会话调试页添加标注
|
||||
|
||||
你可以在调试与预览页面直接在模型回复信息上添加或编辑标注。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (13).png" alt=""><figcaption><p>添加标注回复</p></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (13) (1).png" alt=""><figcaption><p>添加标注回复</p></figcaption></figure>
|
||||
|
||||
编辑成你需要的高质量回复并保存。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (14).png" alt=""><figcaption><p>编辑标注回复</p></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (14) (1).png" alt=""><figcaption><p>编辑标注回复</p></figcaption></figure>
|
||||
|
||||
再次输入同样的用户问题,系统将使用已保存的标注直接回复用户问题。
|
||||
|
||||
|
|
@ -53,7 +53,7 @@
|
|||
|
||||
通过进入“应用构建->日志与标注->标注”开启标注回复开关:
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (3) (1).png" alt=""><figcaption><p>日志与标注中开启标注回复</p></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (3) (1) (1).png" alt=""><figcaption><p>日志与标注中开启标注回复</p></figcaption></figure>
|
||||
|
||||
### 在标注后台设置标注回复参数
|
||||
|
||||
|
|
@ -63,22 +63,22 @@
|
|||
|
||||
**Embedding 模型**:用于对标注文本进行向量化,切换模型时会重新生成嵌入。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (4) (1).png" alt=""><figcaption><p>设置标注回复参数</p></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (4) (1) (1).png" alt=""><figcaption><p>设置标注回复参数</p></figcaption></figure>
|
||||
|
||||
### 批量导入标注问答对
|
||||
|
||||
在批量导入功能内,你可以下载标注导入模板,按模版格式编辑标注问答对,编辑好后在此批量导入。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (5).png" alt=""><figcaption><p>批量导入标注问答对</p></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (5) (1).png" alt=""><figcaption><p>批量导入标注问答对</p></figcaption></figure>
|
||||
|
||||
### 批量导出标注问答对
|
||||
|
||||
通过标注批量导出功能,你可以一次性导出系统内已保存的所有标注问答对。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (6).png" alt=""><figcaption><p>批量导出标注问答对</p></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (6) (1).png" alt=""><figcaption><p>批量导出标注问答对</p></figcaption></figure>
|
||||
|
||||
### 查看标注回复命中历史
|
||||
|
||||
在标注命中历史功能内,你可以查看所有命中该条标注的编辑历史、命中的用户问题、回复答案、命中来源、匹配相似分数、命中时间等信息,你可以根据这些系统信息持续改进你的标注内容。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (8).png" alt=""><figcaption><p>查看标注回复命中历史</p></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (8) (1).png" alt=""><figcaption><p>查看标注回复命中历史</p></figcaption></figure>
|
||||
|
|
|
|||
|
|
@ -1,4 +1,4 @@
|
|||
# 对话型应用
|
||||
# 助手型应用
|
||||
|
||||
对话型应用采用一问一答模式与用户持续对话。
|
||||
|
||||
|
|
@ -16,13 +16,13 @@
|
|||
|
||||
在首页点击 “创建应用” 按钮创建应用。填上应用名称,应用类型选择**对话型应用**。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (43).png" alt=""><figcaption><p>创建应用</p></figcaption></figure>
|
||||
<figure><img src="../../../.gitbook/assets/image (9).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
#### 第 2 步 编排应用
|
||||
|
||||
应用成功后会自动跳转到应用概览页。点击左侧菜单:**提示词编排** 来编排应用。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (29).png" alt=""><figcaption><p>编排应用</p></figcaption></figure>
|
||||
<figure><img src="../../../.gitbook/assets/image (10).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
**2.1 填写提示词**
|
||||
|
||||
|
|
|
|||
|
|
@ -0,0 +1,61 @@
|
|||
# 智能助手(Agent)
|
||||
|
||||
### 定义
|
||||
|
||||
智能助手(Agent Assistant),利用大语言模型的推理能力,能够自主对复杂的人类任务进行目标规划、任务拆解、工具调用、过程迭代,并在没有人类干预的情况下完成任务。
|
||||
|
||||
### 如何使用智能助手
|
||||
|
||||
为了方便快速上手使用,您可以在“探索”中找到智能助手的应用模板,添加到自己的工作区,或者在此基础上进行自定义。在全新的 Dify 工作室中,你也可以从零编排一个专属于你自己的智能助手,帮助你完成财务报表分析、撰写报告、Logo 设计、旅程规划等任务。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (1).png" alt=""><figcaption><p>探索-智能助手应用模板</p></figcaption></figure>
|
||||
|
||||
在“工作室-助手型应用”内选择智能助手即可开始编排。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image.png" alt=""><figcaption><p>工作室-构建智能助手</p></figcaption></figure>
|
||||
|
||||
选择智能助手的推理模型,智能助手的任务完成能力取决于模型推理能力,我们建议在使用智能助手时选择推理能力更强的模型系列如 gpt-4 以获得更稳定的任务完成效果。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (5).png" alt=""><figcaption><p>选择智能助手的推理模型</p></figcaption></figure>
|
||||
|
||||
你可以在“提示词”中编写智能助手的指令,为了能够达到更优的预期效果,你可以在指令中明确它的任务目标、工作流程、资源和限制等。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (2).png" alt=""><figcaption><p>编排智能助手的指令提示词</p></figcaption></figure>
|
||||
|
||||
### 添加助手需要的工具
|
||||
|
||||
在“上下文”中,你可以添加智能助手可以用于查询的知识库工具,这将帮助它获取外部背景知识。
|
||||
|
||||
在“工具”中,你可以添加需要使用的工具。工具可以扩展 LLM 的能力,比如联网搜索、科学计算或绘制图片,赋予并增强了 LLM 连接外部世界的能力。Dify 提供了两种工具类型:**第一方工具**和**自定义工具**。
|
||||
|
||||
你可以直接使用 Dify 生态提供的第一方内置工具,或者轻松导入自定义的 API 工具(目前支持 OpenAPI / Swagger 和 OpenAI Plugin 规范)。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (3).png" alt=""><figcaption><p>添加助手需要的工具</p></figcaption></figure>
|
||||
|
||||
工具使用户可以在 Dify 上创建更强大的 AI 应用,如你可以为智能助理型应用(Agent)编排合适的工具,它可以通过任务推理、步骤拆解、调用工具完成复杂任务。另外工具也可以方便将你的应用与其他系统或服务连接,与外部环境交互,如代码执行、对专属信息源的访问等。
|
||||
|
||||
### 配置 Agent
|
||||
|
||||
在 Dify 上为智能助手提供了 Function calling(函数调用)和 ReAct 两种推理模式。已支持 Function Call 的模型系列如 gpt-3.5/gpt-4 拥有效果更佳、更稳定的表现,尚未支持 Function calling 的模型系列,我们支持了 ReAct 推理框架实现类似的效果。
|
||||
|
||||
在 Agent 配置中,你可以修改助手的迭代次数限制。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (11).png" alt=""><figcaption><p>Function Calling 模式</p></figcaption></figure>
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (13).png" alt=""><figcaption><p>ReAct 模式</p></figcaption></figure>
|
||||
|
||||
### 配置对话开场白
|
||||
|
||||
您可以为智能助手配置一套会话开场白和开场问题,配置的对话开场白将在每次用户初次对话中展示助手可以完成什么样的任务,以及可以提出的问题示例。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (4).png" alt=""><figcaption><p>配置会话开场白和开场问题</p></figcaption></figure>
|
||||
|
||||
### 调试与预览
|
||||
|
||||
编排完智能助手之后,你可以在发布成应用之前进行调试与预览,查看助手的任务完成效果。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (7).png" alt=""><figcaption><p>调试与预览</p></figcaption></figure>
|
||||
|
||||
### 应用发布
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (8).png" alt=""><figcaption><p>应用发布为 Webapp</p></figcaption></figure>
|
||||
|
|
@ -37,11 +37,11 @@ Notion集成分为**内部集成**(internal integration)和**外部集成**
|
|||
|
||||
点击“**New integration**”按钮,类型默认是 **Internal**(不可修改),选择关联的空间,输入集成名称并上传 logo 后,点击“Submit”,集成创建成功。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (2) (1) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (2) (1) (1) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
创建集成后,您可以根据需要在 Capabilities 选项卡下更新其设置,并在 Secrets 下点击 “Show” 按钮然后复制 Secrets。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (3) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (3) (1) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
复制后回到 Dify 源代码下,在 **.env** 文件里配置相关环境变量,环境变量如下:
|
||||
|
||||
|
|
@ -53,7 +53,7 @@ Notion集成分为**内部集成**(internal integration)和**外部集成**
|
|||
|
||||
**需要将 internal 集成升级为 public 集成**,导航到集成的 Distribution 页面,然后切换开关以公开集成。将开关切换到公共设置,您需要在下面的 Organization Information 表单中填写其他信息,包括您的公司名称、网站和重定向 URL 等信息,然后点击“Submit”按钮。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (6) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (6) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
在集成的设置页面中成功公开集成后,您将能够在密钥选项卡中访问集成的密钥:
|
||||
|
||||
|
|
|
|||
|
|
@ -6,16 +6,16 @@ Dify 目前已支持主流的模型供应商,例如 OpenAI 的 GPT 系列、An
|
|||
|
||||
在 Dify 中,我们按模型的使用场景将模型分为以下 4 类:
|
||||
|
||||
1. **系统推理模型。**在创建的应用中,用的是该类型的模型。智聊、对话名称生成、下一步问题建议用的也是推理模型。
|
||||
1. \*\*系统推理模型。\*\*在创建的应用中,用的是该类型的模型。智聊、对话名称生成、下一步问题建议用的也是推理模型。
|
||||
|
||||
> 已支持的系统推理模型供应商:[OpenAI](https://platform.openai.com/account/api-keys)、[Azure OpenAI Service](https://azure.microsoft.com/en-us/products/ai-services/openai-service/)、[Anthropic](https://console.anthropic.com/account/keys)、Hugging Face Hub、Replicate、Xinference、OpenLLM、[讯飞星火](https://www.xfyun.cn/solutions/xinghuoAPI)、[文心一言](https://console.bce.baidu.com/qianfan/ais/console/applicationConsole/application)、[通义千问](https://dashscope.console.aliyun.com/api-key\_management?spm=a2c4g.11186623.0.0.3bbc424dxZms9k)、[Minimax](https://api.minimax.chat/user-center/basic-information/interface-key)、ZHIPU(ChatGLM)
|
||||
2. **Embedding 模型。**在数据集中,将分段过的文档做 Embedding 用的是该类型的模型。在使用了数据集的应用中,将用户的提问做 Embedding 处理也是用的该类型的模型。
|
||||
2. \*\*Embedding 模型。\*\*在数据集中,将分段过的文档做 Embedding 用的是该类型的模型。在使用了数据集的应用中,将用户的提问做 Embedding 处理也是用的该类型的模型。
|
||||
|
||||
> 已支持的 Embedding 模型供应商:OpenAI、ZHIPU(ChatGLM)、JinaAI
|
||||
3. [**Rerank 模型**](https://docs.dify.ai/v/zh-hans/advanced/retrieval-augment/rerank)**。Rerank 模型用于增强检索能力,改善 LLM 的搜索结果。**
|
||||
|
||||
> 已支持的 Rerank 模型供应商:Cohere
|
||||
4. **语音转文字模型。**将对话型应用中,将语音转文字用的是该类型的模型。
|
||||
4. \*\*语音转文字模型。\*\*将对话型应用中,将语音转文字用的是该类型的模型。
|
||||
|
||||
> 已支持的语音转文字模型供应商:OpenAI
|
||||
|
||||
|
|
@ -25,13 +25,13 @@ Dify 目前已支持主流的模型供应商,例如 OpenAI 的 GPT 系列、An
|
|||
|
||||
我们为 Dify 云服务的用户提供了不同模型的试用额度,请在该额度耗尽前设置你自己的模型供应商,否则将会影响应用的正常使用。
|
||||
|
||||
* **OpenAI 托管模型试用:** 我们提供 200 次调用次数供你试用体验,可用于 GPT3.5-turbo、GPT3.5-turbo-16k、text-davinci-003 模型。
|
||||
* **OpenAI 托管模型试用:** 我们提供 200 次调用次数供你试用体验,可用于 GPT3.5-turbo、GPT3.5-turbo-16k、text-davinci-003 模型。
|
||||
|
||||
### 设置默认模型
|
||||
|
||||
Dify 在需要模型时,会根据使用场景来选择设置过的默认模型。在 `设置 > 模型供应商` 中设置默认模型。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (2).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (2) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
### 接入模型设置
|
||||
|
||||
|
|
|
|||
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
Dify 支持 Text-Generation 和 Embeddings,以下是与之对应的 Hugging Face 模型类型:
|
||||
|
||||
* Text-Generation:[text-generation](https://huggingface.co/models?pipeline\_tag=text-generation\&sort=trending),[text2text-generation](https://huggingface.co/models?pipeline\_tag=text2text-generation\&sort=trending) 
|
||||
* Text-Generation:[text-generation](https://huggingface.co/models?pipeline\_tag=text-generation\&sort=trending),[text2text-generation](https://huggingface.co/models?pipeline\_tag=text2text-generation\&sort=trending)
|
||||
* Embeddings:[feature-extraction](https://huggingface.co/models?pipeline\_tag=feature-extraction\&sort=trending)
|
||||
|
||||
具体步骤如下:
|
||||
|
|
@ -11,7 +11,7 @@ Dify 支持 Text-Generation 和 Embeddings,以下是与之对应的 Hugging Fa
|
|||
2. 设置 Hugging Face 的 API key([获取地址](https://huggingface.co/settings/tokens))。
|
||||
3. 进入 [Hugging Face 模型列表页](https://huggingface.co/models),选择对应的模型类型。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (14) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (14) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
Dify 支持用两种方式接入 Hugging Face 上的模型:
|
||||
|
||||
|
|
@ -24,11 +24,11 @@ Dify 支持用两种方式接入 Hugging Face 上的模型:
|
|||
|
||||
模型详情页右侧有包含 Hosted inference API 的 区域才支持 Hosted inference API 。如下图所:
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (7) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (7) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
在模型详情页,可以获得模型的名称。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (8) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (8) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
#### 2 在 Dify 中使用接入模型
|
||||
|
||||
|
|
@ -44,17 +44,17 @@ API Token 为文章开头设置的 API Key。模型名字为上一步获得的
|
|||
|
||||
模型详情页右侧的 `Deploy` 按钮下有 Inference Endpoints 选项的模型才支持 Inference Endpoint。如下图所示:
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (10) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (10) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
#### 2 部署模型
|
||||
|
||||
点击模型的部署按钮,选择 Inference Endpoint 选项。如果之前没绑过银行卡的,会需要绑卡。按流程走即可。绑过卡后,会出现下面的界面:按需求修改配置,点击左下角的 Create Endpoint 来创建 Inference Endpoint。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (11) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (11) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
模型部署好后,就可以看到 Endpoint URL。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (13) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (13) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
#### 3 在 Dify 中使用接入模型
|
||||
|
||||
|
|
|
|||
|
|
@ -9,8 +9,8 @@ Dify 支持接入 Replicate 上的 [Language models](https://replicate.com/colle
|
|||
3. 挑选模型。在 [Language models](https://replicate.com/collections/language-models) 和 [Embedding models](https://replicate.com/collections/embedding-models) 下挑选模型。
|
||||
4. 在 Dify 的 `设置 > 模型供应商 > Replicate` 中添加模型。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (4) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (4) (1) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
API key 为第 2 步中设置的 API Key。Model Name 和 Model Version 可以在模型详情页中找到:
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (5) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (5) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
|
|
|||
|
|
@ -18,8 +18,7 @@
|
|||
|
||||
重排序并不是搜索技术的替代品,而是一种用于增强现有检索系统的辅助工具。**它最大的优势是不仅提供了一种简单且低复杂度的方法来改善搜索结果,允许用户将语义相关性纳入现有的搜索系统中,而且无需进行重大的基础设施修改。**
|
||||
|
||||
以 Cohere Rerank 为例,你只需要注册账户和申请 API ,接入只需要两行代码。另外,他们也提供了多语言模型,也就是说你可以将不同语言的文本查询结果进行一次性排序。\
|
||||
|
||||
以 Cohere Rerank 为例,你只需要注册账户和申请 API ,接入只需要两行代码。另外,他们也提供了多语言模型,也就是说你可以将不同语言的文本查询结果进行一次性排序。\\
|
||||
|
||||
### 如何配置 Rerank 模型?
|
||||
|
||||
|
|
@ -39,12 +38,11 @@ Dify 目前已支持 Cohere Rerank 模型,通过进入“模型供应商-> Coh
|
|||
|
||||
通过进入“数据集->创建数据集->检索设置”页面并在添加 Rerank 设置。除了在创建数据集可以设置 Rerank ,你也可以在已创建的数据集设置内更改 Rerank 配置,在应用编排的数据集召回模式设置中更改 Rerank 配置。
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (1) (1) (1).png" alt="" width="563"><figcaption><p>数据集检索模式中设置 Rerank 模型</p></figcaption></figure>
|
||||
<figure><img src="../../../.gitbook/assets/image (1) (1) (1) (1).png" alt="" width="563"><figcaption><p>数据集检索模式中设置 Rerank 模型</p></figcaption></figure>
|
||||
|
||||
**TopK:**用于设置 Rerank 后返回相关文档的数量。
|
||||
|
||||
**Score 阈值:**用于设置 Rerank 后返回相关文档的最低分值。设置 Rerank 模型后,TopK 和 Score 阈值设置仅在 Rerank 步骤生效。\
|
||||
\*\*TopK:\*\*用于设置 Rerank 后返回相关文档的数量。
|
||||
|
||||
\*\*Score 阈值:\*\*用于设置 Rerank 后返回相关文档的最低分值。设置 Rerank 模型后,TopK 和 Score 阈值设置仅在 Rerank 步骤生效。\\
|
||||
|
||||
### 数据集多路召回模式中设置 Rerank 模型
|
||||
|
||||
|
|
@ -52,4 +50,4 @@ Dify 目前已支持 Cohere Rerank 模型,通过进入“模型供应商-> Coh
|
|||
|
||||
关于多路召回模式的说明:🔗
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (1) (1) (1) (1).png" alt=""><figcaption><p>数据集多路召回模式中设置 Rerank 模型</p></figcaption></figure>
|
||||
<figure><img src="../../../.gitbook/assets/image (1) (1) (1) (1) (1).png" alt=""><figcaption><p>数据集多路召回模式中设置 Rerank 模型</p></figcaption></figure>
|
||||
|
|
|
|||
|
|
@ -16,8 +16,7 @@
|
|||
|
||||
因此,在查询数据集过多,或者数据集描述差异较小时,该模式的保证召回的效果会受到影响。该模式更适用于数据集数量较少的应用。
|
||||
|
||||
提示:OpenAI Function Call 已支持多个工具调用,Dify 将在后续版本中升级该模式为 “N选M召回” 。\
|
||||
|
||||
提示:OpenAI Function Call 已支持多个工具调用,Dify 将在后续版本中升级该模式为 “N选M召回” 。\\
|
||||
|
||||
### 多路召回模式
|
||||
|
||||
|
|
@ -27,11 +26,11 @@
|
|||
|
||||
以下是多路召回模式的技术流程图:
|
||||
|
||||
<figure><img src="../../../.gitbook/assets/image (2) (1) (1).png" alt=""><figcaption><p>多路召回</p></figcaption></figure>
|
||||
<figure><img src="../../../.gitbook/assets/image (2) (1) (1) (1).png" alt=""><figcaption><p>多路召回</p></figcaption></figure>
|
||||
|
||||
由于多路召回模式不依赖于模型的推理能力或数据集描述,该模式在多数据集检索时能够获得质量更高的召回效果,除此之外加入 Rerank 步骤也能有效改进文档召回效果。因此,当创建的知识库问答应用关联了多个数据集时,我们更推荐将召回模式配置为多路召回。\
|
||||
\
|
||||
\
|
||||
\
|
||||
\
|
||||
\
|
||||
\\
|
||||
|
|
|
|||
|
|
@ -38,7 +38,7 @@ Dify 支持 OpenAI 的自定义 API 域名能力,支持任何兼容 OpenAI 的
|
|||
|
||||
我们联合大模型厂商向中国用户提供一定的 token 体验额度。通过 Dify \*\*设置 --> 模型供应商 --> 显示更多模型供应商。\*\*在智谱·AI、讯飞星火或 MiniMax 图标处点击【免费获取】,如果你在英文界面看不到领取入口,请将产品语言切换成为中文:
|
||||
|
||||
* **智谱·AI: 免费领取 1000 万 token,**点击【免费领取】,只需输入手机号及验证码,即可到账额度,不限制是否注册过智谱·AI。
|
||||
* \*\*智谱·AI: 免费领取 1000 万 token,\*\*点击【免费领取】,只需输入手机号及验证码,即可到账额度,不限制是否注册过智谱·AI。
|
||||
* **讯飞星火 (V1.5 模型、V2.0 模型):免费领取 600 万token,V1.5 模型、V2.0 模型各 300 万 token,额度不互通**,需要从 Dify 的入口进入,完成讯飞星火开放平台的注册(仅限未注册过讯飞星火的手机号),返回 Dify 静候 5 分钟,刷新页面即可在 Dify 页面体现可用额度。
|
||||
* **MiniMax:免费领取 100 万 token**,只需点击【免费领取】即可到账额度,无需手动注册流程,不限制是否注册过 MiniMax 账号。
|
||||
|
||||
|
|
@ -125,7 +125,7 @@ Query or prefix prompt is too long, you can reduce the preix prompt, or shrink t
|
|||
|
||||
如下方表格示例,仅需保留第二行的表头,首行(表格1)为多余表头,需删掉。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (1) (1) (1) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
<figure><img src="../../.gitbook/assets/image (1) (1) (1) (1) (1) (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
### 20 买了 ChatGPT plus,为什么在 dify 里还不能使用 GPT4?
|
||||
|
||||
|
|
|
|||