From da5b2fc20358202091a5d3b6022a182fceb6f1ad Mon Sep 17 00:00:00 2001 From: vincehe Date: Thu, 23 May 2024 10:20:12 +0000 Subject: [PATCH] GITBOOK-158: No subject --- zh_CN/SUMMARY.md | 3 +- zh_CN/guides/knowledge-base/README.md | 6 --- ... => ying-yong-nei-guan-lian-zhi-shi-ku.md} | 41 ++++++++++++++++++- .../zhao-hui-xiao-guo-jian-cha-xiang.md | 15 ------- 4 files changed, 40 insertions(+), 25 deletions(-) rename zh_CN/guides/knowledge-base/{ying-yong-guan-lian-zhi-shi-ku.md => ying-yong-nei-guan-lian-zhi-shi-ku.md} (58%) delete mode 100644 zh_CN/guides/knowledge-base/zhao-hui-xiao-guo-jian-cha-xiang.md diff --git a/zh_CN/SUMMARY.md b/zh_CN/SUMMARY.md index 4391562..a62c76f 100644 --- a/zh_CN/SUMMARY.md +++ b/zh_CN/SUMMARY.md @@ -61,11 +61,10 @@ * [知识库](guides/knowledge-base/README.md) * [创建知识库&上传文档](guides/knowledge-base/chuang-jian-zhi-shi-ku-shang-chuan-wen-dang.md) * [知识库管理&文档维护](guides/knowledge-base/zhi-shi-ku-guan-li-wen-dang-wei-hu.md) - * [应用关联知识库](guides/knowledge-base/ying-yong-guan-lian-zhi-shi-ku.md) + * [应用内关联知识库](guides/knowledge-base/ying-yong-nei-guan-lian-zhi-shi-ku.md) * [从 Notion 导入数据](guides/knowledge-base/sync-from-notion.md) * [通过 API 维护知识库](guides/knowledge-base/maintain-dataset-via-api.md) * [外部数据工具](guides/knowledge-base/external\_data\_tool.md) - * [召回效果检查项](guides/knowledge-base/zhao-hui-xiao-guo-jian-cha-xiang.md) * [工具](guides/gong-ju.md) * [快速接入工具](guides/tools/quick-tool-integration.md) * [高级接入工具](guides/tools/advanced-tool-integration.md) diff --git a/zh_CN/guides/knowledge-base/README.md b/zh_CN/guides/knowledge-base/README.md index b7b3951..9528124 100644 --- a/zh_CN/guides/knowledge-base/README.md +++ b/zh_CN/guides/knowledge-base/README.md @@ -26,9 +26,3 @@ Dify 的知识库功能将 RAG 管线上的各环节可视化，提供了一套 ### 知识库与文档 在 Dify 中，知识库（Knowledge）是一些文档（Documents）的集合。一个知识库可以被整体集成至一个应用中作为检索上下文使用。文档可以由开发者或运营人员上传，或由其它数据源同步（通常对应数据源中的一个文件单位）。 - -### FAQ - -**Q: 上传 PDF 解析乱码怎么办？** - -A: 如果你的 PDF 在特定格式内容下解析出现乱码的情况，可以考虑将 PDF 转成 Markdown 格式，或目前 Markdown 的准确度会更高，或减少 PDF 内的图片、表格等格式内容。对于 PDF 的使用体验我们正在研究优化方案。 diff --git a/zh_CN/guides/knowledge-base/ying-yong-guan-lian-zhi-shi-ku.md b/zh_CN/guides/knowledge-base/ying-yong-nei-guan-lian-zhi-shi-ku.md similarity index 58% rename from zh_CN/guides/knowledge-base/ying-yong-guan-lian-zhi-shi-ku.md rename to zh_CN/guides/knowledge-base/ying-yong-nei-guan-lian-zhi-shi-ku.md index 1b8a77e..653b306 100644 --- a/zh_CN/guides/knowledge-base/ying-yong-guan-lian-zhi-shi-ku.md +++ b/zh_CN/guides/knowledge-base/ying-yong-nei-guan-lian-zhi-shi-ku.md @@ -1,8 +1,8 @@ -# 应用关联知识库 +# 应用内关联知识库 ### 如何编排一个 AI 知识库应用 -已创建的知识库可以作为外部知识提供给大模型用于精确回复用户问题。你可以在 Dify 的[所有应用类型](../application-design/#application\_type)关联知识库。 +知识库可以作为外部知识提供给大模型用于精确回复用户问题。你可以在 Dify 的[所有应用类型](../application-design/#application\_type)内关联已创建的知识库。 以聊天助手为例，使用流程如下： @@ -61,3 +61,40 @@ N 选 1 召回由 Function Call/ReAct 进行驱动，每一个关联的知识 多路召回模式不依赖于模型的推理能力或知识库描述，该模式在多知识库检索时能够获得质量更高的召回效果，因此更推荐将召回模式设置为多路召回。 ### 重排序（Rerank） + +重排序模型通过将候选文档列表与用户问题语义匹配度进行重新排序，从而改进语义排序的结果。其原理是计算用户问题与给定的每个候选文档之间的相关性分数，并返回按相关性从高到低排序的文档列表。 + +

混合检索+重排序

+ +{% hint style="info" %} +想了解更多关于 Rerank 的相关知识，请查阅扩展阅读[重排序](ying-yong-nei-guan-lian-zhi-shi-ku.md#zhong-pai-xu-rerank)。 +{% endhint %} + +#### 如何配置 Rerank 模型？ + +Dify 目前已支持 Cohere Rerank 模型，通过进入“模型供应商-> Cohere”页面填入 Rerank 模型的 API 秘钥： + +

在模型供应商内配置 Cohere Rerank 模型

+ +如何获取 Cohere Rerank 模型？ + +登录：[https://cohere.com/rerank](https://cohere.com/rerank)，在页内注册并申请 Rerank 模型的使用资格，获取 API 秘钥。 + +{% hint style="info" %} +除了支持 Cohere Rerank API ，你也可以在使用本地推理框架如 Ollama、Xinference，并在推理框架内部署本地 Rerank 模型例如： bge-reranker。 +{% endhint %} + +#### 设置 Rerank 模型 + +通过进入“数据集->创建数据集->检索设置”页面并在添加 Rerank 设置。除了在创建数据集可以设置 Rerank ，你也可以在已创建的数据集设置内更改 Rerank 配置，在应用编排的数据集召回模式设置中更改 Rerank 配置。 + +

数据集检索模式中设置 Rerank 模型

+ +**TopK**：用于设置 Rerank 后返回相关文档的数量。 + +**Score 阈值**：用于设置 Rerank 后返回相关文档的最低分值。设置 Rerank 模型后，TopK 和 Score 阈值设置仅在 Rerank 步骤生效。 + +通过进入“提示词编排->上下文->设置”页面中设置为多路召回模式时需开启 Rerank 模型。 + +

数据集多路召回模式中设置 Rerank 模型

+ diff --git a/zh_CN/guides/knowledge-base/zhao-hui-xiao-guo-jian-cha-xiang.md b/zh_CN/guides/knowledge-base/zhao-hui-xiao-guo-jian-cha-xiang.md deleted file mode 100644 index 7b23c57..0000000 --- a/zh_CN/guides/knowledge-base/zhao-hui-xiao-guo-jian-cha-xiang.md +++ /dev/null @@ -1,15 +0,0 @@ -# 召回效果检查项 - -🚧 维护中 - -### 数据 ETL 检查点 - -* [检查分段质量](zhi-shi-ku-guan-li-wen-dang-wei-hu.md#jian-cha-fen-duan-zhi-liang) - -### 数据检索检查点 - -* [检查召回效果](zhi-shi-ku-guan-li-wen-dang-wei-hu.md#jian-cha-zhao-hui-xiao-guo) - -### 应用端检查点 - -*