From 9ee40e596c466336c33ae018fdd108b21bda6db1 Mon Sep 17 00:00:00 2001 From: vincehe Date: Wed, 22 May 2024 15:51:04 +0000 Subject: [PATCH] GITBOOK-147: No subject --- zh_CN/SUMMARY.md | 3 ++- .../ying-yong-gong-ju-xiang/README.md | 3 +++ .../{ => ying-yong-gong-ju-xiang}/moderation-tool.md | 12 ++++++------ 3 files changed, 11 insertions(+), 7 deletions(-) create mode 100644 zh_CN/guides/application-design/ying-yong-gong-ju-xiang/README.md rename zh_CN/guides/application-design/{ => ying-yong-gong-ju-xiang}/moderation-tool.md (70%) diff --git a/zh_CN/SUMMARY.md b/zh_CN/SUMMARY.md index f034f7e..22e849e 100644 --- a/zh_CN/SUMMARY.md +++ b/zh_CN/SUMMARY.md @@ -32,7 +32,8 @@ * [提示词编排](guides/application-design/prompt-engineering/README.md) * [提示词专家模式(已下线)](guides/application-design/prompt-engineering/prompt-engineering-1/README.md) * [提示词初始模版参考](guides/application-design/prompt-engineering/prompt-engineering-1/prompt-engineering-template.md) - * [敏感内容审查](guides/application-design/moderation-tool.md) + * [应用工具箱](guides/application-design/ying-yong-gong-ju-xiang/README.md) + * [敏感内容审查](guides/application-design/ying-yong-gong-ju-xiang/moderation-tool.md) * [工作流](guides/workflow/README.md) * [基本介绍](guides/workflow/introduce.md) * [关键概念](guides/workflow/key\_concept.md) diff --git a/zh_CN/guides/application-design/ying-yong-gong-ju-xiang/README.md b/zh_CN/guides/application-design/ying-yong-gong-ju-xiang/README.md new file mode 100644 index 0000000..c9180fb --- /dev/null +++ b/zh_CN/guides/application-design/ying-yong-gong-ju-xiang/README.md @@ -0,0 +1,3 @@ +# 应用工具箱 + +🚧 维护中 diff --git a/zh_CN/guides/application-design/moderation-tool.md b/zh_CN/guides/application-design/ying-yong-gong-ju-xiang/moderation-tool.md similarity index 70% rename from zh_CN/guides/application-design/moderation-tool.md rename to zh_CN/guides/application-design/ying-yong-gong-ju-xiang/moderation-tool.md index 0e7adbd..9bab843 100644 --- a/zh_CN/guides/application-design/moderation-tool.md +++ b/zh_CN/guides/application-design/ying-yong-gong-ju-xiang/moderation-tool.md @@ -2,26 +2,26 @@ 我们在与 AI 应用交互的过程中,往往在内容安全性,用户体验,法律法规等方面有较为苛刻的要求,此时我们需要“敏感词审查”功能,来为终端用户创造一个更好的交互环境。 在提示词编排页面,点击“添加功能”,找到底部的工具箱“内容审核”: -

Content moderation

+

Content moderation

### 功能一:调用 OpenAI Moderation API OpenAI 和大多数 LLM 公司提供的模型,都带有内容审查功能,确保不会输出包含有争议的内容,比如暴力,性和非法行为,并且 OpenAI 还开放了这种内容审查能力,具体可以参考 [platform.openai.com](https://platform.openai.com/docs/guides/moderation/overview) 。现在你也可以直接在 Dify 上调用 OpenAI Moderation API,你可以审核输入内容或输出内容,只要输入对应的“预设回复”即可。 -

OpenAI Moderation API

+

OpenAI Moderation API

### 功能二:自定义关键词 开发者可以自定义需要审查的敏感词,比如把“kill”作为关键词,在用户输入的时候作审核动作,要求预设回复内容为“The content is violating usage policies.”可以预见的结果是当用户在终端输入包含“kill”的语料片段,就会触发敏感词审查工具,返回预设回复内容。 -

Keywords

+

Keywords

### 功能三: 敏感词审查 Moderation 扩展 -不同的企业内部往往有着不同的敏感词审查机制,企业在开发自己的 AI 应用如企业内部知识库 ChatBot,需要对员工输入的查询内容作敏感词审查。为此,开发者可以根据自己企业内部的敏感词审查机制写一个 API 扩展,具体可参考 [moderation.md](../extension/api\_based\_extension/moderation.md "mention"),从而在 Dify 上调用,实现敏感词审查的高度自定义和隐私保护。 +不同的企业内部往往有着不同的敏感词审查机制,企业在开发自己的 AI 应用如企业内部知识库 ChatBot,需要对员工输入的查询内容作敏感词审查。为此,开发者可以根据自己企业内部的敏感词审查机制写一个 API 扩展,具体可参考 [moderation.md](../../extension/api\_based\_extension/moderation.md "mention"),从而在 Dify 上调用,实现敏感词审查的高度自定义和隐私保护。 -

Moderation Settings

+

Moderation Settings

比如我们在自己的本地服务中自定义敏感词审查规则:不能查询有关美国总统的名字的问题。当用户在`query`变量输入"Trump",则在对话时会返回 "Your content violates our usage policy." 测试效果如下: -

Moderation Test

+

Moderation Test