GITBOOK-3: FAQ_llm use _chinese
潘辉燕
gitbook-bot
parent
29048f8f25
commit
160461bbe5
Binary file not shown.
|
Before Width: | Height: | Size: 141 KiB After Width: | Height: | Size: 36 KiB |
|
|
@ -21,8 +21,8 @@ Dify 目前已支持主流的模型供应商，例如 OpenAI 的 GPT 系列。
|
|||
|
||||
我们为 Dify 云服务的用户提供了不同模型的试用额度，请在该额度耗尽前设置你自己的模型供应商，否则将会影响应用的正常使用。
|
||||
|
||||
* **OpenAI 托管模型试用：**我们提供 500 次调用次数供你试用体验，可用于 GPT3.5-turbo、GPT3.5-turbo-16k、text-davinci-003 模型。
|
||||
* **Antropic Claude 托管模型试用：**我们提供 1000 次调用次数供你试用体验，可用于 Claude-instant-1、Claude2 模型。
|
||||
* \*\*OpenAI 托管模型试用：\*\*我们提供 500 次调用次数供你试用体验，可用于 GPT3.5-turbo、GPT3.5-turbo-16k、text-davinci-003 模型。
|
||||
* \*\*Antropic Claude 托管模型试用：\*\*我们提供 1000 次调用次数供你试用体验，可用于 Claude-instant-1、Claude2 模型。
|
||||
|
||||
### 模型类型
|
||||
|
||||
|
|
@ -36,7 +36,6 @@ Dify 目前已支持主流的模型供应商，例如 OpenAI 的 GPT 系列。
|
|||
|
||||
Dify 在需要模型时，会根据使用场景来选择设置过的默认模型。在 `设置 > 模型供应商` 中设置默认模型。
|
||||
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (15).png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
### 接入模型设置
|
||||
|
|
@ -50,16 +49,12 @@ Dify 在需要模型时，会根据使用场景来选择设置过的默认模型
|
|||
1. 自有模型。该类型的模型供应商提供的是自己开发的模型。如 OpenAI，Anthropic 等。
|
||||
2. 托管模型。该类型的模型供应商提供的是第三方模型。如 Hugging Face，Replicate 等。
|
||||
|
||||
|
||||
在 Dify 中接入不同类型的模型供应商的方式稍有不同。
|
||||
|
||||
|
||||
|
||||
**接入自有模型的模型供应商**
|
||||
|
||||
接入自有模型的供应商后，Dify 会自动接入该供应商下的所有模型。
|
||||
|
||||
|
||||
在 Dify 中设置对应模型供应商的 API key，即可接入该模型供应商。获取模型供应商的 API 地址如下：
|
||||
|
||||
* OpenAI： [https://platform.openai.com/account/api-keys](https://platform.openai.com/account/api-keys)
|
||||
|
|
@ -67,11 +62,11 @@ Dify 在需要模型时，会根据使用场景来选择设置过的默认模型
|
|||
* 讯飞星火：[https://www.xfyun.cn/solutions/xinghuoAPI](https://www.xfyun.cn/solutions/xinghuoAPI)
|
||||
* Minimax：[https://api.minimax.chat/user-center/basic-information/interface-key](https://api.minimax.chat/user-center/basic-information/interface-key)
|
||||
* 文心一言：[https://console.bce.baidu.com/qianfan/ais/console/applicationConsole/application](https://console.bce.baidu.com/qianfan/ais/console/applicationConsole/application)
|
||||
* 通义千问：[https://dashscope.console.aliyun.com/api-key_management?spm=a2c4g.11186623.0.0.3bbc424dxZms9k](https://dashscope.console.aliyun.com/api-key_management?spm=a2c4g.11186623.0.0.3bbc424dxZms9k)
|
||||
* 通义千问：[https://dashscope.console.aliyun.com/api-key\_management?spm=a2c4g.11186623.0.0.3bbc424dxZms9k](https://dashscope.console.aliyun.com/api-key\_management?spm=a2c4g.11186623.0.0.3bbc424dxZms9k)
|
||||
* ChatGLM：该模型供应商并未提供官方的服务。但支持自部署([部署文档](https://github.com/THUDM/ChatGLM2-6B#%E7%8E%AF%E5%A2%83%E5%AE%89%E8%A3%85))。
|
||||
|
||||
{% hint style="info" %}
|
||||
Dify 使用了 [PKCS1_OAEP](https://pycryptodome.readthedocs.io/en/latest/src/cipher/oaep.html) 来加密存储用户托管的 API 密钥，每个租户均使用了独立的密钥对进行加密，确保你的 API 密钥不被泄漏。
|
||||
Dify 使用了 [PKCS1\_OAEP](https://pycryptodome.readthedocs.io/en/latest/src/cipher/oaep.html) 来加密存储用户托管的 API 密钥，每个租户均使用了独立的密钥对进行加密，确保你的 API 密钥不被泄漏。
|
||||
{% endhint %}
|
||||
|
||||
**接入托管模型的模型供应商**
|
||||
|
|
@ -83,11 +78,8 @@ Dify 使用了 [PKCS1_OAEP](https://pycryptodome.readthedocs.io/en/latest/src/ci
|
|||
* [Xinference](xinference.md)。
|
||||
* [OpenLLM](openllm.md)。
|
||||
|
||||
|
||||
|
||||
### 使用模型
|
||||
|
||||
配置完模型后，就可以在应用中使用这些模型了：
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image.png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image (1).png" alt=""><figcaption></figcaption></figure>
|
||||
|
|
|
|||
|
|
@ -148,4 +148,8 @@ FileNotFoundError: File not found
|
|||
|
||||
### 11. 本地部署版如何解决数据集文档上传的大小限制和数量限制。
|
||||
|
||||
答：可参考官网环境变量说明文档去配置：https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/environments
|
||||
答：可参考官网[环境变量说明文档](https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/environments)去配置。
|
||||
|
||||
### 12. 本地部署版如何通过邮箱邀请成员？
|
||||
|
||||
本地部署版，邀请成员可通过邮箱邀请，输入邮箱邀请后，页面显示邀请链接，复制邀请链接转发给用户，用户打开链接通过邮箱登录设置密码即可登录到你的空间内。
|
||||
|
|
|
|||
|
|
@ -2,25 +2,16 @@
|
|||
|
||||
### 1. 如何在国内环境中使用 OpenAI 代理服务器进行访问？
|
||||
|
||||
可以在 `docker-compose.yaml` 中的 api 和 worker 服务都加一条 environments 环境变量记录。或者源代码启动的，可以在 api/.env 中增加下方的环境变量。
|
||||
|
||||
```Bash
|
||||
OPENAI_API_BASE: 'https://<your-openai-mirror-domain>/v1'
|
||||
```
|
||||
Dify 支持 OpenAI 的自定义 API 域名能力，支持任何兼容 OpenAI 的大模型 API 服务器。社区版中，通过 **设置 --> 模型供应商 --> OpenAI --> 编辑 API** 入口处填写目标服务器地址即可。
|
||||
|
||||
### **2. 如何选择基础模型？**
|
||||
|
||||
* gpt-3.5-turbo
|
||||
gpt-3.5-turbo 是 gpt-3 模型系列的升级版，它比 gpt-3 更强大，可以处理更复杂的任务。 它在理解长文本和跨文档推理方面有重大提高。 gpt-3.5 turbo 可以产生更连贯和更具说服力的文本。它在摘要、翻译和创意写作方面也有很大提高。 擅长：**长文本理解、跨文档推理、摘要、翻译、创意写作**
|
||||
* gpt-3.5-turbo gpt-3.5-turbo 是 gpt-3 模型系列的升级版，它比 gpt-3 更强大，可以处理更复杂的任务。 它在理解长文本和跨文档推理方面有重大提高。 gpt-3.5 turbo 可以产生更连贯和更具说服力的文本。它在摘要、翻译和创意写作方面也有很大提高。 擅长：**长文本理解、跨文档推理、摘要、翻译、创意写作**
|
||||
* gpt-4 gpt-4 是最新最强大的 Transformer 语言模型。它拥有预训练的参数量增至约 200 亿，这使其在所有语言任务上都达到了最高水平，特别是在需要深入理解和生成长、复杂响应的任务上。gpt-4 可以处理人类语言的所有方面，包括理解抽象概念和跨页面的推理。gpt-4 是第一个真正的通用语言理解系统，它可以胜任人工智能领域内的任何自然语言处理任务。擅长： **所有 NLP 任务，语言理解，长文本生成，跨文档推理，抽象概念理解**具体可参考：https://platform.openai.com/docs/models/overview
|
||||
|
||||
* gpt-4
|
||||
gpt-4 是最新最强大的 Transformer 语言模型。它拥有预训练的参数量增至约 200 亿，这使其在所有语言任务上都达到了最高水平，特别是在需要深入理解和生成长、复杂响应的任务上。gpt-4 可以处理人类语言的所有方面，包括理解抽象概念和跨页面的推理。gpt-4 是第一个真正的通用语言理解系统，它可以胜任人工智能领域内的任何自然语言处理任务。擅长： **所有 NLP 任务，语言理解，长文本生成，跨文档推理，抽象概念理解**具体可参考：https://platform.openai.com/docs/models/overview
|
||||
|
||||
|
||||
### **3. 为什么建议 max_tokens 设置小一点？**
|
||||
|
||||
因为在自然语言处理中，较长的文本输出通常需要更长的计算时间和更多的计算资源。因此，限制输出文本的长度可以在一定程度上降低计算成本和计算时间。例如设置：max_tokens=500 ，表示最多只考虑输出文本的前 500 个 token，而超过这个长度的部分将会被丢弃。这样做的目的是保证输出文本的长度不会超过 LLM 的接受范围，同时还可以充分利用计算资源，提高模型的运行效率。另一方面，更多的情况是，限制 max_tokens 能够增加 prompt 的长度，如 gpt-3.5-turbo 的限制为 4097 tokens，如果设置 max_tokens=4000，那么 prompt 就只剩下 97 tokens 可用，如果超过就会报错。
|
||||
### **3. 为什么建议 max\_tokens 设置小一点？**
|
||||
|
||||
因为在自然语言处理中，较长的文本输出通常需要更长的计算时间和更多的计算资源。因此，限制输出文本的长度可以在一定程度上降低计算成本和计算时间。例如设置：max\_tokens=500 ，表示最多只考虑输出文本的前 500 个 token，而超过这个长度的部分将会被丢弃。这样做的目的是保证输出文本的长度不会超过 LLM 的接受范围，同时还可以充分利用计算资源，提高模型的运行效率。另一方面，更多的情况是，限制 max\_tokens 能够增加 prompt 的长度，如 gpt-3.5-turbo 的限制为 4097 tokens，如果设置 max\_tokens=4000，那么 prompt 就只剩下 97 tokens 可用，如果超过就会报错。
|
||||
|
||||
### **4. 数据集长文本如何切分比较合理？**
|
||||
|
||||
|
|
@ -31,10 +22,9 @@ OPENAI_API_BASE: 'https://<your-openai-mirror-domain>/v1'
|
|||
|
||||
最后，还需要进行实验和评估来确定最合适的 embedding 技术和切分单位。可以在测试集上 / 命中测试比较不同技术和切分单位的性能表现，并选择最优的方案。
|
||||
|
||||
|
||||
### 5. 我们在获取数据集分段时用的什么距离函数？
|
||||
|
||||
我们使用[余弦相似度](https://en.wikipedia.org/wiki/Cosine_similarity)。距离函数的选择通常无关紧要。OpenAI 嵌入被归一化为长度 1，这意味着：
|
||||
我们使用[余弦相似度](https://en.wikipedia.org/wiki/Cosine\_similarity)。距离函数的选择通常无关紧要。OpenAI 嵌入被归一化为长度 1，这意味着：
|
||||
|
||||
仅使用点积可以稍微更快地计算余弦相似度
|
||||
|
||||
|
|
@ -46,7 +36,108 @@ OPENAI_API_BASE: 'https://<your-openai-mirror-domain>/v1'
|
|||
|
||||
### 6. 如何免费申领讯飞星火、MiniMax 模型的体验额度？
|
||||
|
||||
我们联合大模型厂商向中国用户提供一定的 token 体验额度。通过 Dify **设置 --> 模型供应商 --> 显示更多模型供应商。**在讯飞星火或 MiniMax 图标处点击【免费获取】，如果你在英文界面看不到领取入口，请将产品语言切换成为中文：
|
||||
我们联合大模型厂商向中国用户提供一定的 token 体验额度。通过 Dify \*\*设置 --> 模型供应商 --> 显示更多模型供应商。\*\*在讯飞星火或 MiniMax 图标处点击【免费获取】，如果你在英文界面看不到领取入口，请将产品语言切换成为中文：
|
||||
|
||||
* **讯飞星火：免费领取 300 万 token**，需要从 Dify 的入口进入，完成讯飞星火开放平台的注册（仅限未注册过讯飞星火的手机号），返回 Dify 静候 5 分钟，刷新页面即可在 Dify 页面体现可用额度。
|
||||
* **讯飞星火 （V1.5 模型）：免费领取 300 万 token**，需要从 Dify 的入口进入，完成讯飞星火开放平台的注册（仅限未注册过讯飞星火的手机号），返回 Dify 静候 5 分钟，刷新页面即可在 Dify 页面体现可用额度。
|
||||
* **MiniMax：免费领取 100 万 token**，只需点击【免费领取】即可到账额度，无需手动注册流程，不限制是否注册过 MiniMax 账号。
|
||||
|
||||
体验额度到账后，在应用内 **提示词编排 --> 模型及参数 --> 语言模型** 处选择需使用的模型即可。
|
||||
|
||||
### 7. 填写 OpenAI key，校验失败报错提示：“**校验失败： You exceeded your current quota， please check your plan and billing details。**”是什么原因？
|
||||
|
||||
说明 OpenAI key 的账号没费用了，请前往 OpenAI 充值。
|
||||
|
||||
### 8. 使用 OpenAI 的 key 在应用里对话，有如下报错提示，是什么原因？
|
||||
|
||||
报错一：
|
||||
|
||||
```JSON
|
||||
The server encountered an internal error and was unable to complete your request。Either the server is overloaded or there is an error in the application
|
||||
```
|
||||
|
||||
报错二：
|
||||
|
||||
```JSON
|
||||
Rate limit reached for default-gpt-3.5-turboin organization org-wDrZCxxxxxxxxxissoZb on requestsper min。 Limit: 3 / min. Please try again in 20s. Contact us through our help center at help.openai.com if you continue to haveissues. Please add a payment method toyour account to increase your rate limit.Visit https://platform.openai.com/account/billingto add a payment method.
|
||||
```
|
||||
|
||||
请检查是否达到了官方接口调用速率限制。具体请参考 [OpenAI 官方文档说明](https://platform.openai.com/docs/guides/rate-limits)。
|
||||
|
||||
### 9. 用户自部署后，智聊不可使用，报错如下：**Unrecognized request argument supplied:functions**，该怎么解决？
|
||||
|
||||
答：首先检查前后端版本是否是最新版且前后端版本保持一致；其次检查 Azure 平台里是否部署了模型；其中 gpt-35-turbo 模型版本得是 0613。（因为 0613 之前的版本不支持智聊的 function call，所以无法用）
|
||||
|
||||
### 10. 设置 OpenAI Key 时，报错如下，是什么原因？
|
||||
|
||||
```JSON
|
||||
Error communicating with OpenAl: HTTPSConnectionPool(host='api.openai.com', port=443): Max retriesexceeded with url: /v1/chat/completions (Caused byNewConnectionError( <urllib3.connection.HTTPSConnection object at 0x7f0462ed7af0>; Failed toestablish a new connection: [Errno -3] Temporary failure in name resolution'))
|
||||
```
|
||||
|
||||
通常情况下是由于您的环境设置了代理，请检查是否设置代理。
|
||||
|
||||
### 11. 应用里切换模型使用时遇到如下报错，该怎么解决？
|
||||
|
||||
```JSON
|
||||
Anthropic: Error code: 400 - f'error': f'type': "invalid request error, 'message': 'temperature: range: -1 or 0..1)
|
||||
```
|
||||
|
||||
由于每个模型的参数取值不同，需要按照当前模型的该参数值范围设置。
|
||||
|
||||
### 12. 遇到如下报错提示，该如何解决？
|
||||
|
||||
```JSON
|
||||
Query or prefix prompt is too long, you can reduce the preix prompt, or shrink the max token, or switch to a llm with a larger token limit size
|
||||
```
|
||||
|
||||
在编排页参数设置里，调小“最大 token”的值即可。
|
||||
|
||||
### 13. Dify 里面默认的模型是什么，可否使用开源的模型？
|
||||
|
||||
默认的模型可以在 **设置 - 模型供应商** 处配置，目前支持 OpenAI / Azure OpenAl / Anthropic 等模型厂商的文本生成型模型，同时支持 Hugging Face/ Replicate / xinference 上托管的开源模型的接入。
|
||||
|
||||
### 14. 在社区版中，数据集开启 **Q\&A 分段模式**一直显示排队中，是什么原因？
|
||||
|
||||
请检查您所使用的 Embedding 模型 api-key 是否达到了速率限制。
|
||||
|
||||
### 15. 用户在使用应用时遇到报错“Invalid token”，该怎么解决？
|
||||
|
||||
如果遇到报错为 “Invalid token”，你可尝试如下两种解决办法：
|
||||
|
||||
* 浏览器清除缓存（Cookies、Session Storage 和 Local Storage），如果是手机里使用则清除对应 APP 的缓存，重新访问；
|
||||
* 二是重新生成一个 App 网址，重新网址进入即可。
|
||||
|
||||
### 16. 数据集文档上传的大小限制有哪些？
|
||||
|
||||
目前数据集文档上传单个文档最大是 15MB，总文档数量限制 100 个。
|
||||
|
||||
### 17. 为什么选择了 Claude 模型，还是会消耗 OpenAI 的费用？
|
||||
|
||||
因为 Claude 不支持 Embedding 操作，因此 Embedding 过程以及其他对话生成，下一个问题建议等默认都是用的 OpenAI 的 key，因此还是会消耗 OpenAI 的额度。也可以在**设置-模型供应商**里设置其他默认推理模型和 Embedding 模型。
|
||||
|
||||
### 18. 有什么方式能控制更多地使用上下文数据而不是模型自身生成能力吗？
|
||||
|
||||
是否使用数据集，会和数据集的描述有关系，尽可能把数据集描述写清楚，具体可参考[此文档编写技巧](https://docs.dify.ai/v/zh-hans/advanced/datasets)。
|
||||
|
||||
### 19. 上传数据集文档是 Excel，该如何更好地分段？
|
||||
|
||||
首行设置表头，后面每行显示内容，不要有其他多余的表头设置，不要设置复杂格式的表格内容。
|
||||
|
||||
如下方表格示例，仅需保留第二行的表头，首行（表格1）为多余表头，需删掉。
|
||||
|
||||
<figure><img src="../../.gitbook/assets/image.png" alt=""><figcaption></figcaption></figure>
|
||||
|
||||
### 20 买了 ChatGPT plus，为什么在 dify 里还不能使用 GPT4？
|
||||
|
||||
OpenAI 的 GPT4 模型 API 和 ChatGPT Plus 是两个产品，分开收费的，模型的 API 有自己的定价，具体参考 [OpenAI 定价文档](https://openai.com/pricing) 。付费申请要先绑卡，绑了卡会有 GPT3.5 的权限，但没有 GPT4 的权限，GPT4 的权限得有一次支付的账单，具体参考 [OpenAI 官方文档](https://platform.openai.com/account/billing/overview)。
|
||||
|
||||
### 21. 如何增加其他的 Embedding Model？
|
||||
|
||||
Dify 支持将 [Xinference embed 模型](https://github.com/xorbitsai/inference/blob/main/README\_zh\_CN.md#%E5%86%85%E7%BD%AE%E6%A8%A1%E5%9E%8B) 作为 Embedding 模型使用，只需在配置框中选择 `Embeddings` 类型即可。
|
||||
|
||||
### 22. 如何把自己创建的应用设置成应用模板？
|
||||
|
||||
该功能为 Dify 官方提供的应用模板供云端版用户参考使用，暂未支持将自己创建的应用设置成应用模板。如您使用云端版，可 **添加到工作区** 或 **自定义** 修改后成为你自己的应用。如您使用社区版，需要为团队内创建更多的应用模板，您可咨询我们商业化团队获得付费的技术支持：`business@dify.ai`
|
||||
|
||||
###
|
||||
|
||||
###
|
||||
|
|
|
|||
Loading…
Reference in New Issue