GITBOOK-254: No subject
parent
a6ee531ec1
commit
ff45b51a16
|
|
@ -14,5 +14,5 @@ description: 对于已经熟悉 LLM 应用技术栈的技术人士来说,这
|
|||
|
||||
### 技术特性
|
||||
|
||||
<table data-header-hidden><thead><tr><th width="258"></th><th></th></tr></thead><tbody><tr><td>LLM 推理引擎</td><td>Dify Runtime ( 自 v0.4 起移除了 LangChain)</td></tr><tr><td>商业模型支持</td><td><p><strong>10+ 家</strong>,包括 OpenAI 与 Anthropic</p><p>新的主流模型通常在 48 小时内完成接入</p></td></tr><tr><td>MaaS 供应商支持</td><td><strong>7 家</strong>,Hugging Face,Replicate,AWS Bedrock,NVIDIA,GroqCloud,together.ai,OpenRouter</td></tr><tr><td>本地模型推理 Runtime 支持</td><td>6 <strong>家</strong>,Xoribits(推荐),OpenLLM,LocalAI,ChatGLM,Ollama,NVIDIA TIS </td></tr><tr><td>OpenAI 接口标准模型接入支持</td><td><strong>∞ 家</strong></td></tr><tr><td>多模态技术</td><td><p>ASR 模型</p><p>GPT-4V 规格的富文本模型</p></td></tr><tr><td>预置应用类型</td><td><p>对话型应用</p><p>文本生成应用(即将下线)<br>Agent<br>工作流<br>群组(Q2 即将推出)</p></td></tr><tr><td>Prompt 即服务编排</td><td><p>广受好评的可视化的 Prompt 编排界面,在同一个界面中修改 Prompt 并预览效果<br></p><p><strong>编排模式</strong></p><ul><li>简易模式编排</li><li>Assistant 模式编排</li><li>Flow 模式编排</li><li>Multi-Agent 模式(Q2 即将推出)</li></ul><p><strong>Prompt 变量类型</strong></p><ul><li>字符串</li><li>单选枚举</li><li>外部 API</li><li>文件(Q2 即将推出)</li></ul></td></tr><tr><td>Agentic Workflow 特性</td><td><p>行业领先的可视化流程编排界面,所见即所得的节点调试,可插拔的 DSL,原生的代码运行时,构建更复杂、可靠、稳定的 LLM 应用。</p><p></p><p><strong>支持节点</strong></p><ul><li>LLM</li><li>知识库检索</li><li>问题分类</li><li>条件分支</li><li>代码执行</li><li>模板转换</li><li>HTTP 请求</li><li>工具</li></ul></td></tr><tr><td>RAG 特性</td><td><p>首创的可视化的知识库管理界面,支持分段预览和召回效果测试。<br><br><strong>索引方式</strong></p><ul><li>关键词</li><li>文本向量</li><li>由 LLM 辅助的问题-分段模式</li></ul><p><strong>检索方式</strong></p><ul><li>关键词</li><li>文本相似度匹配</li><li>混合检索</li><li>N 选 1 模式</li><li>多路召回</li></ul><p><strong>召回优化技术</strong></p><ul><li>使用 ReRank 模型</li></ul></td></tr><tr><td>ETL 技术</td><td><p>支持对 TXT、Markdown、PDF、HTML、DOC、CSV 等格式文件进行自动清洗,内置的 Unstructured 服务开启后可获得最大化支持。</p><p>支持同步来自 Notion 的文档为知识库。</p></td></tr><tr><td>向量数据库支持</td><td>Qdrant(推荐),Weaviate,Zilliz</td></tr><tr><td>Agent 技术</td><td><p>ReAct,Function Call<br></p><p><strong>工具支持</strong></p><ul><li>可调用 OpenAI Plugin 标准的工具</li><li>可直接加载 OpenAPI Specification 的 API 作为工具</li></ul><p><strong>内置工具</strong></p><ul><li>30+ 款(截止 2024 Q1)</li></ul></td></tr><tr><td>日志</td><td>支持,可基于日志进行标注</td></tr><tr><td>标注回复</td><td>基于经人类标注的 Q&A 对,可用于相似度对比回复<br>可导出为供模型微调环节使用的数据格式</td></tr><tr><td>内容审查机制</td><td>OpenAI Moderation 或外部 API</td></tr><tr><td>团队协同</td><td>工作空间与多成员管理支持</td></tr><tr><td>API 规格</td><td>RESTful,已覆盖大部分功能</td></tr><tr><td>部署方式</td><td>Docker,Helm</td></tr></tbody></table>
|
||||
<table data-header-hidden><thead><tr><th width="258"></th><th></th></tr></thead><tbody><tr><td>LLM 推理引擎</td><td>Dify Runtime ( 自 v0.4 起移除了 LangChain)</td></tr><tr><td>商业模型支持</td><td><p><strong>10+ 家</strong>,包括 OpenAI 与 Anthropic</p><p>新的主流模型通常在 48 小时内完成接入</p></td></tr><tr><td>MaaS 供应商支持</td><td><strong>7 家</strong>,Hugging Face,Replicate,AWS Bedrock,NVIDIA,GroqCloud,together.ai,OpenRouter</td></tr><tr><td>本地模型推理 Runtime 支持</td><td>6 <strong>家</strong>,Xoribits(推荐),OpenLLM,LocalAI,ChatGLM,Ollama,NVIDIA TIS </td></tr><tr><td>OpenAI 接口标准模型接入支持</td><td><strong>∞ 家</strong></td></tr><tr><td>多模态技术</td><td><p>ASR 模型</p><p>GPT-4V 规格的富文本模型</p></td></tr><tr><td>预置应用类型</td><td><p>对话型应用</p><p>文本生成应用(即将下线)<br>Agent<br>工作流<br>群组(Q2 即将推出)</p></td></tr><tr><td>Prompt 即服务编排</td><td><p>广受好评的可视化的 Prompt 编排界面,在同一个界面中修改 Prompt 并预览效果<br></p><p><strong>编排模式</strong></p><ul><li>简易模式编排</li><li>Assistant 模式编排</li><li>Flow 模式编排</li><li>Multi-Agent 模式(Q2 即将推出)</li></ul><p><strong>Prompt 变量类型</strong></p><ul><li>字符串</li><li>单选枚举</li><li>外部 API</li><li>文件(Q2 即将推出)</li></ul></td></tr><tr><td>Agentic Workflow 特性</td><td><p>行业领先的可视化流程编排界面,所见即所得的节点调试,可插拔的 DSL,原生的代码运行时,构建更复杂、可靠、稳定的 LLM 应用。</p><p></p><p><strong>支持节点</strong></p><ul><li>LLM</li><li>知识库检索</li><li>问题分类</li><li>条件分支</li><li>代码执行</li><li>模板转换</li><li>HTTP 请求</li><li>工具</li></ul></td></tr><tr><td>RAG 特性</td><td><p>首创的可视化的知识库管理界面,支持分段预览和召回效果测试。<br><br><strong>索引方式</strong></p><ul><li>关键词</li><li>文本向量</li><li>由 LLM 辅助的问题-分段模式</li></ul><p><strong>检索方式</strong></p><ul><li>关键词</li><li>文本相似度匹配</li><li>混合检索</li><li>N 选 1 模式</li><li>多路召回</li></ul><p><strong>召回优化技术</strong></p><ul><li>使用 ReRank 模型</li></ul></td></tr><tr><td>ETL 技术</td><td><p>支持对 TXT、Markdown、PDF、HTML、DOC、CSV 等格式文件进行自动清洗,内置的 Unstructured 服务开启后可获得最大化支持。</p><p>支持同步来自 Notion 的文档为知识库。</p></td></tr><tr><td>向量数据库支持</td><td>Qdrant(推荐),Weaviate,Zilliz/Milvus,Pgvector,Pgvector-rs,Chroma,OpenSearch,TiDB,Tencent Vector,Oracle,Relyt</td></tr><tr><td>Agent 技术</td><td><p>ReAct,Function Call<br></p><p><strong>工具支持</strong></p><ul><li>可调用 OpenAI Plugin 标准的工具</li><li>可直接加载 OpenAPI Specification 的 API 作为工具</li></ul><p><strong>内置工具</strong></p><ul><li>30+ 款(截止 2024 Q1)</li></ul></td></tr><tr><td>日志</td><td>支持,可基于日志进行标注</td></tr><tr><td>标注回复</td><td>基于经人类标注的 Q&A 对,可用于相似度对比回复<br>可导出为供模型微调环节使用的数据格式</td></tr><tr><td>内容审查机制</td><td>OpenAI Moderation 或外部 API</td></tr><tr><td>团队协同</td><td>工作空间与多成员管理支持</td></tr><tr><td>API 规格</td><td>RESTful,已覆盖大部分功能</td></tr><tr><td>部署方式</td><td>Docker,Helm</td></tr></tbody></table>
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue