dify-docs/jp/guides/knowledge-base
Mark Sun 7de03bbbf7
Add jp docs (#116)
2024-06-17 19:07:18 +08:00
..
README.md Add jp docs (#116) 2024-06-17 19:07:18 +08:00
create_knowledge_and_upload_documents.md Add jp docs (#116) 2024-06-17 19:07:18 +08:00
external_data_tool.md Add jp docs (#116) 2024-06-17 19:07:18 +08:00
integrate_knowledge_within_application.md Add jp docs (#116) 2024-06-17 19:07:18 +08:00
knowledge_and_documents_maintenance.md Add jp docs (#116) 2024-06-17 19:07:18 +08:00
maintain-dataset-via-api.md Add jp docs (#116) 2024-06-17 19:07:18 +08:00
retrieval_test_and_citation.md Add jp docs (#116) 2024-06-17 19:07:18 +08:00
sync-from-notion.md Add jp docs (#116) 2024-06-17 19:07:18 +08:00
sync_from_website.md Add jp docs (#116) 2024-06-17 19:07:18 +08:00

README.md

知識ベース

大規模言語モデルの訓練データは一般的に公開データに基づいており、毎回の訓練には大量の計算能力が必要です。これは、モデルの知識が一般的に私有分野の知識を含まず、公開知識の分野では一定の遅れが存在することを意味します。この問題を解決するための一般的な手法はRAG検索強化生成技術を使用することです。ユーザーの質問に基づいて最も関連性の高い外部データを検索し、その検索結果をモデルのプロンプトのコンテキストとして再構成して応答を生成します。

{% hint style="info" %} 詳細については、検索強化生成RAGの拡張読書をご覧ください。 {% endhint %}

Difyの知識ベース機能はRAGパイプラインの各段階を可視化し、ユーザーが個人またはチームの知識ベースを管理しやすくするシンプルで使いやすいユーザーインターフェースを提供します。また、これを迅速にAIアプリケーションに統合することができます。準備するのは以下のようなテキストコンテンツだけです

  • 長文コンテンツTXT、Markdown、DOCX、HTML、JSONL、さらにはPDFファイル
  • 構造化データCSV、Excelなど

また、次のような多くのデータソースからデータをデータセットに同期することを順次サポートしています:

  • ウェブページ
  • Notion
  • Github
  • データベース
  • ……

{% hint style="info" %} シナリオもしあなたの会社が既存の知識ベースと製品ドキュメントに基づいてAIカスタマーサポートアシスタントを構築したい場合、Difyにドキュメントをデータセットにアップロードし、対話型アプリケーションを構築することができます。これにより、以前は数週間かかり、継続的なメンテナンスが難しかった作業を迅速に行うことができます。 {% endhint %}

知識ベースとドキュメント

Difyでは、知識ベースKnowledgeは複数のドキュメントDocumentsの集合です。知識ベース全体を1つのアプリケーションに統合し、検索コンテキストとして使用することができます。ドキュメントは開発者や運営者によってアップロードされるか、他のデータソースから同期されます通常、データソース内の1つのファイル単位に対応