6.5 KiB

Raw Blame History

Ollamaが配置したローカルモデルを統合

Ollama は、Llama 2、Mistral、Llava などの大型言語モデルをワンクリックでデプロイできるローカル推論フレームワーククライアントです。 Dify は、Ollama でデプロイした大型言語モデルの推論および埋め込み機能への接続をサポートしています。

クイック接続

Ollama のダウンロードと起動

Ollama をダウンロード

https://ollama.ai/download にアクセスし、対応するシステムの Ollama クライアントをダウンロードします。
Ollama を実行して Llava とチャット
```
ollama run llava
```
起動に成功すると、ollama はローカルの 11434 ポートで API サービスを開始し、http://localhost:11434 でアクセスできます。

その他のモデルについては Ollama Models を参照してください。
Dify に Ollama を接続

設定 > モデル供給元 > Ollama に以下を入力します：
- モデル名称：llava
- 基本 URL：http://<your-ollama-endpoint-domain>:11434
  
  ここには、アクセス可能な Ollama サービスのアドレスを入力します。
  
  Dify が docker でデプロイされている場合、ローカルネットワークの IP アドレス（例：http://192.168.1.100:11434）または docker ホストマシンの IP アドレス（例：http://172.17.0.1:11434）を入力することをお勧めします。
  
  ローカルソースコードでデプロイされている場合は、http://localhost:11434 を入力できます。
- モデルタイプ：対話
- モデルのコンテキスト長：4096
  
  モデルの最大コンテキスト長です。不明な場合はデフォルト値の 4096 を入力してください。
- 最大トークン上限：4096
  
  モデルが返す内容の最大トークン数です。特に記載がない場合、モデルのコンテキスト長と同じ値を入力してください。
- ビジョン対応：はい
  
  モデルが画像理解（マルチモーダル）をサポートしている場合、このオプションを選択してください。例えば llava などです。
「保存」をクリックし、エラーがないことを確認したら、このモデルをアプリで使用できます。

埋め込みモデルの接続方法も LLM と似ています。モデルタイプを Text Embedding に変更するだけです。
Ollama モデルの使用

設定が必要なアプリのプロンプト編成ページに移動し、Ollama 供給元の llava モデルを選択し、モデルパラメーターを設定した後に使用できます。

FAQ

⚠️ Docker を使用して Dify と Ollama をデプロイする場合、以下のエラーが発生することがあります:

httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))

httpconnectionpool(host=localhost, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))

このエラーは、Docker コンテナが Ollama サービスにアクセスできないために発生します。localhost は通常、コンテナ自体を指すため、ホストや他のコンテナではありません。この問題を解決するには、Ollama サービスをネットワークに公開する必要があります。

Macで環境変数を設定する方法

Ollama を macOS アプリケーションとして実行する場合、以下のコマンドを使用して環境変数launchctlを設定します：

launchctl setenv を呼び出して環境変数を設定：
```
launchctl setenv OLLAMA_HOST "0.0.0.0"
```
Ollama アプリケーションを再起動します。
上記の手順が無効な場合は、次の方法を試してください：

問題は docker 内部で、docker のホストにアクセスするために host.docker.internal に接続する必要があるため、localhost を host.docker.internal に置き換えてサービスを設定します：
```
http://host.docker.internal:11434
```

Linuxで環境変数を設定する方法

Ollama を systemd サービスとして実行する場合は、systemctl を使用して環境変数を設定します：

systemctl edit ollama.service を呼び出して systemd サービスを編集します。これにより、エディタが開きます。
各環境変数について、[Service] セクションの下に Environment 行を追加します：
```
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
```
保存して終了します。
systemd をリロードし、Ollama を再起動します：
```
systemctl daemon-reload
systemctl restart ollama
```

Windowsで環境変数を設定する方法

Windows では、Ollama はユーザーとシステムの環境変数を継承します。

まずタスクバーから Ollama をクリックしてプログラムを終了します
コントロールパネルからシステム環境変数を編集します
ユーザーアカウントのために変数を編集または新規作成します。例えば、OLLAMA_HOST、OLLAMA_MODELSなどです。
OK/適用をクリックして保存します
新しいターミナルウィンドウで ollama を実行します

Ollama をネットワーク上で公開する方法

Ollama はデフォルトで 127.0.0.1 の 11434 ポートにバインドされています。OLLAMA_HOST 環境変数を使用してバインドアドレスを変更します。

Ollama に関する詳細情報については以下を参照してください

For more information on Ollama, please refer to:

6.5 KiB Raw Blame History Unescape Escape