一、使用シーン#
- 大量のデータがあり、多くのことを思い出せない
- データと対話する必要があります。たとえば、数年前の上司の言葉を検索する必要があります。
- 個人的なプライバシーを重視し、パブリックなインターネットの大規模言語モデルにデータを提供したくありません。
- ローカルコンピューターの設定は十分であり、少なくとも 8GB 以上のメモリがあります。
二、実験のアイデア#
- obsidian のノートソフトウェア内で、copilot プラグインを使用して ollama サービスを呼び出します。
- ollama を使用して大規模言語モデル(llama2-chinese や qwen:4b など)を呼び出します。
- 質問と回答、単一の質問と回答、全体のデータベースとのチャットなどの機能を実現します。
三、具体的な手順#
- コンピューターにollamaを公式ウェブサイトからインストールします。
- 管理者としてターミナルまたはコマンドラインモードを開きます。
ollama run llama2-chinese
と入力します。- llama2-chinese モデルのダウンロードとインストールが完了するまで待ちます。
/bye
と入力して ollama を終了します。ollama pull nomic-embed-text
と入力します。nomic-embed-text
のダウンロードとインストールが完了するまで待ちます。/bye
と入力して ollama を終了します。- タスクバーの右下隅から実行中の ollama を終了します。
- タスクマネージャーからすべての
ollama.exe
プロセスを終了します。 - これらの 2 つのステップは非常に重要です。
- そうしないと、「LangChain エラー:TypeError:Failed to fetch」というエラーが発生します。
set OLLAMA_ORIGINS=app://obsidian.md*
と入力します。ollama serve
と入力してサービスを起動します。- ターミナルまたはコマンドラインウィンドウを実行中の状態に保ちます。
- obsidian に copilot プラグインをインストールします。
- デフォルトのモデルを
ollama(local)
に設定します。 - ollama モデルを
llama2-chinese
に設定します。 - ollama のベース URL をhttp://localhost:11434 に設定します。
- 埋め込み API を
nomic-embed-text
に設定します。 - ctrl+p を押して obsidian のコマンドパネルを表示します。
- copilot と入力し、必要なコマンドを選択します。
- 右側のサイドバーに copilot の会話ボックスが表示されます。
- チャット、単一の質問と回答、全体のデータベースとの質問など、必要に応じてモードを選択します。
- デフォルトのモデルを
四、実験のまとめ#
- コンピューターの設定が適切な場合、これは良い選択肢になるかもしれません。
- プライバシー保護を重視する前提で、これは最適な選択肢です。
- 喜ばしい点:全体のデータベースをインデックス化して対話できること。
- 不足している点:ターミナルまたはコマンドラインウィンドウを常に開いておく必要があります。