testxlog

一、使用場景#

• 有大量資料儲備，並且很多已經想不起來了
• 需要同資料對話，比如查找若干年前領導表述的一句話
• 個人注重隱私，不願意給公開互聯網大語言模型餵菜
• 本地電腦配置還可以，至少 8G 以上內存

二、實驗思路#

• 在 obsidian 筆記軟體內，借助於 copilot 插件調用 ollama 服務
• 用 ollama 調用大語言模型，比如 llama2-chinese 或 qwen:4b
• 實現一問一答、單篇問答、全庫聊天等功能

三、具體方法#

• 電腦從官網安裝ollama
• 管理員身份打開終端或命令行模式
• 輸入ollama run llama2-chinese命令
• 等待下載安裝 llama2-chinese 模型完成
• 輸入/bye退出 ollama
• 輸入ollama pull nomic-embed-text命令
• 等待下載安裝nomic-embed-text
• 輸入/bye退出 ollama
  • 從桌面右下角任務欄退出運行的 ollama
  • 再從任務管理器中退出全部ollama.exe進程
  • 以上兩步很關鍵
  • 否則後面會報錯LangChain error: TypeError: Failed to fetch
• 輸入set OLLAMA_ORIGINS=app://obsidian.md*
• 輸入ollama serve啟動服務
• 保持終端或命令行視窗運行狀態
• obsidian 安裝 copilot 插件
  • 設置默認模型為ollama(local)
  • ollama 模型選擇llama2-chinese
  • ollama base url 設置為 http://localhost:11434
  • the embedding API 選擇nomic-embed-text
  • ctrl+p 調出 obsidian 命令面板
  • 輸入 copilot 並選擇所需命令
  • 右側邊欄會顯示 copilot 會話框
  • 根據需要選擇聊天、單篇問答、全庫問答等模式

四、實驗總結#

• 電腦配置好的情況下，這可能是不錯的選擇
• 注重隱私保護的前提下，這將是不二的選擇
• 可喜的地方：可對全庫資料進行索引對話
• 不足的地方：需要終端或命令行視窗一直打開