打造熱處理AI顧問

緣起
筆者 2003 年在學校的人工智慧課程學到「專家系統」這個概念。專家系統屬於人工智慧的分支，受限於硬體與技術，當時的實作大約就是操作 Windows 時遇到問題時會跳出來的「Microsoft 支援服務」的程度，基本上就是從類別開始，進入到事先定義好的問題和解答，最後問你：「這項資訊有幫助嗎？」再由使用者點擊「是」或「否」來提供回饋，就像現在可以對 AI 的回答按讚或是倒讚來提供回饋一樣。

2024年由 ChatGPT 引領的大語言模型（LLM）爆發開始，談到 AI 的應用，幾乎都和 LLM 相關。LLM 可以進行分析、推理和決策，非常適合作為專家系統，前提是要把知識庫建立起來。封閉模型當然也可以做到，而且比地端模型更快、更好，但是自建有以下好處：

1. 免費：雖然封閉模型的免費額度對於輕量用戶來說就夠用了，但是串到 LINE 就必須考慮 token 消耗太快的情境：如果是免費帳戶會讓 bot 停擺，如果是付費帳戶則會讓帳單爆掉。
2. 自主：上傳到封閉模型的資料可能會被拿去訓練，像是熱處理知識、產品型錄這樣的資訊上傳到封閉模型平台沒有問題，但是企業內部的資料具有敏感性就不合適。
3. 混搭：自建的 UI 也可以經由 API 呼叫封閉模型，使用封閉模型時是在雲端使用強大算力的硬體運算，回應會比地端快很多。許多付費的封閉模型在透過 API 呼叫時是不會將資料留在雲端的，但是呼叫 API 會根據消耗的 token 扣額度或是費用，需要注意。

模型 API 價格（2026年4月）：

廠商	模型名稱	輸入價格 (USD/1M)	輸出價格 (USD/1M)	免費額度/備註
Google	Gemini 3.1 Flash Lite Preview	0.25	1.50	AI Studio 有較高免費請求額度（每日限制依帳戶而定，常見數百次，非固定1500）
Google	Gemini 3.1 Pro Preview	2.00 (≤200k) / 最高4.00 (>200k)	12.00 (≤200k) / 最高18.00 (>200k)	提供強大推理與長上下文支援（可達1M+）
DeepSeek	DeepSeek-V3.2	0.28 (cache miss) / 0.028 (cache hit)	0.42	註冊贈送 5M tokens，具備極高性價比
OpenAI	GPT-5.4 (Flagship)	2.50	15.00	目前市場性能標竿，支援多模態深度整合
OpenAI	GPT-4o-mini	0.15	0.60	取代舊有 GPT-3.5 的主流輕量模型
Anthropic	Claude 4.6 Sonnet	3.00	15.00	程式碼編寫與指令遵循能力極強
Mistral	Mistral Large 3	0.50	1.50	歐洲廠商首選，具備開放權重與企業版 API
Mistral	Mistral Small 24B	0.20	0.60	適合中低複雜度的自動化流程
xAI	Grok-3 Preview	約 3.00	約 15.00	具備 X 平台實時資訊檢索能力

1M Tokens 約等於：
* 50 萬至 65 萬個中文字輸入
* 50 萬個中文字輸出
* 1.5 萬至 2.5 萬行程式碼

• 環境需求
  獨立顯卡（ NVidia 為主流），VRAM 的大小影響能使用的模型參數量，以　12GB 為例，上限是 12b 參數的模型。
  OS 以 Linux 為佳，WSL 需要設定鏡像網路模式；Windows 需要以容器安裝。
• 架構
  對話介面與知識庫：Open WebUI + Ollama
  串接 LINE：n8n + LINE 官方帳號
• 模型
  嘗試過這幾個，
  Llama-3.1-TAIDE-LX-8B-Chat-GGUF:IQ4_NL
  gemma3:12b
  Gemma-3-TAIDE-12b-Chat-2602-GGUF:Q4_K_M
  gemma4:e4b
  Llama 是 META 的開放模型，Gemma 是 Google 的開放模型，TAIDE 是國家實驗研究院以開放模型為基礎做調整，使其更符合台灣人的用語習慣。現在使用的是 gemma4:e4b，比起 12b 參數的模型它的回應快很多，而且回應的正確性也還不錯。

我們選擇 Open WebUI 是因為它開源，介面類似 GPT，而且不限制商業使用。LM Studio 雖然自用是免費的，商用必須取得 license，要注意。在 LINE 官方帳號管理頁面中找到 Messaging API（位於
https://manager.line.biz/account/@[帳號]/setting/messaging-api ，將[帳號]用你的官方帳號取代），webhook 連結就是我們要用來讓 n8n 串接的，流程如下：

webhook 入口──設定 LINE 官方帳號的 webhook 連結
AI 語言模型──連接的**Open AI Chat Model** node 設定為我們 Open WebUI 的 API 端點，連線成功的話會抓取模型列表
Redis Chat Memory──儲存最近 10 次的對話
merge──將 webhook 入口和 AI 語言模型處理之後的輸出合併
處理 AI 回應──以 code node 整理要在 LINE 顯示的格式
發送回應給 LINE──最後 post 到 https://api.line.me/v2/bot/message/reply 就完成了。

Open WebUI 的知識庫雖然可以上傳 PDF 檔，但如果檔案太大會崩潰，而且如果是以圖像儲存未經過 OCR 辨識的 PDF 就不能用。 MinerU 辨識中文字的效果相當好，雖然它可以做為 Open WebUI 的內容擷取引擎使用，但如果先使用 MinerU 將檔案輸出成 md 檔，再以 Hermes Agent 整理過再加入知識庫，不但可以加強搜索的品質，還能利用圖片標籤讓圖片「顯示」在對話，而不是「生成」。圖片出自知識庫，可以避免「生成」可能會產生的錯誤，很適合用來搜尋文獻的圖表、展示產品的圖片，不過為了精確，目前需要使用人工補強，標註外觀、功能等。架構圖如下（以 ChatGPT 生成）：

在 LINE 官方帳號管理頁面中找到 Messaging API（位於
https://manager.line.biz/account/@[帳號]/setting/messaging-api ，將[帳號]用你的官方帳號取代），webhook 連結就是我們要用來讓 n8n 串接的，流程如下：

webhook 入口──設定 LINE 官方帳號的 webhook 連結
AI 語言模型──連接的**Open AI Chat Model** node 設定為我們 Open WebUI 的 API 端點，連線成功的話會抓取模型列表
Redis Chat Memory──儲存最近 10 次的對話
merge──將 webhook 入口和 AI 語言模型處理之後的輸出合併
處理 AI 回應──以 code node 整理要在 LINE 顯示的格式
發送回應給 LINE──最後 post 到 https://api.line.me/v2/bot/message/reply 就完成了。