NUC AI 實驗室 · 地端模型測試
一個任務,怎麼比較地端、雲端與混合?
想把部分工作交給 NUC,先弄清楚:能不能做好,又省下了什麼、增加了什麼?
影片筆記
有些過程,用影片更容易說清楚。
之後會把操作示範與實測影片放在這裡,搭配文字摘要和測試設定。第一支影片還在準備中。
先挑一個平常會做的任務
以同一批文件與問題測試。雲端組直接處理;地端組嘗試由 NUC 完成;混合組先在 NUC 整理,再依規則送交雲端。固定品質門檻,保留失敗、重試與人工修訂。
這次先提出測試設計。判斷重點是特定任務是否適合地端執行,不先假設某種部署方式一定更好。
先記好硬體和模型設定
硬體
NUC;確切配置待填
模型與量化
測試前固定版本
Runtime
記錄版本與啟動設定
輸入與輸出
固定文件、提示與輸出長度條件
先看答案,再看跑得快不快
- 以相同文件與問題建立測試集,記錄來源與使用權限。
- 訂出摘要正確性與脈絡完整性的評分方式。
- 區分冷啟動與暖機後測試,固定重複次數。
- 記錄端到端延遲、生成速度與資源占用,保留各次結果。
- 把品質與成本一起解讀,記錄錯誤與失敗情境。
比較模型時,也要交代輸出長度、context 與量化條件。不同條件的數字不直接排成誰比較快的排行榜。
三種流程,都記錄整段工作
以同一批文件與問題測試。雲端組直接處理;地端組嘗試由 NUC 完成;混合組先在 NUC 整理,再依規則送交雲端。固定品質門檻,保留失敗、重試與人工修訂。
| 紀錄項目 | 雲端流程 | NUC 地端流程 | 混合流程 |
|---|---|---|---|
| 結果品質與人工修訂時間 | 待測 | 待測 | 待測 |
| 端到端延遲(含重試) | 待測 | 待測 | 待測 |
| 雲端輸入/輸出 Token 與呼叫次數 | 待測 | 待測 | 待測 |
| 本機記憶體峰值與電力 | 待測 | 待測 | 待測 |
| API 費用、硬體攤提與維護時間 | 待測 | 待測 | 待測 |
沒有實測前不填節省比例。若流程預期不呼叫雲端,也要確認網路與服務紀錄後才填零;不同模型或帳單的 Token/價格另記版本與日期。
這次測試還回答不了什麼?
單一任務不能代表整體模型能力,單一硬體配置也不能代表所有地端部署。下一步是選定可公開的測試材料與配置,完成量測後再討論產品上的意義。