NUC AI 實驗室

雲端 AI 用得多了,哪些工作能交給 NUC?

習慣雲端模型的能力之後,我們會想把更多工作交給 AI。當工作流變長、呼叫次數與 Token 用量增加,我想研究:哪些部分可以留在桌上這台小型 NUC,哪些仍值得交給雲端?這裡會從實際任務出發,探索地端應用,也試著把地端與雲端接在一起。

三條實驗路線

先拆任務,再決定在哪裡跑。

下面是想驗證的分工方向。適合放哪裡,要看實際模型、NUC 配置與工作要求;每個例子都還需要測試。

01

地端:讓 NUC 獨立完成一段工作

先試文件分類、欄位擷取、語音前處理等範圍明確、會重複發生的任務。

要驗證:指定配置能不能達到品質門檻?等待時間與記憶體是否可接受?若要離線,整段流程有沒有網路依賴?

02

雲端:把用量留給需要的能力

把複雜推理、跨文件綜合分析,以及地端處理失敗的案例列為雲端比較組。

要驗證:雲端是否真的改善結果?多出的輸入/輸出 Token、呼叫次數和等待時間,換到了什麼?

03

混合:本機先做,需要時再交接

先在 NUC 分類、檢索或整理資料,再把必要內容交給雲端;也研究如何辨識需要升級處理的任務。

要驗證:分流有沒有漏掉困難案例?資料壓縮是否損失資訊?加上重試與人工修訂後,整段流程是否仍有幫助?

地端

哪些重複、範圍明確的工作,NUC 能獨立完成?

雲端

哪些困難任務,仍值得用雲端模型?

混合

能否先在本機處理,再把需要的部分交給雲端?

比較方式

同一任務、同一品質門檻,再看用量與成本。

從這些專案開始

把分工想法,做成可以比較的實驗。

混合原型/效益待驗證

Jarvis 中文語音助手

想法不必先一句句打出來:讓 NUC 在地端把中文語音轉成文字,再交給所選的地端或雲端模型。已有 Python/Electron 串接原型,接下來比較語音與打字的實際使用差別。

下一步記錄可用指令的完成時間、辨識修訂與模型回應。選用 Claude 時文字會送往雲端,edge-tts 也需要網路;目前尚無省時、Token 節省或穩定度結論。

看語音助手的實作與取捨
分流研究/待驗證

Jev 與 Laya:誰來決定任務往哪裡送?

從朋友的 Laya 貪食蛇專案,延伸思考決策模型能否當工作流選擇器:哪些請求留在本機,哪些需要雲端?

Jev 是雲端 API,Laya 提供相容介面的地端研究入口。這篇是附來源的構想,尚未重跑朋友專案或驗證路由效果。

讀分流構想與待驗證問題
比較方法/尚無實測數據

同一個任務,比較三種做法

建立雲端、地端與混合三組流程。先檢查結果是否可用,再量測 Token、呼叫次數、整段等待時間、NUC 資源與人工修訂。

方法與紀錄欄位已整理;模型、硬體配置與實測數據待補。地端不先假設比較便宜,硬體、電力與維護也要列入。

看三種流程的比較方法

我想留下的不只是「模型跑得動」,而是一份有條件的任務分工經驗:什麼留在 NUC、什麼交給雲端,以及什麼情況值得混合使用。每次實驗會交代配置、品質門檻與失敗情境,有數據之後再談節省或成效。

實驗構想

下一個實驗,你想先看哪個?

有些想法還在規劃,有些已經做出一小段。我會把進度留在文章上,也想聽聽你最想看什麼。

規劃中初步實作實測中已分享結果

進度會隨實作更新,和主題標籤分開。

看看構想,在 Instagram 聊聊 →

有想看的實驗,可以在 Instagram 告訴我。

影片筆記

有些過程,用影片更容易說清楚。

之後會把操作示範與實測影片放在這裡,搭配文字摘要和測試設定。第一支影片還在準備中。