簡介： 為何在自己的電腦訓練AI時，風扇突然轟轟響？理解訓練與推論、ChatGPT API及Codex的工作位置。
1. AI很安靜，風扇卻搶著說話
平常問ChatGPT或請Codex修改程式都很安靜。輪到自己訓練神經網路，電腦突然「轟————」地響起。桌下的機器彷彿要起飛。研究人工智慧，第一位發言者竟是散熱風扇。
2. 訓練得不斷修正錯誤
神經網路透過預測、計算誤差、調整內部參數來反覆學習。[1] 已訓練模型根據新輸入產生答案則稱為推論。對同一模型的一次相近工作，訓練通常需要更多運算與記憶體，但大型模型的長篇推論也相當耗費資源。[2] CPU或GPU負載升高時會產生熱量，風扇加速以便散熱。這可合理解釋噪音，但單靠聲音無法確定原因。[4]
3. API只是讓計算搬家
透過ChatGPT API呼叫託管模型時，主要推論在服務商的設備上進行。自己的電腦以送出要求與接收結果為主。[3] 桌上安靜，不代表計算輕鬆；電力與冷卻工作移到了別處。 本機訓練新模型和詢問已訓練的ChatGPT是兩種不同工作，無法直接用風扇音量比較規模。
4. ChatGPT和Codex比較聰明嗎？
在寫作、推理及程式工作等廣泛領域，大型通用模型往往有優勢。但ChatGPT本身也是神經網路技術的產物。小型專用模型可能在特定分類或預測上更快、更準、更省錢，需要用新資料驗證。 Codex還能讀取檔案、執行程式、測試並修正程式碼。[5] 若它在本機執行繁重訓練，即使用的是線上助手，風扇也可能狂轉。
5. 查看真正的負載
Windows工作管理員可顯示CPU、GPU與記憶體使用率。相容工具還能顯示溫度與功耗。[4] 比較訓練中和結束後的數據，有助於找出原因。 風扇轉快可能只是正常散熱。持續過熱、明顯變慢或異常機械聲值得檢查。噪音大小並非智慧分數。
6. 看不見的帳單突然有了聲音
在雲端，運算是伺服器、電費與冷卻設備；在家裡，它是熱氣和「轟————」。AI看似輕鬆的回答，背後始終有真正的機器忙碌。 這次研究的第一項成果，可能是散熱風扇的壓倒性存在感。
