简介： 为什么本地训练AI会让电脑轰轰响？了解学与用的区别、ChatGPT API和Codex的计算位置。
1. AI很安静，风扇却突然开口
平时问ChatGPT或让Codex修改代码，周围很安静。自己在电脑上训练神经网络，风扇突然“呼————”地响了起来。桌子下的机器仿佛要起飞。研究人工智能，先发言的却是散热风扇。
2. 训练要不断纠正错误
神经网络通过预测、计算误差、调整参数来反复学习。[1] 训练完成后根据新输入生成答案叫推理。对同一模型的一次可比操作，训练通常需要更多计算和内存，但大模型的长篇推理也可能很耗资源。[2] CPU或GPU高负荷运行会产生热量，风扇为了散热而加速。这很可能解释噪音，但仅凭声音无法确定具体原因。[4]
3. API只是把计算搬走了
通过ChatGPT API调用托管模型时，主要推理在服务商的计算设施中完成。本地电脑主要发送请求和接收结果。[3] 桌面安静，并不意味着计算很轻松；电力和冷却负担在别处。 还要区分本地训练新模型和向已训练的ChatGPT提问。不能拿风扇音量直接比较两种工作的规模。
4. ChatGPT和Codex就更聪明吗？
写作、推理和编程等宽泛任务通常更适合大型通用模型。不过ChatGPT本身也采用神经网络技术。小型专用模型可能在单一分类或预测任务上更快、更准、更便宜，需要用新数据测试。 Codex还能够读取文件、运行程序、测试并修正代码。[5] 如果它在本机启动繁重的训练任务，即使助手是在线使用，电脑风扇依然可能狂转。
5. 查看真实负载
Windows任务管理器能显示CPU、GPU和内存的使用率。兼容工具还可查看温度和功耗。[4] 比较训练中与停止后的变化，有助于找出原因。 风扇转快有时是正常散热。持续过热、明显降速或异常机械声需要检查。响声不是AI智力评分。
6. 看不见的账单变成了声音
在云端，计算意味着服务器、电费和冷却设备；在家里，计算变成热气和“呼————”。看起来轻松的AI回答背后始终有机器在工作。 实验的第一项成果，可能是散热风扇的惊人存在感。
