설명: AI 학습 중 팬이 시끄러운 이유, 학습과 추론의 차이, ChatGPT API와 Codex가 계산하는 위치를 알아본다.
1. AI는 조용했지만 팬은 달랐다
ChatGPT에 질문하거나 Codex에 코딩을 맡길 때는 조용하다. 그런데 PC에서 신경망을 학습시키자 “우우우우웅!” 소리가 난다. 책상 밑에서 비행기가 이륙할 기세다. 연구의 첫 발표자는 냉각 팬이었다.
2. 학습은 답을 반복해서 고친다
신경망은 데이터를 예측하고 오차를 계산하며 내부 값을 계속 조정한다.[1] 학습된 모델이 새 질문에 답하는 일은 추론이다. 같은 모델의 비슷한 작업 한 번을 비교하면 보통 학습이 계산량과 메모리를 더 사용한다. 하지만 거대 모델의 긴 추론도 무겁다.[2] CPU나 GPU가 바쁘면 열이 나고 팬이 빨라진다. 학습 소음의 유력한 이유지만 소리만으로 원인을 확정할 수는 없다.[4]
3. API는 계산을 다른 곳으로 옮긴다
ChatGPT API를 이용할 때 핵심 추론은 서비스 제공업체의 장비에서 처리된다. 내 PC는 주로 요청과 응답을 주고받는다.[3] 내 방이 조용한 동안 전력과 냉각은 서버 쪽에서 필요하다. 직접 새 모델을 학습시키는 것과 이미 학습된 ChatGPT에 질문하는 것은 서로 다른 작업이다. 소음으로 규모를 직접 비교하면 안 된다.
4. ChatGPT나 Codex가 더 똑똑할까?
범용 글쓰기와 추론, 코딩에서는 대형 모델이 유리한 경우가 많다. 하지만 ChatGPT도 신경망 기술을 사용한다. 작은 전용 모델은 특정 작업에서 정확도, 속도, 비용 면에서 더 나을 수 있다. 처음 보는 데이터로 시험해 판단해야 한다. Codex는 파일을 읽고 코드를 실행하고 테스트 후 수정하는 도구까지 사용한다.[5] 내 PC에서 무거운 학습 작업을 실행하면 온라인 AI를 이용하더라도 팬이 시끄러워진다.
5. 실제 부하를 확인하자
Windows 작업 관리자에서 CPU, GPU, 메모리 사용률을 볼 수 있다. 지원되는 감시 도구에서는 온도와 전력도 확인 가능하다.[4] 학습 중과 종료 후를 비교하자. 팬 가속은 정상적인 냉각일 수도 있다. 지속적인 과열, 심한 성능 저하나 이상한 기계음은 점검이 필요하다. 소음은 지능 점수가 아니다.
6. 보이지 않는 계산이 소리가 됐다
클라우드에서는 서버와 전기 요금이 되는 계산이 집에서는 열과 “우우우웅!”이 된다. AI의 간단한 대답 뒤에도 실제 기계가 일하고 있다. 첫 연구 성과는 정확도가 아니라 냉각 팬의 존재감이었다.
