Deskripsi: Saat melatih AI sendiri, kipas komputer bisa menjadi sangat bising. Simak bedanya pelatihan, inferensi, API ChatGPT, dan pekerjaan Codex.
1. AI Diam, Kipas Malah Berpidato
Bertanya ke ChatGPT atau meminta Codex menulis kode biasanya tenang. Tetapi saat melatih jaringan saraf di PC sendiri, terdengar “WHOOOOSH!”. Komputer seolah siap lepas landas dari bawah meja. Kipas pendingin menjadi pembicara pertama penelitian AI.
2. Pelatihan Terus Mengoreksi Kesalahan
Jaringan saraf belajar dengan membuat prediksi, menghitung kesalahan dan menyesuaikan parameter secara berulang.[1] Inferensi adalah ketika model yang sudah dilatih memberi jawaban baru. Untuk operasi sebanding pada model yang sama, pelatihan biasanya butuh lebih banyak komputasi dan memori. Namun jawaban panjang dari model raksasa juga berat.[2] CPU atau GPU yang sibuk mengonsumsi listrik dan menghasilkan panas. Kipas mempercepat putaran untuk mendinginkannya. Ini penjelasan masuk akal untuk kebisingan, meski suara saja tidak membuktikan penyebabnya.[4]
3. API Memindahkan Perhitungan
Saat menggunakan model melalui API ChatGPT, inferensi utama terjadi di infrastruktur penyedia. PC sendiri terutama mengirim permintaan dan menerima hasil.[3] Ruangan yang tenang bukan berarti beban listrik dan pendinginan menghilang. Melatih model baru secara lokal berbeda dari meminta jawaban model ChatGPT yang sudah terlatih. Volume kipas bukan ukuran langsung besarnya pekerjaan.
4. Apakah ChatGPT dan Codex Lebih Pintar?
Model besar serbaguna sering unggul dalam menulis, bernalar dan membuat kode. Tetapi ChatGPT juga dibangun dari teknologi jaringan saraf. Model kecil khusus dapat lebih cepat, akurat atau murah dalam tugas sempit. Ujilah dengan data baru. Codex menambahkan alat untuk membaca berkas, menjalankan program, menguji hasil dan memperbaiki kode.[5] Jika menjalankan pelatihan berat di PC kamu, kipas bisa meraung meskipun asistennya digunakan lewat internet.
5. Periksa Beban yang Sebenarnya
Di Windows, Task Manager menampilkan penggunaan CPU, GPU dan memori. Alat yang kompatibel dapat menunjukkan suhu dan daya.[4] Bandingkan saat pelatihan berjalan dan setelah berhenti. Kipas yang cepat mungkin hanya mendinginkan perangkat secara normal. Panas berlebihan berkepanjangan, perlambatan berat atau suara mekanis aneh perlu pemeriksaan. Kebisingan bukan ukuran kecerdasan.
6. Tagihan Tak Terlihat Menjadi Terdengar
Di cloud, komputasi berarti server, listrik dan pendinginan. Di rumah, itu berarti panas dan “WHOOOOSH!”. Mesin sungguhan selalu bekerja di balik jawaban AI yang tampaknya ringan. Hasil penelitian pertama mungkin kipas yang minta nama sebagai rekan penulis.
