Nulis artikel pakai AI. Menerjemahkan pakai AI. Memperbaiki tautan pakai AI. Menghitung kunjungan pakai AI. Nanya ke AI, “Bagian ini nggak membingungkan, kan?”, lalu memperbaikinya pakai AI lagi.
Kalau sudah sampai sini, biasanya muncul satu masalah.
Semua orang terlalu hafal dengan situsnya.
Pembuatnya tahu arti setiap tombol. AI membaca spesifikasi dan paham bahwa “tombol ini untuk artikel terkait”. Pengelola situs sudah melihatnya berkali-kali, jadi kalau ada yang agak janggal, otaknya otomatis menambal sendiri.
Tapi orang yang baru pertama kali datang tidak punya semua itu.
“Ini apa?” “Harus pencet yang mana?” “Kenapa cuma bagian ini yang bahasa Inggris?” “Kok nggak bisa balik?” “Tulisannya bisa dibaca, tapi entah kenapa rasanya ganjil.”
Nah, “entah kenapa” itulah yang saya cari.
Jadi ide yang akhirnya muncul lumayan lucu.
Akhirnya, proses debugging saya serahkan ke manusia sungguhan.
Bayarannya 1 yen per temuan. Maksimal 1.000 yen per orang.
Zaman manusia merebut pekerjaan AI sudah tiba. Bagian tugasnya: “rasa janggal”.
1. Yang mau saya serahkan bukan code review, tapi “bagian yang bikin tersandung saat pertama lihat”
Yang saya butuhkan kali ini bukan audit besar-besaran oleh ahli.
- Nggak paham arti tombolnya
- Nggak tahu harus ke mana selanjutnya
- Judulnya aneh
- Susah dipencet di HP
- Tautannya mengarah ke halaman berbahasa lain
- Habis memencet sesuatu, layarnya jadi putih kosong
- Kalimatnya benar secara tata bahasa, tapi kalau dibaca manusia terasa aneh
- Kayaknya bakal enak kalau ada fitur di sini
Hal-hal seperti itu.
Digital.gov, panduan web pemerintah AS, menjelaskan uji kegunaan (usability testing) sebagai cara mengamati pengguna sungguhan yang mencoba memakai produk atau layanan. [1] GOV.UK, portal pemerintah Inggris, juga menyebut bahwa dengan melihat bagaimana pengguna sungguhan memakainya, kita bisa menemukan masalah konkret seperti bahasa dan tata letak. [2]
Jadi “biarkan orang menyentuhnya sekali” bukanlah ritual misterius yang tiba-tiba muncul di era AI.
Ini uji kegunaan lama yang kembali ke situs yang kini bisa diproduksi dan diperbaiki secara massal dengan AI.
2. Kadang pengelola situs sendiri justru yang paling sulit mengujinya dengan benar
Memeriksa situs sendiri dengan teliti setiap hari.
Gampang diucapkan. Tapi kalau artikel, bahasa, dan fitur terus bertambah, ya jelas tidak mungkin.
Lagi pula, “yang membuat yang memeriksa” punya masalah lain.
Dia tahu di mana kotak pencarian. Dia tahu di mana artikel terkait muncul. Dia tahu cara kerja pergantian bahasa. Kalau ada yang agak janggal, dia lewatkan sambil bilang “memang begitu”.
Dan yang paling utama, melihatnya itu merepotkan.
Ini penting, lebih dari kelihatannya.
Kalau rasa malas itu dilawan dengan tekad semata, misalnya “mulai hari ini cek 100 halaman tiap hari”, kebiasaan itu tidak akan bertahan lama. Jadi lebih baik pisahkan saja tahap yang merepotkan itu.
Pengelola situs tidak perlu jadi orang yang melihat semuanya.
Cukup jadi orang yang menentukan apa yang perlu dilihat, lalu membangun sistem untuk memperbaiki temuan yang terkumpul.
3. Yang dibeli dengan 1 yen per temuan bukan “ide”, tapi mata yang masih segar
Kalau hanya melihat angkanya, 1 yen per temuan memang murah sekali.
Tapi yang mau saya beli di sini bukan dokumen konsultasi yang keren.
Yang saya beli adalah fakta bahwa sepasang mata baru pernah tersangkut di suatu titik.
Kalau satu orang mengirim 1.000 temuan, ya 1.000 yen. Tapi kalau isinya sama dan hanya diubah kalimatnya, tetap dihitung satu. Batas bayaran per orang juga 1.000 yen.
Batas ini penting sekali.
Begitu saya bilang “saya mau banyak laporan”, dunia langsung bergerak ke arah “berarti kalau saya suruh AI bikin 10.000 poin perbaikan, dapat 10.000 yen dong?”
Karena itu, selain bayaran per jumlah temuan, saya pasang syarat berikut:
- Benar-benar melihat situsnya
- Menulis tentang tempat dan perilaku yang memang ada
- Tidak menambah-nambah daftar dengan kalimat lain untuk temuan yang sama
- Ada batas maksimal
Satu catatan lagi: 1 yen per temuan hanyalah rancangan untuk eksperimen ini, bukan tarif wajar yang berlaku umum. Kalau meminta kerja berjam-jam atau penilaian ahli, syaratnya harus disesuaikan dengan waktu dan tingkat kesulitannya.
4. Musuh terbesarnya adalah “saya bikin 10.000 poin perbaikan pakai AI”
Tidak perlu melarang AI.
Masalahnya ada pada usulan perbaikan dari orang yang belum pernah melihat situsnya.
“Pada umumnya situs web sebaiknya membuat navigasi lebih jelas.” “Mari tingkatkan aksesibilitas.” “Mari optimalkan tampilan agar menyesuaikan ukuran layar.”
Semuanya benar.
Dan semuanya bukan yang saya cari.
Yang saya mau adalah pengamatan seperti ini:
“Di halaman ini, tombol ini: saya nggak tahu apa yang terjadi kalau dipencet.” “Tepat setelah judul ini, topiknya tiba-tiba loncat.” “Hanya di versi bahasa ini, artikel terkaitnya mengarah ke bahasa lain.”
AI bisa dipakai untuk merapikan pengamatan itu jadi lebih singkat dan menggabungkan yang dobel.
Manusia menemukan, AI merapikan.
Yang penting, urutannya jangan dibalik.
5. Kalau dikirim satu per satu lewat chat, yang meminta kerja bisa tumbang duluan
Kalau mau jumlah laporan bertambah, cara mengirimnya juga harus dirancang.
Yang paling menyiksa adalah cara begini:
“Ini yang pertama.” “Yang kedua.” “Oh iya, yang ketiga.” “Tambahan, yang keempat.”
Chat-nya memanjang tanpa akhir.
Dengan begitu, debugging sudah diserahkan, tapi malah muncul pekerjaan manual baru: mengumpulkan laporan.
Jadi pengiriman dilakukan sekaligus. Salah satu dari ini boleh:
- Excel
- Spreadsheet
- File txt
- Daftar bernomor
- Teks yang bisa disalin-tempel
Tangkapan layar pada dasarnya juga tidak perlu. Memang enak dilihat, tapi nanti menyulitkan saat mencari, menghapus duplikat, dan memprosesnya dengan AI.
Panduan riset pengguna GOV.UK juga menyebut bahwa catatan yang diketik lebih mudah disimpan dan dianalisis belakangan, dan memecah satu pengamatan menjadi satu butir memudahkan pengurutan dan analisis. [3]
Formatnya cukup sederhana.
Di mana / sekarang seperti apa / sebaiknya diapakan
Kalau berupa bug:
Di mana / apa yang dilakukan / apa yang terjadi
Hanya dengan itu, AI di tahap berikutnya sudah bisa bekerja banyak.
6. Di situs multibahasa, “sudah diterjemahkan” dan “manusia bisa membacanya” itu dua hal berbeda
Situs multibahasa lebih menarik lagi.
Menurut mesin, 12 bahasa semuanya berhasil dibuat. Build berhasil. HTTP 200. Tautannya ada.
Tapi tetap saja, kalau dilihat manusia, sering ada yang terasa aneh.
- Sebagian masih tertinggal dalam bahasa aslinya
- Hanya terjemahan tombolnya yang janggal
- Kalimatnya masuk akal, tapi tidak natural bagi penutur asli
- Teksnya jadi lebih panjang dan tata letaknya berantakan
- Setelah ganti bahasa, hanya artikel terkait yang kembali ke bahasa asli
- Harusnya artikel yang sama, tapi ada bagian yang hilang
Ini cukup dicek oleh orang yang bisa membaca bahasa itu.
Yang bisa baca bahasa Inggris, cek bahasa Inggris. Yang bisa baca bahasa Korea, cek bahasa Korea. Begitu juga bahasa Mandarin, Spanyol, Portugis, Indonesia, Thailand, Vietnam, Prancis, dan Jerman.
Tidak perlu semua orang melihat semua bahasa.
Mesin memastikan “sudah dibuat”, manusia memastikan “ini enak dibaca nggak?”.
Tugasnya berbeda.
7. Duplikat dihitung satu untuk bayaran, tapi untuk analisis sangat penting
Kalau orang yang sama menulis:
“Tombolnya membingungkan.” “Arti tombolnya tidak jelas.” “Tombol ini apa sih?”
itu cukup dihitung satu.
Tapi kalau tiga orang berbeda, masing-masing secara terpisah, tersangkut di tombol yang sama, ceritanya lain.
Itu bukan sekadar duplikat, melainkan hambatan yang bisa terulang.
Jadi saat merekap, saya pisahkan begini:
- Kalimat berbeda dari orang yang sama → digabung
- Temuan yang sama dari orang berbeda secara independen → disimpan sebagai frekuensi
“Tiga orang bingung di tempat yang sama” lebih kuat daripada selera pengelola situs.
GOV.UK juga menjadikannya standar layanan: sering memeriksa kegunaan dengan pengguna nyata atau calon pengguna, dan menguji di perangkat yang mencerminkan perilaku pengguna. [4]
Menambah jumlah orang bukan untuk “voting pendapat”, tapi untuk melihat apakah hambatan yang sama juga terjadi pada orang lain.
8. Bentuk akhirnya AI → manusia → AI, dan manusia menjadi sensor
Proses akhirnya lumayan rapi.
- AI membuat artikel
- AI menerjemahkan
- AI memeriksa tautan, struktur, dan tampilan
- AI memperbaiki masalah yang sudah dikenal
- Manusia benar-benar membaca, menekan, dan kebingungan
- Manusia menuliskan “kok aneh ya” dalam bentuk teks
- AI menggabungkan duplikat
- AI mengelompokkan berdasarkan tingkat keparahan, keterulangan, dan biaya perbaikan
- AI membuat usulan perbaikan
- Setelah diperbaiki, kembali lagi ke pemeriksaan mesin dan pengecekan manusia
Akhirnya, manusia pun menjadi salah satu tahap dalam alur kerja.
Tapi pekerjaan yang tersisa untuk manusia bukan pekerjaan remeh.
Itu adalah mendeteksi hambatan yang hanya bisa dirasakan manusia.
Ini malah lebih mirip kenaikan jabatan.
Biar mesin yang melihat “apakah tautannya 404”, dan manusia yang melihat “bukan 404, tapi kenapa saya dibawa ke sini?”
Biar mesin yang melihat “apakah teks terjemahannya ada”, dan manusia yang melihat “ada, tapi orang biasanya tidak bilang begitu”.
Pembagian kerja seperti itu lebih alami.
9. Kalau penguji melihat, jumlah tayangan halaman ikut naik. Tapi itu bukan tujuannya
Tentu saja kalau orang melihat puluhan halaman, jumlah kunjungan naik.
Pada situs yang punya iklan, iklan juga bisa tampil saat orang menjelajah seperti biasa.
Tapi itu murni efek samping.
Kalau sampai meminta orang mengeklik iklan, atau menjadikan penambahan tayangan iklan sebagai syarat kerja, itu urusan yang sama sekali berbeda.
Yang saya beli bukan tayangan halaman.
Yang saya beli adalah pengamatan yang tertinggal setelah manusia melihat halaman.
Kalau sambil lalu kunjungannya naik sedikit, anggap saja “lagi uji coba pengguna, eh kasirnya ikut berbunyi sedikit”.
10. Titik akhir otomatisasi ternyata bukan “nol manusia”
Begitu mulai memakai AI, kita gampang tergoda memikirkan sejauh mana manusia bisa dihilangkan.
Tapi kalau otomatisasi benar-benar dijalankan, kadang kesimpulannya malah sebaliknya.
Tidak perlu menghilangkan semua manusia.
Cukup pindahkan manusia ke tempat yang hanya bernilai kalau dikerjakan manusia.
Draf artikel. Terjemahan. Merapikan duplikat. Memeriksa tautan. Mengelompokkan. Merekap. Usulan perbaikan.
Semua itu didekatkan ke mesin.
Lalu di ujungnya, yang dibeli dari manusia hanyalah:
“Baru pertama lihat, nggak ngerti ini apa.” “Aku nggak suka bagian ini.” “Kok aneh ya.” “Ini praktis.”
Yang dibeli dengan 1 yen per temuan bukan sebaris kalimat.
Melainkan rasa janggal sesaat dari orang lain, sesuatu yang tidak bisa dimiliki oleh saya maupun AI.
Setelah otomatisasi dikejar sampai ujung, manusia kembali.
Dan departemennya adalah “kok aneh ya”.
Manusia banget.
- Digital.gov, “Usability testing digital.gov
- GOV.UK Service Manual, “Using moderated usability testing gov.uk
- GOV.UK Service Manual, “Taking notes and recording user research sessions gov.uk
- GOV.UK Service Manual, “4. Make the service simple to use gov.uk
