Escribo artículos con IA. Traduzco con IA. Arreglo enlaces con IA. Cuento las visitas con IA. Le pregunto a la IA «¿esta parte no resulta confusa?» y luego lo corrijo con IA otra vez.
Cuando llegas hasta aquí, casi siempre aparece el mismo problema.
Todos conocen demasiado bien el sitio.
Quien lo construyó sabe qué significa cada botón. La IA lee las especificaciones y entiende que «este botón es para artículos relacionados». El administrador lo ha visto tantas veces que, aunque algo esté un poco raro, su cerebro lo rellena solo.
Pero alguien que llega por primera vez no tiene nada de eso.
«¿Y esto qué es?» «¿Dónde hay que pulsar?» «¿Por qué solo esta parte está en inglés?» «No puedo volver atrás.» «El texto se entiende, pero hay algo que me chirría.»
Ese «algo» es justo lo que quiero.
Así que la idea a la que llegué es bastante divertida.
Por fin voy a subcontratar la depuración a personas de carne y hueso.
Y pago 1 yen por cada observación, con un máximo de 1.000 yenes por persona.
Ha llegado la era en que los humanos le quitan el trabajo a la IA. Su departamento: «la sensación de que algo no cuadra».
1. Lo que quiero subcontratar no es una revisión de código, sino «dónde tropieza alguien que llega por primera vez»
No busco una auditoría enorme hecha por expertos.
- No entiendo qué significa un botón
- No sé adónde ir después
- Un encabezado suena raro
- En el móvil cuesta pulsar
- El enlace lleva a una página en otro idioma
- Pulsé algo y la pantalla se quedó en blanco
- La frase es correcta, pero a una persona le suena rara
- Aquí vendría bien tener una función
Cosas así.
Digital.gov, la guía web del gobierno de EE. UU., describe las pruebas de usabilidad como una forma de observar cómo usuarios reales intentan usar un producto o servicio. [1] GOV.UK, el portal del gobierno británico, también dice que ver cómo usan el servicio personas reales permite detectar problemas concretos, como el idioma o el diseño de la página. [2]
O sea, «dejar que una persona lo toque una vez» no es un ritual misterioso que haya surgido de golpe con la IA.
Es la vieja prueba de usabilidad, que vuelve a un sitio que ahora se puede producir y corregir en masa con IA.
2. A veces, el propio administrador es quien peor puede probar el sitio
Revisar tu propio sitio con cuidado todos los días.
Es fácil de decir. Pero cuando crecen los artículos, los idiomas y las funciones, sencillamente no se puede.
Además, que lo revise quien lo hizo tiene otro problema.
Sabe dónde está el buscador. Sabe dónde aparecen los artículos relacionados. Sabe cómo funciona el cambio de idioma. Aunque algo esté un poco mal, lo da por bueno pensando «es que funciona así».
Y, sobre todo, da pereza mirar.
Esto importa más de lo que parece.
Si intentas vencer la pereza a base de fuerza de voluntad y te propones «revisar 100 páginas al día», esa rutina no dura. Mejor separar la tarea pesada del resto.
El administrador no tiene que ser quien lo mira todo.
Puede ser quien decide qué hay que mirar y construye el sistema para arreglar lo que se vaya acumulando.
3. Con 1 yen por observación no compro «ideas», compro ojos nuevos
Visto solo el número, 1 yen por observación es baratísimo.
Pero aquí no quiero comprar un informe de consultoría impecable.
Quiero el hecho de que unos ojos nuevos tropezaron una vez.
Si una persona manda 1.000 observaciones, son 1.000 yenes. Pero si es la misma observación dicha con otras palabras, cuenta como una. Y el pago máximo por persona es de 1.000 yenes.
Ese límite es muy importante.
En cuanto dices «quiero que mandéis muchas», el mundo entero empieza a pensar: «si hago que la IA suelte 10.000 mejoras, ¿serán 10.000 yenes?».
Por eso, junto con el pago por cantidad, pongo estas condiciones:
- Haber mirado el sitio de verdad
- Escribir sobre lugares y comportamientos que existen
- No inflar la lista repitiendo lo mismo con otras palabras
- Fijar un tope
Una aclaración: 1 yen por observación es el diseño de este experimento, no una tarifa justa universal. Si pides horas de trabajo o una evaluación especializada, las condiciones tienen que ir acordes con el tiempo y la dificultad.
4. El mayor enemigo es «he sacado 10.000 mejoras con IA»
No hace falta prohibir la IA.
El problema son las propuestas de mejora de alguien que nunca ha mirado el sitio.
«En general, los sitios web deberían hacer la navegación más clara.» «Mejoremos la accesibilidad.» «Optimicemos la adaptación a distintos tamaños de pantalla.»
Todo cierto.
Y nada de eso es lo que busco.
Lo que quiero son observaciones como:
«En esta página, este botón: no supe qué pasaría al pulsarlo.» «Justo después de este título, el tema dio un salto de repente.» «Solo en esta versión de idioma, los artículos relacionados llevan a otro idioma.»
La IA sirve para acortar esas observaciones y agrupar las repetidas.
La persona descubre, la IA ordena.
Lo importante es no invertir el orden.
5. Si cada observación llega por chat, el que pide el trabajo muere primero
Si quieres más reportes, también tienes que diseñar cómo se envían.
Lo peor es esto:
«Aquí va la primera.» «La segunda.» «Ah, y la tercera.» «Una más, la cuarta.»
Y el chat crece sin fin.
Así, subcontrataste la depuración y acabas con una nueva tarea manual: recopilar los reportes.
Por eso, el envío es de una sola vez. Vale cualquiera de estas opciones:
- Excel
- Hoja de cálculo
- Un archivo txt
- Una lista numerada
- Texto que se pueda copiar y pegar
Las capturas de pantalla tampoco hacen falta, en principio. Son cómodas para mirar, pero después, al buscar, quitar duplicados o procesar con IA, dan mucha fricción.
La guía de investigación con usuarios de GOV.UK también dice que las notas escritas son más fáciles de guardar y analizar después, y que separar cada observación en su propia línea facilita ordenarlas y analizarlas. [3]
El formato puede ser simple.
Dónde / cómo está ahora / qué sería mejor
Si es un error:
Dónde / qué hiciste / qué pasó
Con eso, la IA que viene después ya tiene bastante con lo que trabajar.
6. En un sitio multilingüe, «se tradujo» y «una persona lo puede leer» son cosas distintas
Los sitios multilingües son todavía más interesantes.
Para la máquina, los 12 idiomas se generaron bien. La compilación salió bien. HTTP 200. Los enlaces existen.
Y aun así, a una persona le pueden parecer raras muchas cosas.
- Se quedan restos del idioma original
- Solo los botones están mal traducidos
- La frase tiene sentido, pero a un hablante nativo le suena poco natural
- El texto se alarga y rompe el diseño
- Al cambiar de idioma, solo los artículos relacionados vuelven al idioma original
- Debería ser el mismo artículo, pero falta una parte
Esto solo lo necesita revisar quien sabe leer ese idioma.
Quien lee inglés, el inglés. Quien lee coreano, el coreano. Igual con el chino, el español, el portugués, el indonesio, el tailandés, el vietnamita, el francés y el alemán.
No hace falta que todos revisen todos los idiomas.
La máquina comprueba que «se generó», y la persona comprueba que «esto se lee con naturalidad».
Cada uno hace un trabajo distinto.
7. Una repetición cuenta como una sola a efectos de pago, pero para el análisis es importantísima
Si la misma persona escribe:
«El botón es confuso.» «No se entiende qué significa el botón.» «¿Qué es este botón?»
eso cuenta como una.
Pero si tres personas distintas se atascan por su cuenta en el mismo botón, la cosa cambia.
Eso ya no es una simple repetición, sino una fricción que se puede reproducir.
Por eso, al contar, lo separo así:
- Reformulaciones de la misma persona: se unifican
- La misma observación hecha de forma independiente por distintas personas: se conserva como frecuencia
«Tres personas se perdieron en el mismo sitio» pesa más que el gusto del administrador.
GOV.UK también incluye en su estándar de servicio comprobar la usabilidad con frecuencia con usuarios reales o previstos, y probar en dispositivos que reflejen cómo se comportan los usuarios. [4]
Sumar más personas no sirve para «votar opiniones», sino para ver si la misma fricción le ocurre también a otras personas.
8. La forma final es IA → persona → IA, y la persona hace de sensor
El proceso final queda bastante limpio.
- La IA genera el artículo
- La IA lo traduce
- La IA revisa enlaces, estructura y cómo se ve
- La IA corrige los problemas conocidos
- Una persona lee, pulsa y se pierde de verdad
- La persona escribe en texto ese «algo raro»
- La IA unifica los duplicados
- La IA los clasifica por gravedad, reproducibilidad y coste de arreglo
- La IA prepara propuestas de corrección
- Tras corregir, vuelve a pasar por revisión automática y por revisión humana
Por fin, hasta la persona es un paso más de la cadena.
Pero lo que le queda a la persona no es un trabajo mecánico.
Es detectar la fricción que solo una persona siente.
Más bien es un ascenso.
Que la máquina compruebe «¿el enlace da 404?», y que la persona compruebe «no da 404, pero no entiendo por qué me han traído aquí».
Que la máquina compruebe «¿existe el texto traducido?», y que la persona compruebe «existe, pero nadie lo dice así».
Es un reparto de tareas más natural.
9. Si los testers miran, las visitas también suben. Pero ese no es el objetivo
Claro, si alguien recorre decenas de páginas, las visitas aumentan.
En un sitio con anuncios, también puede que se muestren anuncios durante la navegación normal.
Pero eso es solo un subproducto.
Pedir que se haga clic en los anuncios, o poner como condición del trabajo que aumenten las impresiones de anuncios, sería otra cosa muy distinta.
Lo que compro no son visitas.
Compro la observación que queda después de que una persona haya mirado la página.
Si de paso suben un poco las visitas, basta con pensar: «estaba haciendo pruebas con usuarios y de paso sonó un poco la caja registradora».
10. El final de la automatización no era «cero personas»
Cuando empiezas a usar IA, es fácil que te dé por pensar hasta dónde se puede eliminar a las personas.
Pero al avanzar de verdad en la automatización, a veces se llega a la conclusión contraria.
No hace falta eliminar a todas las personas.
Basta con mover a las personas hasta el lugar donde solo ellas aportan valor.
Borradores de artículos. Traducción. Agrupar duplicados. Revisar enlaces. Clasificar. Contar. Proponer correcciones.
Todo eso, para las máquinas.
Y al final, solo compro de las personas cosas como:
«Es la primera vez que lo veo y no entiendo qué es.» «Esto no me gusta.» «Hay algo raro.» «Esto es práctico.»
Lo que se compra con 1 yen por observación no es una línea de texto.
Es el instante de extrañeza de otra persona, algo que ni yo ni la IA podemos tener.
Al llevar la automatización hasta el final, las personas han vuelto.
Y su departamento es «algo raro».
Qué humano.
- Digital.gov, “Usability testing digital.gov
- GOV.UK Service Manual, “Using moderated usability testing gov.uk
- GOV.UK Service Manual, “Taking notes and recording user research sessions gov.uk
- GOV.UK Service Manual, “4. Make the service simple to use gov.uk
