Escrevo artigos com IA. Traduzo com IA. Conserto links com IA. Somo os acessos com IA. Pergunto à IA “essa parte não está confusa?” e corrijo com IA de novo.
Quando você chega nesse ponto, quase sempre aparece o mesmo problema.
Todo mundo conhece o site bem demais.
Quem criou sabe o que cada botão significa. A IA lê a especificação e entende que “esse botão é de artigos relacionados”. O dono do site já viu as páginas tantas vezes que, mesmo se algo estiver meio esquisito, o cérebro completa sozinho.
Mas quem chega pela primeira vez não tem nada disso.
“Que isso?” “Onde eu clico?” “Por que só aqui está em inglês?” “Não consigo voltar.” “Dá pra ler o texto, mas tem algo que me incomoda.”
Esse “algo” é exatamente o que eu quero.
Então a ideia a que cheguei é bem divertida.
Finalmente vou terceirizar a depuração para gente de carne e osso.
E pago 1 iene por apontamento, com limite de 1.000 ienes por pessoa.
Chegou a era em que humanos tiram o emprego da IA. A área deles: “a sensação de que tem algo errado”.
1. O que quero terceirizar não é revisão de código, e sim “onde a pessoa tropeça na primeira visita”
Não estou atrás de uma grande auditoria feita por especialistas.
- Não entendo o que o botão significa
- Não sei para onde ir depois
- O título está estranho
- No celular é difícil de tocar
- O link leva a uma página em outro idioma
- Toquei em algo e a tela ficou toda branca
- A frase está correta, mas uma pessoa lendo acha estranha
- Seria bom ter uma função aqui
Coisas assim.
O Digital.gov, guia web do governo dos EUA, descreve o teste de usabilidade como uma forma de observar usuários reais tentando usar um produto ou serviço. [1] O GOV.UK, portal do governo britânico, também diz que observar o que usuários reais fazem ajuda a achar problemas concretos, como de linguagem e de layout. [2]
Ou seja, “deixar uma pessoa mexer uma vez” não é um ritual misterioso que surgiu de repente na era da IA.
É o velho teste de usabilidade, voltando para um site que agora dá para produzir e corrigir em massa com IA.
2. Às vezes, o próprio dono do site é quem pior consegue testar
Conferir o próprio site com atenção todo dia.
Falar é fácil. Mas quando crescem os artigos, os idiomas e as funções, simplesmente não dá.
E ainda há outro problema em “quem fez é quem confere”.
Ele sabe onde fica a busca. Sabe onde aparecem os artigos relacionados. Sabe como funciona a troca de idioma. Mesmo que algo esteja meio errado, deixa passar pensando “é assim mesmo”.
E, acima de tudo, dá preguiça de olhar.
Isso é mais importante do que parece.
Se você tenta vencer a preguiça na base da força de vontade e define “vou conferir 100 páginas por dia”, essa rotina não dura. Então melhor separar a etapa chata do resto.
O dono do site não precisa ser quem olha tudo.
Pode ser quem decide o que olhar e monta o sistema para corrigir o que for aparecendo.
3. Com 1 iene por apontamento, não compro “ideias”, compro olhos novos
Só pelo número, 1 iene por apontamento é baratíssimo.
Mas aqui não quero comprar um relatório de consultoria bonito.
Quero o fato de que olhos novos travaram uma vez em algum ponto.
Se uma pessoa mandar 1.000 apontamentos, são 1.000 ienes. Mas se for o mesmo apontamento dito com outras palavras, conta como um só. E o pagamento máximo por pessoa é de 1.000 ienes.
Esse limite é muito importante.
No instante em que você diz “quero que mandem bastante”, o mundo todo começa a pensar: “e se eu mandar a IA gerar 10.000 melhorias, serão 10.000 ienes?”
Por isso, junto com o pagamento por quantidade, defino estas condições:
- Ter olhado o site de verdade
- Escrever sobre lugares e comportamentos que existem
- Não encher a lista repetindo o mesmo ponto com outras palavras
- Ter um limite
Um aviso: 1 iene por apontamento é só o desenho deste experimento, não um valor justo universal. Se você pedir horas de trabalho ou uma avaliação especializada, as condições precisam ser compatíveis com o tempo e a dificuldade.
4. O maior inimigo é “gerei 10.000 melhorias com IA”
Não precisa proibir a IA.
O problema são as sugestões de melhoria de quem nunca olhou o site.
“Em geral, os sites devem deixar a navegação mais clara.” “Vamos melhorar a acessibilidade.” “Vamos otimizar para diferentes tamanhos de tela.”
Tudo correto.
E nada disso é o que eu quero.
O que eu quero são observações como:
“Nesta página, neste botão: não deu para saber o que aconteceria ao clicar.” “Logo depois deste título, o assunto deu um pulo de repente.” “Só nesta versão de idioma, os artigos relacionados levam para outro idioma.”
A IA serve para encurtar essas observações e juntar as repetidas.
A pessoa descobre, a IA organiza.
O importante é não inverter a ordem.
5. Se cada apontamento chegar por chat, quem pediu morre primeiro
Se você quer mais relatos, também precisa planejar como eles são enviados.
O pior é isto:
“Aqui está o primeiro.” “O segundo.” “Ah, e o terceiro.” “Mais um, o quarto.”
E o chat cresce sem fim.
Assim, você terceirizou a depuração e acabou criando um novo trabalho manual: recolher os relatos.
Por isso o envio é de uma vez só. Qualquer um destes serve:
- Excel
- Planilha
- Arquivo txt
- Lista numerada
- Texto que dê para copiar e colar
Capturas de tela também não são necessárias, em princípio. Ajudam a ver, mas depois dão muito atrito para buscar, remover duplicatas e processar com IA.
O guia de pesquisa com usuários do GOV.UK também diz que notas digitadas são mais fáceis de guardar e analisar depois, e que separar cada observação em um item facilita ordenar e analisar. [3]
O formato pode ser simples.
Onde / como está agora / o que seria melhor
Se for um bug:
Onde / o que você fez / o que aconteceu
Só isso já dá bastante material para a IA trabalhar depois.
6. Em site multilíngue, “foi traduzido” e “uma pessoa consegue ler” são coisas diferentes
Site multilíngue fica ainda mais interessante.
Para a máquina, os 12 idiomas foram gerados com sucesso. O build deu certo. HTTP 200. Os links existem.
Mesmo assim, uma pessoa olhando pode achar muita coisa estranha.
- Sobra um pedaço no idioma original
- Só os botões estão com tradução esquisita
- A frase faz sentido, mas soa pouco natural para um falante nativo
- O texto fica mais longo e quebra o layout
- Depois de trocar de idioma, só os artigos relacionados voltam para o idioma original
- Deveria ser o mesmo artigo, mas falta um pedaço
Isso só precisa ser conferido por quem lê aquele idioma.
Quem lê inglês confere o inglês. Quem lê coreano confere o coreano. O mesmo vale para chinês, espanhol, português, indonésio, tailandês, vietnamita, francês e alemão.
Não é preciso que todo mundo veja todos os idiomas.
A máquina confirma que “foi gerado”, e a pessoa confirma que “isso se lê normalmente?”.
Cada um faz um trabalho diferente.
7. Uma repetição conta como um só no pagamento, mas é importantíssima na análise
Se a mesma pessoa escreve:
“O botão está confuso.” “Não entendo o que o botão significa.” “Que botão é esse?”
isso conta como um.
Mas se três pessoas diferentes travam, cada uma por conta própria, no mesmo botão, a história muda.
Isso não é só repetição, é um atrito que se reproduz.
Por isso, na hora de somar, separo assim:
- Reformulações da mesma pessoa: juntar em um
- O mesmo apontamento feito de forma independente por pessoas diferentes: manter como frequência
“Três pessoas se perderam no mesmo lugar” pesa mais do que o gosto do dono do site.
O GOV.UK também inclui no seu padrão de serviço verificar a usabilidade com frequência com usuários reais ou previstos e testar em dispositivos que reflitam o comportamento dos usuários. [4]
Aumentar o número de pessoas não serve para “votar opiniões”, e sim para ver se o mesmo atrito acontece com outras pessoas também.
8. A forma final é IA → pessoa → IA, e a pessoa vira o sensor
O processo final fica bem limpo.
- A IA gera o artigo
- A IA traduz
- A IA confere links, estrutura e exibição
- A IA corrige os problemas conhecidos
- Uma pessoa lê, clica e se perde de verdade
- A pessoa escreve esse “algo estranho” em texto
- A IA junta as duplicatas
- A IA classifica por gravidade, reprodutibilidade e custo de correção
- A IA prepara propostas de correção
- Depois da correção, volta para a checagem automática e para a conferência humana
Finalmente, até a pessoa virou uma etapa do pipeline.
Só que o que sobra para a pessoa não é trabalho braçal.
É detectar o atrito que só um humano sente.
Isso é quase uma promoção.
Deixe a máquina ver “o link dá 404?” e deixe a pessoa ver “não dá 404, mas não entendi por que me trouxeram para cá”.
Deixe a máquina ver “o texto traduzido existe?” e deixe a pessoa ver “existe, mas ninguém fala assim”.
Essa divisão de trabalho é mais natural.
9. Se os testadores olham, as visualizações também sobem. Mas esse não é o objetivo
Claro, se alguém olha dezenas de páginas, as visualizações aumentam.
Num site com anúncios, os anúncios também podem aparecer durante a navegação normal.
Mas isso é só um subproduto.
Pedir que cliquem em anúncios, ou colocar como condição do trabalho que aumentem as exibições de anúncios, seria outra coisa bem diferente.
O que compro não são visualizações.
Compro a observação que fica depois de uma pessoa olhar a página.
Se de quebra o acesso subir um pouco, basta pensar: “eu estava fazendo teste com usuários e, de brinde, o caixa tocou um pouquinho”.
10. O fim da automação não era “zero pessoas”
Quando você começa a usar IA, é fácil querer saber até onde dá para eliminar as pessoas.
Mas, ao avançar de verdade na automação, às vezes se chega à conclusão oposta.
Não precisa eliminar todas as pessoas.
Basta levar as pessoas até o lugar onde só elas geram valor.
Rascunho de artigos. Tradução. Junção de duplicatas. Checagem de links. Classificação. Contagem. Propostas de correção.
Tudo isso vai para as máquinas.
E, no final, só compro das pessoas coisas como:
“É a primeira vez que vejo e não entendo o que é.” “Não gostei disso aqui.” “Tem algo estranho.” “Isso é prático.”
O que 1 iene por apontamento compra não é uma linha de texto.
É o instante de estranhamento de outra pessoa, algo que nem eu nem a IA conseguimos ter.
Levando a automação até o fim, os humanos voltaram.
E o departamento deles é “algo estranho”.
Muito humano.
- Digital.gov, “Usability testing digital.gov
- GOV.UK Service Manual, “Using moderated usability testing gov.uk
- GOV.UK Service Manual, “Taking notes and recording user research sessions gov.uk
- GOV.UK Service Manual, “4. Make the service simple to use gov.uk
