Todos fizeram o curso. Ninguém abre a ferramenta.
Certa vez, participei de uma revisão em que um cliente percorreu um painel que mostrava uma taxa de conclusão de curso de 96% para uma implementação de IA. Todos assentiram. Os números eram verdes. Então, alguém da área de operações perguntou, quase como um aparte, se alguém na área estava realmente usando a ferramenta. A sala ficou em silêncio, porque ninguém havia medido isso, e a resposta honesta acabou sendo não. Essa lacuna, entre a conclusão de um curso e a adoção da ferramenta em uso, é algo que ninguém coloca no painel. E é a única coisa que o projeto trata.
A conclusão mede a frequência, não a mudança
A inscrição em uma academia é uma maneira útil de pensar sobre isso. A academia pode informar que você digitalizou seu cartão 11 vezes no mês passado. Ele não pode dizer se você é mais forte. O check-in é real, é fácil de contar e está quase completamente desconectado daquilo em que você realmente se inscreveu. A conclusão do curso é a digitalização do cartão. Um teste aprovado é um pouco melhor. Nenhum dos dois informa se algo mudou no local onde o trabalho é realizado.
Existe uma estrutura útil para isso, fornecida por um pesquisador em formação chamado Donald Kirkpatrick, que estabeleceu quatro níveis de avaliação. O nível 1 é se as pessoas gostaram do treinamento. O nível 2 é se eles aprenderam o material, o que um questionário pode verificar. O nível 3 (se o comportamento realmente mudou no trabalho) é o que importa aqui, e é aquele que quase ninguém mede. Há um nível 4 acima dele também, o resultado real que o negócio buscava, e a razão pela qual observo o comportamento do nível 3 é que ele é o principal indicador desses resultados: menos retornos de chamada, menos retrabalho, menos erros exatos que a ferramenta foi comprada para impedir. Quando o comportamento muda no trabalho, os números dos andares vêm em seguida. Você não precisa de vocabulário acadêmico para funcionar bem. Você só precisa saber que as pontuações de conclusão e de teste estão nos níveis fáceis, e aquilo que lhe interessa vive um nível acima, onde é mais difícil de ver.
Como realmente é a adoção
A mudança de comportamento deixa rastros se você souber onde procurar. A ferramenta está sendo aberta na etapa do fluxo de trabalho para a qual foi planejada, semanas após o término do treinamento, sem ninguém lembrar as pessoas? Os trabalhadores estão abordando o assunto por conta própria, perguntando sobre casos extremos, dizendo onde isso fica aquém? Essas perguntas só vêm de pessoas que realmente estão usando alguma coisa. Quando as pessoas que você treinou começam a lhe dizer onde a ferramenta falha, isso pode soar como uma reclamação, mas o que você realmente ouve são pessoas que incorporaram a coisa no dia a dia o suficiente para encontrar seus limites. Esse é o som da adoção.
O uso que se mantém após as primeiras duas semanas é o sinal em que mais confio. Quase tudo sofre um impacto logo após o treino. A questão é se a curva se achata em um número real ou cai de volta a zero quando a novidade e a atenção do gestor se movem.
Instrumente-o sem se transformar em vigilância
A maneira errada de medir a adoção é começar a registrar cada pressionamento de tecla e monitorar os trabalhadores individuais uns contra os outros. No momento em que as pessoas se sentem observadas, você envenenou aquilo que está tentando medir e ganhou um andar cheio de pessoas que usarão a ferramenta apenas quando acharem que alguém está olhando.
Sinais agregados são suficientes, e a maioria deles é contável sem destacar ninguém. A frequência com que a ferramenta é aberta na etapa correta do fluxo de trabalho, contada por equipe e não por nome. Quer os tíquetes de suporte ou os retornos de chamada que a ferramenta deveria cortar estão, na verdade, com tendência de queda em mais de um trimestre. Um check-in curto e honesto, um mês antes, que pergunta o que está funcionando e o que não está. Uma conversa tranquila com alguns líderes da linha de frente sobre se eles estão vendo o comportamento na natureza. Cada um deles é lido no nível da equipe, nunca no nível individual. Você está tentando saber se o trabalho mudou, e não para construir um arquivo de caso sobre qualquer pessoa. Quanto mais leve for a sua mão, mais verdadeira será a leitura.
Defina essa expectativa antes do início do trabalho
Aqui está a parte que tem que acontecer antes do noivado, não depois. Quando um comprador me pede para criar um treinamento de IA, a conclusão geralmente é o número que ele tem em mente como linha de chegada. Então eu digo a eles desde o início que a conclusão não é a entrega, mas a mudança de comportamento é, e que analisaremos o uso no local 60 e 90 dias antes, e não apenas se todos clicaram dentro do prazo. Alguns hábitos se estabelecem nessa altura e outros demoram mais, por isso trato esses pontos de verificação como uma leitura sobre a tendência para a adoção (ou não), em vez de uma nota final.
Essa conversa muda todo o formato do projeto, porque um curso construído para ser concluído e um curso construído para ser utilizado não são o mesmo curso. Alguns compradores recuam no início, porque a conclusão é o número que eles esperavam reportar para cima. Mas a maioria, depois de aceitar isso, prefere saber a verdade do que ter uma taxa de conclusão de 96% que esconde uma ferramenta que ninguém tocou. Eles queriam a ferramenta usada. Eles simplesmente não foram informados de que a conclusão e o uso eram coisas diferentes que eles tiveram que escolher no início. Então eu conto a eles e medimos o caminho certo desde o primeiro dia.
