Inovação Educacional

Meça o que importa: Bright L&D Future

Editor Sucess

Você está fazendo a diferença? Medir o que importa

Você pode conhecer uma versão desta antiga história:

É meia -noite em uma rua tranquila, e uma figura solitária um tanto embriagada se agacha sob um bolo de rua, dando um tapinha na calçada. Um transeunte pergunta o que está fazendo. “Procurando a chave da minha porta”, ele suspira. O transeunte se junta à busca por alguns minutos infrutíferos antes de perguntar: “Você tem certeza de que perdeu sua chave aqui?” O homem balança a cabeça: “Não, eu a perdi no parque”. Intrigado, o ajudante responde: “Então por que estamos pesquisando aqui?” O homem gesticula para a piscina da luz lançada pela lâmpada, “porque a iluminação é muito melhor aqui”.

Podemos rir do absurdo, mas esse efeito clássico da luz de rua (também conhecido como pesquisa de bêbado) ilustra um viés humano comum: tendemos a procurar respostas onde é fácil pesquisar, não necessariamente onde está a verdade (1).

Efeito da luz da rua de L&D

No mundo da aprendizagem e desenvolvimento (L&D), geralmente atuamos em nossa própria versão desta história. Diante da pergunta assustadora: “Nós realmente fizemos a diferença?”, Muitos profissionais de L&D se vêem vasculhando as áreas bem iluminadas de seus dados: relatórios do Sistema de Gerenciamento de Aprendizagem (LMS), taxas de conclusão de cursos e pesquisas de smile-folhas. Não porque é aí que o impacto é, mas simplesmente porque essas métricas estão prontamente à mão.

As verdadeiras “chaves” para o impacto do desempenho podem estar no escuro, espalhadas nos painéis de desempenho no trabalho, números de vendas ou notas de satisfação do cliente, mas essas áreas são mais difíceis de iluminar. Então, sob a proverbial luz da rua, ficamos, gerando relatórios sobre itens como participação e pontuações pós-treinamento. Parece seguro e satisfatório. Este é o efeito da luz da rua na medição de L&D: medimos o que é fácil, não necessariamente o que importa.

O efeito da luz da rua em L&D: medindo o que é fácil, não o que é importante

O hábito de “pesquisar onde está a luz está” explica muitas armadilhas na medição de L&D. Considere como o sucesso do treinamento é frequentemente relatado:

“Tivemos 500 pessoas participando do workshop, e 95% delas disseram que recomendariam!” ou “Nosso LMS mostra 1200 conclusões do curso neste trimestre! O tempo total de treinamento entregue por nossa equipe é de 600 horas”.

Essas métricas de vaidade brilham intensamente. Eles são fáceis de reunir (o LMS rastreia as conclusões automaticamente e quem não ama uma boa pesquisa pós-treinamento que nos faz sentir apreciados?). Mas eles realmente nos dizem se os funcionários melhoraram suas habilidades ou se os negócios se beneficiaram? Os negócios interpretam suas 600 horas gastas no treinamento como valor entregue (em oposição ao investimento)? Freqüentemente, a resposta é não.

Um estudo descobriu que as empresas “dependem muito de métricas básicas, como taxas de conclusão e folhas de sorriso” (3). Esses são exatamente o tipo de coisa sob a luz da rua L&D: são visíveis e simples de medir. É automatizado, conveniente e reconfortante – assim como o brilho daquele pântano.

A nova pesquisa da Association for Talent Development descobriu que apenas 43% dos profissionais de desenvolvimento de talentos dizem que seus objetivos de negócios e aprendizado estão alinhados. (n = 277) (4)

Se não estamos alinhados ou não temos certeza se estamos alinhados, estamos analisando o que importa?

O que não estamos olhando?

Uma das minhas perguntas favoritas ao investigar os problemas ou oportunidades de negócios: “Ok, o que não estamos olhando?”

Sim, fazer perguntas e desacelerar o processo pode ser caro. Mas, portanto, pode confiar apenas em pontos de dados convenientes. A conveniência tem um custo! Ao se concentrar em métricas fáceis sob a luz da rua, as organizações geralmente perdem a história real escondida em becos sombrios. Como disse um relatório, as empresas acabam assumindo que, se os alunos concluíram o treinamento e dão um polegar-se, o treinamento deve ser eficaz. É uma “suposição perigosa” de que a conclusão é igual ao sucesso (3).

Na realidade, a conclusão e a satisfação não garantem o aprendizado, a mudança de comportamento ou os resultados. Um funcionário pode dar a 5 estrelas do curso porque foi divertido, mas não mudar nada sobre seu trabalho no dia seguinte. Uma equipe pode alcançar 100% de conclusão de treinamento obrigatório, mas você não vê melhorias nos incidentes de segurança relacionados ou nos números de vendas. Sob a aconchegante luz das taxas de conclusão e médias da pesquisa, essas falhas em impulsionar mudanças reais permanecem nas sombras.

Não sou apenas eu, então?

Não, você não está sozinho. Trabalhei em organizações maiores e menores em centenas de projetos ao longo de 25 anos: vi os mesmos padrões. Medição e avaliação geralmente ficando presas nas pesquisas “Nível 1” ou nas verificações de conhecimento. Eu não sou o único a dizer isso. De acordo com pesquisas do setor, a maioria das organizações lida para medir um impacto mais profundo. Por exemplo, 43% das empresas dizem que não fazem medição de nível 4 (3), referindo -se ao nível 4 de Kirkpatrick (resultados, o impacto nos negócios).

Por que nos mantivemos na luz: barreiras a medições significativas

Você sabe o que achei fascinante em todos esses estudos (incluindo minha própria experiência)? As equipes de L&D sabiam em teoria que deveriam medir o que importa. Eles sabiam o que era importante, o que importava. Então por quê? Por que não medi -lo?

Se a medição do impacto real é tão importante, por que mais equipes de L&D não estão fazendo isso? Não é porque os profissionais de L&D são preguiçosos ou não se importam. De fato, 91% das empresas acreditam que devem medir o impacto do aprendizado além do básico (apenas 9% disseram que não há necessidade de avaliação de nível superior) (3). A intenção está lá. O problema é que várias barreiras com raízes profundas mantêm a L&D presa na zona bem iluminada:

“Não sabemos por onde começar.”
Determinar como medir a mudança de comportamento ou os resultados dos negócios pode ser esmagador. Muitas equipes não têm um roteiro claro. É revelador que um dos principais desafios relatados é simplesmente saber como ou por onde começar com o planejamento de medidas (2). É muito mais fácil padrão para a rotina familiar de coleta de feedback do curso e pontuações de teste do que se aventurar em território analítico desconhecido. Não há problema em começar onde você está! A iteração e o progresso levam você mais longe do que esperar que as condições perfeitas iniciem.
Falta de acesso e integração de dados
Chegar a essas “áreas escuras” (como métricas de desempenho no trabalho ou KPIs de negócios) geralmente significa extrair dados de fora do silo L&D. Isso pode exigir explorar sistemas de vendas, dados de garantia de qualidade ou revisões de desempenho de RH. Para muitas equipes de L&D, isso é mais fácil dizer do que o feito – os dados residem em diferentes sistemas, de propriedade de outros departamentos, e podem não ser facilmente compartilháveis. Não é de surpreender que “acessar os dados necessários” seja citado como uma barreira persistente à medição de aprendizado (2). As regras de segurança de dados e privacidade também podem apresentar desafios devido ao potencial uso indevido de informações. Se você não conseguir obter os dados, digamos, as taxas de erro ou a satisfação do cliente pós-treinamento, será forçado a confiar no que pode obter (estatísticas e pesquisas LMS).
Falta de alinhamento de negócios e adesão às partes interessadas
Medir o verdadeiro impacto geralmente requer cooperação em todos os negócios. Você pode precisar dos gerentes para observar e relatar alterações de comportamento ou executivos para priorizar os esforços de medição. Mas as partes interessadas convincentes de que medidas profundas vale o esforço podem ser difíceis. Muitas partes interessadas ficam satisfeitas desde que os funcionários verifiquem a caixa de treinamento. De fato, obter a adesão de que a medição deve ser uma prioridade é outro desafio líder (2). Sem o apoio da liderança, a L&D pode não ter tempo ou recursos para perseguir essas métricas significativas escondidas no escuro. Nessa nota, pare e dê um passo para trás: que mais valor você poderia trazer para a tabela para ajudar suas partes interessadas a tomar decisões orientadas a dados? Pense nos dados não apenas como uma “prova de impacto” em retrospecto, mas com informações acionáveis que podem fornecer valor para que os negócios agam proativamente! E se você pudesse dizer a X% dos participantes precisará de mais suporte na transição?
Habilidades e confiança na análise
Vamos ser sinceros: nem todo profissional de L&D é analista de dados, nem precisa de um doutorado em estatísticas para ser eficaz. No entanto, as equipes de L&D de hoje devem usar vários chapéus. Projetar e fornecer aprendizado é um conjunto de habilidades; Medir seu impacto nos negócios é outro. Muitos departamentos de P&D simplesmente não têm recursos fortes na análise de dados ou técnicas de medição experimental. Eles podem não ter as ferramentas ou conhecimentos para executar avaliações robustas (por exemplo, conectando coortes de treinamento a grupos de controle, fazendo comparações estatísticas etc.). A falta de alfabetização de dados compartilhados, baixa confiança com grande lacuna de habilidades pode contribuir para a hesitação – é mais seguro produzir um relatório básico (número de horas de treinamento entregues – verifique!) Do que tentar uma análise complexa que pode estar além da zona de conforto da equipe.
A complexidade da mudança de comportamento
Mesmo com os dados e habilidades certos, o comportamento humano é complexo. Pode ser difícil isolar o efeito de um programa de treinamento em ações no trabalho e medir o que importa. A mudança de comportamento geralmente se desenrola ao longo do tempo e pode ser influenciada por muitos fatores além do treinamento (suporte ao gerente, ambiente de trabalho, incentivos, motivação pessoal e assim por diante). Medir isso pode exigir observação, avaliações de acompanhamento ou conexão a métricas de desempenho que flutuam por razões além do treinamento. Não é tão direto quanto classificar um teste. Como é complexo e às vezes lento para mudar, muitas organizações evitam a mudança de mudança de comportamento. No entanto, sem mudança de comportamento, realmente fizemos alguma diferença?

Essas barreiras explicam por que a medição de L&D tende a pairar à luz do que é fácil. Mas permanecer lá tem consequências. Quando deixamos de medir de maneira significativa, corremos o risco de voar cego. À medida que um analista brincava, ao não estabelecer as métricas de resultados antecipadamente, as organizações acabam “em um ciclo constante de divulgar conteúdo e esperar o melhor” (3).

Além disso, a incapacidade de medir o impacto foi citada por 69% das empresas como o principal desafio para alcançar resultados críticos de aprendizagem (3).

Em outras palavras, não medir o impacto não é apenas um problema de medição; É um problema de negócios. Isso significa que a L&D não pode demonstrar alinhamento com objetivos estratégicos e, portanto, não pode provar (ou melhorar) seu valor para a organização.

Como evoluir daqui? Medir o que importa

Nos próximos artigos desta série, exploraremos como passar da conveniente iluminação da rua para a escuridão desconhecida, a fim de destacar onde está o impacto real e medir o que importa. Vamos analisar como escolher seu modelo de medição e avaliação e o que está lá fora além do conhecido Kirkpatrick One. Por fim, investigaremos como a IA pode ser usada como multiplicador de força, dimensionando o número limitado de holofotes que sua equipe pode lidar com milhares e milhares em escala.