O método científico e seu desafio acoplado.

 

Era uma vez...

Em 1789, um jovem cirurgião que passava um tempo no campo notou despretensiosamente nas vacas que ali estavam algumas feridas muito semelhantes às provocadas pela Varíola, doença que assolava o mundo e tirava a vida de milhares de humanos anualmente. Intrigado, o jovem acompanhou nos anos subsequentes tanto as vacas com tais feridas, quanto as pessoas que cuidavam desses animais. Foi assim que ele notou um comportamento padrão: tanto as vacas quanto seus cuidadores morriam estatisticamente menos de varíola do que a população comum.

Posteriormente, em 1796, o homem resolveu por a prova o conhecimento que adquirira, inoculando o pus de uma leiteira contaminada com a varíola bovina em uma criança de 8 anos, que apesar de relatar algumas febres, não chegou a desenvolver a infecção completa. Estava descoberta assim a propriedade que hoje conhecemos como imunização.

O nome do jovem é Dr. Edward Jenner e décadas depois ele seria reconhecido mundialmente como o inventor de um dos maiores divisores de águas na medicina moderna: a Vacina.

A história de descoberta da vacinação é apenas mais um exemplo da aplicação (ainda muito incipiente), de um método científico de ideação, testagem e aplicação que se definiu como um padrão em diversas áreas de pesquisa. Nos últimos anos (e este é o motivo deste artigo), o método pulou do meio acadêmico para o empresarial, sendo adotado por equipes de diferentes áreas e dando origem à centenas de Frameworks. Fato é que esse movimento trouxe vários benefícios para a gestão de projetos, atrelando descobertas a resultados metrificáveis e incentivando o pensamento crítico e criativo das equipes.

Mas...

Como nem tudo são flores, o "pacote" do método científico acompanha consigo alguns desafios quando aplicado à realidade empresarial. Pouquíssimas empresas tem real consciência dos trade-offs desse modelo de trabalho e quase nenhuma se prepara (de verdade) para responder a pergunta que todo cientista ouve em sua formação:

O que acontece se o experimento der errado?

Nesse artigo quero ir um pouco além do discurso fácil de "Erros acontecem e nós continuaremos testando para obter o resultado desejado, afinal, todo erro é uma oportunidade de aprender.".

Não que essa lógica esteja errada, longe disso.

Mas na prática: como aprendemos com eles? Quando é o momento de dobrar nossas apostas ou parar? Qual a diferença entre errar e não chegar ao resultado? Ou ainda, todo erro realmente gera aprendizado?

Antes de mais nada: a regra básica do jogo.

Na psicologia da tomada de decisão conhecemos um viés chamado de "Sunk Cost Fallacy" (Falácia do custo irrecuperável) que, na pratica, reflete a tendência de uma pessoa ou organização a manter o investimento sobre algo em que já foi investido anteriormente.

É como quando você compra um lanche maior do que deveria e se força a comer (mesmo sabendo que vai passar mal), somente por já ter pago.

Esse conceito nos ajuda a entender um comportamento padrão nas empresas que trabalham com experimentos, replicando o processo inúmeras vezes pelo simples fato de já ser realizado há um bom tempo.

(E por que metodologias agéis são a moda, e se sua empresa não repetir, ela fica de fora, não é mesmo? rs)

E é aqui que cabe uma importante uma reformulação na regra: a experimentação não pode ser resultado da simples rotina, mas sim de uma tomada de decisão consciente.

Consciente dos resultados positivos que você quer obter, é claro, mas acima de tudo, sobre o que fazer quando as coisas não saem como o esperado...

A estratégia é amiga do erro

Sem a pretenção de ser um oráculo, separei algumas estratégias que eu acredito serem utéis para obter algo do erro além de um discurso motivacional, vamos a elas:

• Definir a diferença entre Erro e Resultado Inesperado.

Se você está tocando um processo de experimentação, em que muitas vezes os resultados são poucos previsíveis, é comum confundir maçãs com laranjas.

Um Erro deve ser entendido como algo que afetou o processo de tal forma a tornar o resultado final inválido ou impreciso.

Imagine que você está preparando um teste A/B em uma campanha de e-mails e sua plataforma de disparos buga, enviando apenas o e-mail A. O resultado da campanha B será inexistente e deve ser desconsiderado. (Refazer o teste pode ser uma boa opção)

Um Resultado Inesperado, no entanto, reflete algo substancialmente diferente daquilo que se busca atingir, melhor ou pior.

Pense que aquele teste foi enviado corretamente e, mesmo assim, o e-mail B não obteve nenhuma abertura. O resultado não deve ser invalidado, muito pelo contrário. Provavelmente tem algo muito errado com o assunto do seu segundo e-mail! (Refazer o mesmo teste é completamente desnecessário)

Sim, parece bem óbvio, mas nem sempre é.

Quando o experimento é feito com ferramentas poucos habituais para a equipe, métodos diferentes ou estão indisponíveis dados sobre o processo, entender se o resultado é confiável ou não se torna um mistério.

• Entender onde especificamente o resultado inesperado se encontra.

Imagine agora que sua equipe está trabalhando em um novo onboarding para o produto. Esse é, obviamente, um processo longo, que segue muitos caminhos de validação, trocando as variáveis de conteúdo, canal e timing, por exemplo.

Ao final de uma das validações, o resultado do onboarding foi pífio, muito longe do que a empresa espera atingir.

Mapear as validações ajuda a entender não só o porque daquele resultado, mas também a baixa representatividade dele perto dos outros caminhos que seu time vem testando. Na prática, seu chefe não tem porque cancelar o novo onboarding por algo tão pequeno e bem mapeado.

• Caminho "triste" & Poder da informação.

Como diria a grande Denise, da Turma da Mônica: "Otimista é só uma pessoa mal-informada."

Sem entrar na discussão filosófica que essa grande pensadora levanta, é preciso destacar um processo importante: a previsibilidade do erro.

Isto é, definir já na partida, assim como fazemos para o resultado esperado, o que um resultado inesperado significa.

Assim, ao final daquela experimentação falha do novo onboarding, sua equipe não precisa quebrar a cabeça revisando todo o conteúdo preparado, a variável que inteferiu no resultado já havia sido mapeada em um caminho com resultado insuficiente, o caminho triste.

Por exemplo: O seu público não gosta de conteúdo profundo, é necessário algo mais superficial.

Essa tática faz parte de algo que podemos chamar de "mapeamento de resultado obtido". Ou seja, o que você tem ao final do teste que você não obtinha anteriormente?

Na grande maioria dos casos esse resultado é puramente uma informação, que pode ter a forma de: a) uma certeza, b) uma nova dúvida, c) uma suposição. Saber qual desses foi o seu resultado faz toda a diferença na construção do teste seguinte!

• Fire Bullets then Cannonballs

A experimentação deve aumentar seu escopo gradualmente, respeitando o resultado obtido e os recursos disponíveis. Como conceitua Jim Collins "Atire balas, depois, dispare balas de canhão". Isto é, entenda que erros fazem parte do processo de experimentação e seus recursos não são infinitos, erre pequeno antes de acertar grande.

Aqui é importante apenas uma ressalva, em muitos momentos sua equipe não vai saber qual é a hora de investir pra valer. Então, recorra ao mindset que guia a Nasa há anos:

Em Deus nós acreditamos, qualquer outro, me traga dados.

Se, mesmo com eles (os dados), não houver segurança sobre um próximo passo maior, não tenha medo de usar a intuição. Ela é sua aliada muito além do que você possa imaginar.

Inclusive esse é papo para outro artigo...