Andrew Mauboussin e Michael J. Mauboussin escrevem sobre a diferença entre palavras e números ao fazer previsões. Deixamos abaixo a tradução integral do artigo publicado na Harvard Bussiness Review

Se dizemos que algo é “provável”, quão provável é que as pessoas pensam que é?

As pessoas utilizam palavras imprecisas quando descrevem a probabilidade de eventos futuros – “É provável que chova”, ou “Existe uma possibilidade real que eles lancem o produto antes de nós” ou “É duvidoso que os enfermeiros façam greve”. Estes termos probabilísticos são, não apenas subjetivos, mas podem também dar azo a interpretações muito diferentes. O “muito provável” de uma pessoa é o “longe de certo” de outra. A nossa pesquisa demonstra o quão largos podem ser os fossos na compreensão e os tipos de problemas que podem surgir destas diferenças de interpretação.

Num exemplo famoso (famoso, pelo menos, para aqueles que se interessam por este tipo de coisas), o Office of National Estimates da CIA publicou, em março de 1951, um documento que sugeria que um ataque soviético à antiga Jugoslávia no prazo de um ano era uma “séria possibilidade”. Sherman Kent, professor de história da Universidade de Yale que foi chamado a Washington para codirigir o Office of National Estimates, ficou confuso quanto ao que significaria, exatamente, “séria possibilidade”. Kent interpretou-a como significando que a probabilidade de ataque seria de cerca de 65%. No entanto, quando questionou os membros do Office of National Estimates quanto às suas interpretações, ouviu números entre 20 e 80%. Uma banda tão larga de probabilidades é claramente um problema, uma vez que as implicações políticas destes extremos são marcadamente diferentes. Kent reconheceu que a solução passava por utilizar números, declarando pesarosamente, “não utilizámos números… e, aparentemente, utilizámos abusivamente as palavras.”

Desde então, pouco mudou. Hoje, no mundo dos negócios, investimentos e política, as pessoas continuam a utilizar palavras vagas para descrever desfechos possíveis. Porquê? Phil Tetlock, professor de psicologia na Universidade da Pensilvânia e que estudou em profundidade as previsões, sugere “a verbosidade vaga oferece segurança política”.

Quando utilizamos uma palavra para descrever a probabilidade de um desfecho, temos uma larga margem de manobra para não nos envergonharmos após o facto. Se um evento previsto acontece, podemos declarar: “Eu disse que provavelmente aconteceria.” Se não acontecer, a posição de recurso será: “Eu apenas disse que provavelmente aconteceria.” Estas palavras ambíguas permitem ao seu autor não apenas evitar ser encurralado, mas também permitem ao ouvinte interpretar a mensagem de uma forma que é consistente com as suas noções pré-concebidas. O resultado, obviamente, é uma comunicação pobre.

Para tentar analisar este tipo de comunicação turva, Kent mapeou a relação entre palavras e probabilidades. Na versão mais conhecida, ele exibiu frases que incluem palavras ou expressões probabilísticas a cerca de duas dúzias de oficiais militares da Organização do Tratado do Atlântico Norte e solicitou-lhes que traduzissem as palavras em números. Estes indivíduos estavam habituados a ler relatórios de serviços de inteligência militar. Os oficiais chegaram a um consenso para algumas palavras, mas as suas interpretações para outras eram bastante díspares. Desde então, outros investigadores obtiveram resultados similares.

Criámos um novo inquérito com dois objetivos em mente. O primeiro era aumentar o tamanho da amostra, incluindo indivíduos fora das comunidades científica e da inteligência militar. O segundo era tentar detetar eventuais diferenças entre idade ou género ou entre aqueles que aprenderam inglês como primeira língua ou secundária.

Eis as três principais lições da nossa análise.

Lição 1: Utilize probabilidades em vez de palavras para evitar más interpretações

Pedimos a membros do público em geral que ligassem probabilidades a 23 palavras ou expressões comuns que surgiam aleatoriamente. A figura abaixo sumaria os resultados de 1700 respostas.

A enorme variação de probabilidades que as pessoas ligam a certas palavras salta imediatamente à vista. Embora a interpretação de algumas palavras seja muito restrita, outras são interpretadas de forma muito ampla. Por exemplo, a maior parte das pessoas – mas não todas – pensam que “sempre” significa “100% das vezes”, mas o intervalo de probabilidades que a maioria atribui a um evento com uma “real possibilidade” de acontecer varia entre 20% e 80%. De uma forma geral, concluímos que a palavra “possível” e as suas variações têm largos intervalos de probabilidade e convidam à confusão.

Concluímos também que homens e mulheres encaram algumas palavras probabilísticas de forma diferente. Como a tabela abaixo mostra, as mulheres tendem a atribuir maior probabilidade a palavras ou expressões ambíguas, tais como “talvez”, “possivelmente” e “poderá acontecer”. Também aqui, a palavra “possível” e as suas variações atraem más interpretações. Estes resultados são consistentes com a análise da equipa de cientistas de dados na Qora, um site onde os utilizadores colocam e respondem a questões. Esta equipa concluiu que as mulheres utilizam palavras e expressões incertas mais frequentemente que os homens, mesmo quando o nível de confiança é equivalente.

Não encontrámos diferenças significativas na interpretação entre diferentes faixas etárias ou entre faladores de inglês nativos e não nativos, com uma única exceção: a expressão “slam dunk” (afundanço). Em média, os faladores de inglês nativos interpretaram esta expressão como indicando uma probabilidade de 93%, enquanto que os não nativos indicam apenas 81%.

Este resultado é um alerta para evitarmos expressões culturalmente enviesadas em geral e expressões desportivas em particular quando estamos a tentar ser claros.

Em questões importantes onde o entendimento mútuo é vital, evite palavras e expressões não numéricas e utilize probabilidades.

Lição 2: Utilize abordagens estruturadas para atribuir probabilidades

Tal como já discutimos, uma das razões pelas quais as pessoas utilizam palavras ambíguas em vez de probabilidades precisas é para reduzir o risco de estarem erradas. Mas as pessoas também se defendem com as palavras porque não têm familiaridade com formas estruturadas de atribuir probabilidades.

Uma vasta literatura demonstra que todos temos tendência a ser excessivamente confiantes nos nossos julgamentos. Por exemplo, num outro inquérito, solicitamos aos participantes que respondessem a 50 questões com respostas verdadeiro ou falso (por exemplo, “a distância da Terra ao Sol é constante ao longo do ano” e que estimassem a sua confiança. Mais de 11000 pessoas participaram. Os resultados mostram que a confiança que estavam a responder corretamente era de 70%, mas o número de respostas corretas era de apenas 60%. Os participantes tinham um excesso de confiança de 10%, um resultado normal em pesquisas na área da psicologia.

Estudos de previsões probabilísticas na comunidade dos serviços de inteligência são um claro contraste. Os analistas mais experientes são, no geral, mais calibrados, o que significa que, ao longo de um grande número de previsões, as suas estimativas de probabilidades e os desfechos objetivos (o que realmente acontece) estão bem alinhados. Na realidade, quando a calibração não funciona, frequentemente resulta do excesso de confiança.

Como atribuir probabilidades inteligentemente?

Quando as probabilidades são ambíguas, ao contrário do que acontece numa simples situação de jogo (onde existe uma probabilidade de 50% de ser cara ou coroa), estamos a lidar com aquilo a que os teóricos da decisão chamam probabilidades subjetivas. Estas podem não ser as probabilidades corretas, mas refletem a crença pessoal de um indivíduo em determinado desfecho. Devemos atualizar as nossas estimativas de probabilidades subjetivas de cada vez que recebermos informação relevante.

Uma forma de definir a nossa probabilidade subjetiva é comparar a nossa estimativa com uma aposta concreta. Imaginemos que se espera que um concorrente vá lançar um novo produto no trimestre seguinte que ameaça o seu produto mais rentável. Estamos a tentar avaliar a probabilidade de que o lançamento não vai acontecer. A forma de enquadrar a aposta seria: “se o produto não for lançado, recebo um milhão de dólares, mas se for, não recebo nada”.

Imaginemos agora um jarro com 25 berlindes verdes e 75 berlindes azuis. Fechemos os olhos e escolhamos um berlinde. Se for verde, ganhamos 1 milhão, se for azul, nada. Sabemos que temos uma chance em 4 (25%) de conseguir um berlinde verde e ganhar o dinheiro.

Agora, onde preferimos apostar? No falhanço do lançamento ou no berlinde que tiramos do jarro?

Se escolhermos o jarro, isso indica que acreditamos que a probabilidade de ganhar essa aposta (25%) é maior do que a probabilidade de ganhar a aposta do falhanço do lançamento. Portanto, temos que acreditar que a probabilidade do lançamento do produto do nosso concorrente falhar é menor de 25%.

Desta forma, usar uma referência objetiva ajuda-nos a definir com mais precisão a nossa probabilidade subjetiva. (Para testar outros níveis de probabilidades, basta ajustar mentalmente o rácio de berlindes verdes e azuis no jarro. Com 10 berlindes verdes e 90 azuis, ainda escolheríamos o jarro e não a aposta do lançamento falhado? Devemos acreditar que a probabilidade do lançamento falhar é inferior a 10%.)

Lição 3: Procure feedback para melhorar as previsões

Quer utilizemos termos vagos ou números precisos para descrever probabilidades, o que na realidade estamos a fazer é prever. Se afirmamos que existe uma “possibilidade real” que o produto do concorrente vais ser lançado, estamos a prever o futuro. Nos negócios e noutras áreas, ser um bom previsor é importante e exige prática. No entanto, fazer muitas previsões não é suficiente: precisamos de feedback. Atribuir probabilidades fornece-nos esse feedback uma vez que nos permite manter um marcador da nossa performance.

Colunistas e intelectuais falam frequentemente do futuro, mas tipicamente não exprimem as suas convicções com a precisão necessária que permita monitorizar a sua performance. Poe exemplo, um analista pode especular, “o Facebook provavelmente continuará a ser a rede social dominante nos anos vindouros”. É difícil medir a precisão desta previsão uma vez que ela é subjetiva e a expressão probabilística sugere uma larga gama de probabilidades. Uma declaração como, “Existe uma probabilidade de 95% que o Facebook terá mais de 2,5 biliões de utilizadores mensais dentro de um ano”, é precisa e quantificável. E mais, a precisão desta previsão pode ser diretamente medida, fornecendo feedback à performance.

Os melhores previsores fazem muitas previsões precisas e monitorizam a sua performance com métricas como o Brier Score. Este tipo de monitorização de performance requer previsões com um desfecho categórico (Facebook terá mais de 2,5 biliões de utilizadores mensais), um período temporal específico (dentro de um ano) e uma probabilidade específica (95%). É uma disciplina dura, mas essencial para melhores previsões. E quanto melhores forem as previsões, melhores serão as decisões. Existem vários recursos online que poderão facilitar esta tarefa. Good Judgement Open (fundado por Tetlock e outros cientistas) e Metaculus fornecem questões para praticar previsões. Mercados de previsões, PredictIt, por exemplo, permitem apostar em previsões.

Da próxima vez que declarar que um negócio ou outro desfecho é “improvável” ou, em alternativa, está “virtualmente assegurado”, questione-se: Que percentagem de probabilidade e que período temporal atribuiria a este desfecho? Enquadre as suas previsões desta forma e elas serão muito mais claras para si e para quem o rodeia.