Atos Falhos & DesAcertos - por Guilherme Lima

Sete Lições da Trincheira Experimental: uma novela com spam, maquininhas de cartão e crises de coluna

Nos idos de 2017, entrava na reta final do meu mestrado em Ciência Comportamental na London School of Economics. Refinar a escrita acadêmica foi uma das adaptações e ajustes necessários para prosperar no curso, tendo passado a maior parte da carreira no setor privado e de negócio. Outra adaptação, mais sutil, foi desenvolver a compreensão da comunicação por eufemismos dos britânicos. Felizmente, ao final do curso esta habilidade estava mais desenvolvida, de modo que quando foi explicado que realizar um experimento era “recommended" para a dissertação final, deu para perceber que eles queriam dizer “mandatório, exceto em caso de grandes calamidades naturais”. Já o prazo final de submissão, 29 de novembro ao meio-dia de Londres, era explicitamente inegociável.

Com isso posto, começa a missão de imaginar, viabilizar, implementar e reportar um experimento com solidez acadêmica, dentro de um prazo limitado, e equilibrando com as outras demandas da vida – entre elas, a atividade como consultor de empresas.

Nesse ponto, ter uma vida dupla de consultor e estudante possibilitou fazer conexões que as vezes são bastante óbvias, mas apenas se tivermos o pé nas duas canoas. Uma delas, que motivou o experimento da minha dissertação, surgiu de um trabalho que fazíamos na época com um adquirente (empresa que coloca "as maquininhas" de cartão nas lojas). O insight foi que o produto "antecipação de recebíveis", em que o lojista pede para receber vendas com cartão de crédito hoje (ao invés de esperar 30 dias) era uma reprodução, na vida real e com decisões relevantes, do protocolo experimental consagrado na literatura para medir preferências temporais (“100 reais hoje ou 105 reais em um mês?”; “100 reais hoje ou 110 reais em um mês?”, etc.).

O acesso que tínhamos à base de lojistas do adquirente e às suas transações de antecipação de recebíveis permitiam buscar responder a uma pergunta bastante relevante para diferentes públicos:

Os tomadores de decisão (no caso, donos e gestores de pequenas e micro empresas), ao realizarem escolhas temporais para sua empresa, reproduzem os fenômenos comportamentais que a literatura reporta (desconto hiperbólico, viés presente, etc.)?

Melhor ainda, tínhamos acesso à base real de transações de antecipação de recebíveis, então poderíamos também tentar responder outra questão fundamental para pesquisadores comportamentais:

As preferências temporais dos gestores e donos de empresas medidas experimentalmente preveem as escolhas reais das empresas?

Assim, o experimento pensado teria 2 etapas:

1. Aplicar um questionário online no Qualtrics, para uma amostra de lojistas, recrutadas por e-mail, o protocolo de medição de preferências temporais em duas condições experimentais: no grupo de controle, eles responderiam como uma decisão pessoal, enquanto no grupo de tratamento as escolhas seriam feitas em nome da empresa;

2. Em um segundo momento, as respostas seriam correlacionadas com o comportamento real da empresa: ela utiliza a antecipação de recebíveis? A qual taxa? Com que frequência e volumes?

Ambicioso? Sim, mas essa é a

Lição I: Não custa nada sonhar alto no desenho experimental

Não é sempre que teremos a oportunidade de ter clientes e parceiros alinhados, dados disponíveis e uma motivação forte para fazer, então por que não aproveitar e tentar ir o mais longe possível?

Bem, é a partir daqui que a realidade começa a entrar no caminho dos sonhos.

O primeiro obstáculo foi conseguir aprovação do jurídico do nosso cliente para usar a base de e-mails dos lojistas. Apesar de apoio de um Vice-Presidente sênior, alguns meses foram gastos nestas idas e vindas jurídicas.

Mas a real emoção estava por vir na fase de campo. Na altura que a questão jurídica estava resolvida e as listas chegaram, faltavam 50 dias para a entrega da versão final da dissertação. A essa altura, o questionário já tinha sido testado e retestado (versão alfa, beta, gama, etc.) e estava tudo  pronto para o envio. Upload das listas, respirar fundo, última checada geral para ver se está tudo certo, sinal da cruz, três batidas na madeira, aperto o "send" e...

... recebo mensagem de erro do Qualtrics informando que o tamanho da minha lista superava (por muito) o limite da minha conta acadêmica! Até aí ok (mais ou menos), só que minha conta ficou travada de um jeito que nem o serviço ao apoio ao usuário do Qualtrics ou service desk da universidade conseguiam resolver (e não conseguiram por dois meses)!  Eu aprendia então a

Lição II: SEMPRE espere o inesperado

Com o relógio correndo e a conta do Qualtrics completamente fora de ação, era preciso buscar alguma alternativa para enviar os milhares de e-mails e tentar recrutar participantes para o experimento. Fui atrás de plataformas de gestão e distribuição de e-mail marketing, entendi as funcionalidades básicas, e estava pronto para colocar a pesquisa para rodar. Uma testada final, upload da lista, sinal da cruz, três batidas na madeira, aperto o send e ....

.... todos os sinos e alarmes virtuais possíveis começam a tocar, e minha conta na plataforma é imediatamente suspensa!!! O envio teve 25% de endereços rejeitados ("bounces", no jargão do e-mail marketing), por conta de a base de dados do parceiro estar completamente desatualizada. Pela lógica da plataforma, eu só poderia ter pegado estes e-mails sem a autorização usuários e, portanto, eu era um “spammer”. Assim aprendi a

Lição III: Sempre (SEMPRE!) limpe as suas bases de contato

No caso, a empresa tinha os e-mails apenas como uma informação cadastral e nunca fazia nada com eles. Assim, com o tempo a qualidade de cadastro ia deteriorando-se.

Bem, o próximo passo então seria apenas contratar um serviço online de limpeza de bases de e-mails (sim, isso existe), correto? Não é tão simples. Por conta do desastre anterior, meu e-mail e meu IP ficaram estigmatizados como "spammers", e a essa altura eu estava, para todos os efeitos práticos, banido da internet.  A coisa ficou tão feia que meus e-mails para o meu sócio, dentro do mesmo domínio, iam para a caixa de spam. Mesma coisa com as mensagens para a minha esposa. Direto para a Caixa de Spam, sem escalas.

Teve início então uma longa jornada de recuperação do meu status online e do estabelecimento gradual de credibilidade de outros IPs que eu temia contratado (quem estiver interessado pode pesquisar por “IP warm up" no Google). Na prática, isso significa mandar 100 e-mails hoje, 250 amanhã, 1000 no final da semana, etc.

O novo problema: tudo avançava muuuuuito lentamente. Para a surpresa de ninguém, exceto um pesquisador apaixonado pelas próprias ideias, a propensão de um dono de um pequeno negócio para ver um e-mail de um desconhecido, abrir, clicar no link e completar um questionário de 15 minutos, é mínima. Além disso, grande parte das mensagens enviadas pelos meus IPs “recentes” ficavam retidos pelos filtros de anti-fraude e anti-spam dos provedores de internet – ao contrário do envio via fontes mais estabelecidas de plataformas como o Qualtrics. Em resumo, para alcançar a amostra necessária para o experimento eu precisaria estar enviando muito mais mensagens e de forma mais eficiente do que eu estava fazendo. Faltando 30 dias para a entrega final da dissertação, a coleta de dados ainda estava pela metade!

Foi o momento de perceber simultaneamente duas verdades, que podem ser úteis para futuros pesquisadores. A primeira é a

Lição IV: O processo real de pesquisa não é tão linear e sequenciado como parece nos papers

Se for possível antecipar algum passo, faça sem hesitar. Por conselho do meu supervisor, preparei e rodei todas as análises no Stata, mesmo tendo "meia base de dados" disponível. Na prática, isso permitiu não só tirar da frente toda a programação estatística, como já antecipou os resultados finais da pesquisa (quase nada mudou entre este “meia base” e "base completa") e, consequentemente, viabilizou iniciar as reflexões (e escrita) sobre as conclusões do estudo.

A segunda parte da solução é a

Lição V: Não tenha vergonha de improvisar nem de pedir ajuda

Lembram que o Qualtrics era mais eficiente para distribuir pesquisas, porém minha conta continuava bloqueada, sem solução à vista? Bem, alguns dos meus colegas estavam fazendo outros tipos de Experimentos (p. ex., no laboratório da escola em Londres), ou já tinham acabado as suas coletas. E as licenças deles estavam lá ociosas, então... Um pouco de cara de pau brasileira, uma mensagem bem-escrita no grupo de zap da turma e lá estava eu 24 horas depois operando 8 contas de usuários de Qualtrics ao mesmo tempo e finalmente fazendo a coleta de dados voar depois de 3 ou 4 semanas de pura agonia.

Assim, nas últimas 3 semanas da aventura, foi possível concluir a coleta de dados, fazer o link com a base de transações do adquirente, entender os resultados (assunto para outro post), terminar de escrever a dissertação, e entregá-la com super folgadas 3 horas (!) de antecedência!

No final de tudo, tive resultados estaticamente significativos (sim, valores nulos são tão importantes quanto e tal, mas a emoção de descobrir um efeito é outra), pude devolver insights práticos para o nosso cliente e parceiro, alcancei uma distinção acadêmica e fui premiado com uma tremenda crise de hérnia lombar que me levaria para uma cirurgia meses depois.

Mas, tão importante como os resultados concretos são os aprendizados que podemos sintetizar olhando para toda a experiência, como a

Lição VI: Prazos fazem o mundo girar

Não tenho nenhuma dúvida que, não houvesse uma data inegociável de entrega da dissertação, o projeto teria demorado muito mais tempo, e possivelmente não chegaria ao final. Por exemplo, sem um prazo fechado eu provavelmente teria esperado sentado por meses até que o Qualtrics e a universidade tivessem solucionado o problema da minha conta, ao invés de tentar dar os meus pulos. O famoso princípio do "comprometimento" relatado na literatura da ciência comportamental funciona mesmo!

E como, ao final do dia, o final foi feliz (descontando a cirurgia na coluna), deixo como reflexão final a

Lição VII: Fazer experimentos é muito divertido e nos ensina sobre ciência comportamental como nenhuma outra atividade!