CINCO MINUTOS DE METODOLOGIA
O que é um experimento em ciências comportamentais aplicadas?
Fabio Iglesias e Maurício Sarmet
(com a colaboração de Helena Azambuja)
As unidades de ciências comportamentais aplicadas têm se consolidado quando o foco é mudar comportamentos. O uso de insights comportamentais é quase um sinônimo para a área. Insights nos permitem compreender o comportamento das pessoas e desenvolver intervenções sabendo que, muitas vezes, elas se comportam de modo pouco (ou nada) consciente e que o ambiente físico e social exerce enorme influência sobre como tomam decisões. É algo fundamental para compreender, entre outros, por que os hábitos são barreiras sérias para a mudança de comportamento e como decisões "racionais" são frequentemente um resultado da arquitetura de escolhas.
Uma característica dessa abordagem é o foco em experimentos, com intervenções que tenham idealmente um baixo custo, sejam simples de implementar e possam gerar impactos na mudança de comportamento. Testar a intervenção é passo necessário para depois implementá-la em definitivo, por ser bem mais conveniente do que ações financeiras, de legislação ou estruturais, estas últimas sempre muito custosas e demoradas, senão inviáveis.
Parece a solução perfeita para muitos problemas em pequena ou larga escala, mas permanece o desafio: como é, afinal, que se desenvolve um experimento?
O experimento é a única forma eficiente de se estabelecer claras relações de causa e efeito para um comportamento, garantindo as evidências de que o uso do insight comportamental funcionou na direção esperada ou não. No entanto, por mais que os livros de referência em ciências comportamentais aplicadas disseminem a experimentação, é frequente que a linguagem seja altamente técnica, pouco didática, pressupondo que o leitor domina técnicas de pesquisa ou os termos metodológicos.
Neste primeiro CINFORME da CINCONECTE vamos simplificar a linguagem da ciência da experimentação, para alcançar os colegas que desejam utilizar as ciências comportamentais em suas áreas, ainda que não tenham experts em metodologia nas suas equipes. Em futuras edições abordaremos outros métodos, como analisar os dados encontrados e o que fazer com eles!
Todo experimento inclui uma intervenção. Nem toda intervenção é um experimento.
No uso comum a palavra experimentação por vezes significa apenas “liberdade para criar”, tal como se fala de cozinha experimental: você testa ingredientes, adapta receitas e avalia o resultado. Para as ciências comportamentais é fundamental usar termos que deixem bem precisos os seus propósitos. Intervenção é um termo usado genericamente para se referir a qualquer ato de modificar algo de alguma forma. Experimento é uma intervenção desenvolvida ao se atender a duas condições essenciais.
Controle das variáveis: Deve-se planejar o experimento de modo que seja possível avaliar o efeito isolado da intervenção manipulada (que se chama variável independente) nas mudanças do comportamento alvo (que se chama variável dependente). Parte desse controle de variáveis envolve definir como os grupos receberão a intervenção, em quais ambientes, com qual duração e com quais medidas de monitoramento. O controle deve ser rigoroso para não haver “contaminação” do resultado por fatores indesejáveis (que se chamam variáveis intervenientes ou estranhas).
Controle dos participantes: Trata-se do planejamento de como os grupos de participantes serão compostos e quais características eles devem ter. Definir quem pertencerá ao grupo controle (que não recebe a intervenção) e quem pertencerá ao experimental (que recebe a intervenção) deve estar sob pleno controle de quem conduz o experimento. Se não estiver, é um “quase-experimento”. Sim, é o nome técnico mesmo. Esse controle inclui o N, que é a quantidade de pessoas selecionadas para participar. Idealmente deve ser um número grande, para garantir as melhores análises estatísticas possíveis (outro assunto para o futuro próximo!)
Então se não houver controle das variáveis e dos participantes eu não posso conduzir um experimento? Pode. Há alternativas tanto de delineamento da pesquisa quanto alternativas analíticas que você pode empregar, desde que primeiro domine esses critérios.
RCT é o santo graal das ciências comportamentais aplicadas, mas…
Em insights comportamentais popularizou-se a ênfase no RCT (randomized controlled trial) ou experimento controlado randomizado. O que esses termos significam?
O RCT é o experimento em que os participantes foram aleatorizados quando designados para cada grupo no experimento (como vimos, grupo controle, grupo experimental, um segundo grupo experimental, etc). Isso é feito com base em sorteio, como loteria, mas também pode ser feito garantindo que os grupos sejam equivalentes quanto às características dos participantes.
Agora que você já compreende alguns termos, quanto maior o N mais intervenções podem ser testadas num mesmo delineamento, mas o céu não é o limite. O foco no controle das variáveis e dos participantes é que determinará o limite, para garantir quais são as intervenções que funcionam, por quais motivos e em quais situações.
Existem muitos tipos de experimentos (e várias formas de classificá-los).
Quanto às pessoas escolhidas, o experimento pode ser:
- Entre-sujeitos, se a comparação está sendo feita entre grupos diferentes de participantes (p.ex., os que estão no grupo controle e os que estão no grupo experimental). É o que dá base também aos delineamentos transversais.
- Intra-sujeitos, quando as mesmas pessoas são alvo de diferentes tratamentos, em diferentes momentos (p.ex., o famoso pré-teste/pós-teste). É o que dá base também aos delineamentos longitudinais. Embora menos frequente no uso de insights comportamentais, o experimento também pode ser até de sujeito único.
- Mistos: quando uma variável é manipulada de forma entre-sujeitos, enquanto uma outra variável é manipulada de forma intra-sujeitos.
Quanto ao ambiente, o experimento pode ser:
-
De laboratório: mesmo que não haja as famosas CNTP da física (condições normais de temperatura e pressão), tem-se no laboratório muito maior controle sobre as variáveis manipuladas. As pessoas foram selecionadas para estar em um ambiente conhecido, geralmente fechado, depois de um certo horário programado, onde fatores imprevisíveis raramente acontecem. Por isso diz-se que experimentos de laboratório têm alta validade interna, porque se forem bem conduzidos conseguem evidenciar relações causais. Mas geralmente têm baixa validade externa, porque não foram conduzidos no mundo real.
-
De campo: acontece no mundo "real", que já tem, portanto, alta validade externa. Fica muito mais difícil (ou impossível) controlar todas as variáveis no campo. Fatores como inflação, barulho, outras pessoas, clima, notícias, quem coleta os dados, como o pesquisador se identifica para os participantes, etc acabam afetando os resultados e gerando uma baixa validade interna.
Repare que é frequente concluir, de forma precipitada, que um insight não tem valor prático porque em uma situação específica, com características específicas, usado por experimentadores específicos, não gerou o resultado esperado. Replicar fenômenos em ciências comportamentais não é o mesmo que replicar uma reação química. O valor de um experimento é muito mais relativo do que algo absoluto, considerando custos financeiros e temporais, assim como as dificuldades que ele deve enfrentar. Validade interna e externa são apenas algumas delas.
Aqui você deve estar se perguntando sobre validade, então lembramos que é um termo com diferentes aplicações em metodologia. Nos experimentos já deixamos claro o que são, mas em surveys, por exemplo, se referem às evidências de que as medidas utilizadas estão medindo realmente o que se pretende medir (há vários tipos de validade) e, além disso, numa maneira consistente (fidedignidade). Resta dizer apenas que desde a década de 1960 a psicologia, destacadamente, tem identificado uma série de ameaças à validade que devem ser cuidadosamente consideradas no planejamento experimental. Trataremos disso futuramente.
Para quem já botou a mão na massa para conduzir um experimento, fica bem óbvio que sem um conhecimento metodológico estamos sujeitos a um doloroso (e custoso) processo de tentativas e erros. Talvez isso explique também por que tantas equipes nunca rodam de fato um experimento, porque não sabem nem por onde começar diante de tantos desafios. Esperamos, ao inaugurar o CINFORME, que você comece a desvendar e desmistificar a experimentação em ciências comportamentais. É na maior vantagem das ciências comportamentais aplicadas que reside também a sua fragilidade, mas se experimentos fossem simples todo mundo faria com sucesso.
Então, ajudamos? Se algo ainda ficou pouco claro, não se preocupe, porque vários desses termos serão abordados em textos futuros. Conte para gente o que você gostaria de ver em outras edições do CINFORME, suas sugestões e dúvidas. Se o conteúdo fez sentido para você, compartilhe!