CINCO MINUTOS DE METODOLOGIA

Medir comportamentos é uma das tarefas mais desafiadoras para quem trabalha com ciências comportamentais aplicadas. Se as medidas usadas não forem robustas, podem colocar tudo a perder. Então é fundamental conhecer:  

Responder a essas questões envolve até mesmo questões éticas, frente à Lei Geral de Proteção de Dados, a compromissos assumidos de sigilo e privacidade, registro e arquivamento, além da publicização de resultados.  

Já ouço você pensar "ah, mas tem coisas que não dá pra medir, porque são muito difíceis, muito subjetivas e não podem ser resumidas a um instrumento". Lembre-se da frase de Edward Thorndike (1874-1949), um pioneiro na psicologia: "Se algo existe, existe em alguma quantidade; Se existe em alguma quantidade, pode ser medido!". A citação pode despertar polêmicas entre os que defendem uma visão radicalmente mais qualitativa ou radicalmente mais quantitativa de se medir fenômenos. Ela aponta, de qualquer maneira, uma necessidade prática: por mais complexo que um problema pareça, precisa ser medido. Isso muitas vezes exige algum tipo de padronização, principalmente se os desafios envolvem muitas pessoas e medidas que possam representá-las. 

Psicometria é a área que se ocupa especificamente dos problemas de medida dos fenômenos psicológicos. Nela foram desenvolvidos dois conceitos que são muito oportunos aqui: validade e fidedignidade (vimos na 1ª edição do CINFORME um outro uso para esse termo, envolvendo validade interna e validade externa nos experimentos). Validade é a capacidade de uma medida medir com justeza… aquilo que se pretende medir! Parece apenas um jogo circular de palavras, mas o recado é bem sério. É importante sempre ter evidências de que aquilo que está sendo medido corresponde mesmo à realidade dos fenômenos.  

Digamos que a avaliação de um programa educacional verifique que os alunos respondem corretamente à tabuada de multiplicação. Isso é evidência satisfatória de que compreenderam a matemática ou eles simplesmente decoraram frases? As perguntas em triagens feitas nos serviços de saúde estão evidenciando corretamente os sintomas dos pacientes? O aumento na compra de determinados alimentos vale como evidência de que o programa de transferência de renda está funcionando? O que está detalhado no currículo profissional de candidatos é indicativo válido de seus conhecimentos e habilidades? 

Em metodologia sabe-se que há muitos tipos de validade. Alguns desses tipos são essenciais para as necessidades mais práticas das ciências comportamentais. Por exemplo, um roteiro de entrevista precisa ter validade semântica, ou seja, evidências de que a pessoa que está sendo entrevistada compreende tudo o que está sendo perguntado. Com esse objetivo, os entrevistadores utilizam termos familiares, evitam gírias e jargões e assim garantem que o vocabulário seja adequado à faixa socioeconômica dos entrevistados.  

Quando se tenta criar uma medida para conceitos mais difíceis, é fundamental haver evidências da chamada validade por juízes. Neste caso, antes que a pesquisa seja feita, especialistas no assunto são convidados a avaliar o que será perguntado. Eles aplicarão requisitos como clareza dos itens, representatividade e terminologia apropriada. Um questionário mais extenso e padronizado, como uma escala de atitudes, pede evidências da validade de construto. Essa pode ser testada com uma análise fatorial, um procedimento estatístico que verifica correlações entre os itens, identifica como se estruturam e indica quais deles medem e quais não medem bem o fenômeno.   

A lista é extensa se considerarmos outros tipos mais específicos, por exemplo, validade convergente, divergente, discriminante, de critério, sequencial, etc. Seja como for,  a validade anda de mãos dadas com outra dimensão da medida, a fidedignidade. Neste caso, o que está em jogo não é mais reunir evidências de que a medida mede o que deve medir. O foco da fidedignidade é a consistência, ou seja, a capacidade de revelar informações de maneira estável e com precisão. Algumas características das pessoas oscilam bastante, até mesmo diariamente. É o caso do humor. Outras oscilam em ritmo mais lento, como a renda mensal. Mas se uma medida informa variações improváveis, não há evidências de fidedignidade.  

O desempenho dos alunos não muda abruptamente, para melhor ou para pior, em apenas um semestre. Taxas de criminalidade alta não são reduzidas a zero de forma mágica em determinado local. Medidas que levem a esses resultados provavelmente contêm erros graves ou estão sendo usadas de forma muito inadequada, o que também é indicativo de baixa fidedignidade - talvez até de má intencionalidade. A fidedignidade depende, portanto, de uma consistência ao longo do tempo, porém depende também de uma consistência interna no que é pesquisado. Por exemplo, se num conjunto de itens em um questionário a pessoa concorda totalmente que "o serviço oferecido é de ótima qualidade", mas discorda totalmente que "estou muito satisfeito com o serviço", não parece haver mínima consistência.  

Nem sempre o problema de fidedignidade está na criação da medida. Pode ser que o entrevistador não tenha seguido as instruções da pesquisa, que o barulho ambiente esteja atrapalhando a comunicação, que o respondente esteja com muita pressa, desinteressado ou que nem tenha o perfil apropriado para participar. Frequentemente o problema está na maneira como os dados foram tabulados numa planilha, porque contêm erros de digitação ou codificações ambíguas. Talvez tenha sido confuso para o entrevistador compreender a resposta escrita/verbal que recebeu do entrevistado. De todo modo, continua sendo um problema de fidedignidade para a pesquisa como um todo e exige que os responsáveis tenham atenção plena a cada detalhe do processo de mensuração. 

Medir comportamentos, assim como atitudes, escolhas, crenças, valores, hábitos, decisões, culturas, expectativas, preferências, avaliações, reclamações, opiniões, costumes, julgamentos, habilidades, conhecimentos ou características de personalidade, é uma tarefa que articula metodologia, desenho da pesquisa, planejamento amostral e psicometria, além da análise dos resultados. Não é algo que pode ser improvisado com qualquer instrumento. Tampouco se consegue evidências de validade e fidedignidade apenas traduzindo para nosso idioma uma medida utilizada em outros países, por mais bem sucedida que seja. Um país diferente significa um novo contexto, que não foi levado em conta na criação da medida. Existem recomendações e critérios sólidos para garantir boas medidas, seja na forma mais simples de interação face-a-face, passando pelo famoso lápis e papel em instrumentos impressos, até o moderno uso de inteligência artificial para surveys online.