Ibict desenvolve indexador de dados de pesquisa digital

O Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict) desenvolveu um sistema de indexação de conjuntos de dados de pesquisas realizadas na internet, como parte das iniciativas do projeto Baobá. A ferramenta responde aos desafios enfrentados pela comunidade acadêmica diante das crescentes restrições e dos altos custos impostos por grandes plataformas digitais, que dificultam o acesso a informações essenciais para investigações acadêmicas.

A plataforma está disponível publicamente em index.minerva.ibict.br. Qualquer pessoa com acesso à internet pode utilizá-la para buscar e consultar conjuntos de dados já indexados, sem a necessidade de cadastro. A navegação é simples e permite filtrar ou visualizar todas as entradas registradas até o momento.

“Infraestruturas como esse indexador permitem construir uma visão de longo prazo sobre a pesquisa científica em temas como a integridade da informação. Ao manter um histórico acessível e transparente de dados já utilizados, a ferramenta contribui para uma compreensão mais profunda sobre como esse fenômeno pode ser analisado e fortalecido em favor do desenvolvimento do país”, afirma Tiago Braga,diretor do Ibict.

Usuários que desejam contribuir com novos conjuntos de dados ou cadastrar instituições precisam criar uma conta. Esses cadastros passam por um processo de aprovação interna antes de serem habilitados para indexação de conteúdo. O login, portanto, é necessário apenas para usuários que queiram registrar informações na plataforma.

A ferramenta permite buscar conjuntos de dados já registrados por outros pesquisadores e também possibilita que novos dados sejam indexados na plataforma, incentivando o compartilhamento e a colaboração científica. A ideia é que o indexador seja uma referência para pesquisadores que busquem dados de pesquisa na Internet. Assim, ao registrar o seu conjunto de dados no Indexador, o pesquisador passa a ter mais um canal de divulgação para a sua pesquisa.

Segundo Josir Gomes, pesquisador responsável pelo desenvolvimento do sistema, “o Indexador foi construído integralmente com tecnologias baseadas em software livre (FOSS - Free and Open Source Software), como o framework Django, utilizando o banco de dados PostgreSQL e também tem o seu código aberto, promovendo assim a reprodutibilidade das pesquisas e se alinhando às práticas da ciência aberta”. O indexador opera inteiramente no data center do IBICT e não depende de nenhuma infraestrutura privada para nenhuma etapa do seu funcionamento.

Entre os conjuntos de dados indexados atualmente estão informações públicas extraídas de redes sociais como Facebook, Instagram e TikTok, aplicativos de mensageria como Telegram e Discord (em seus canais e grupos públicos), plataformas de vídeo e streaming como YouTube e Twitch, buscadores como Google, Bing e Google Trends, além de sites de notícias, agregadores de podcasts como Spotify e Deezer, blogs e outros ambientes digitais.

O sistema também se destaca pela oferta de metadados consistentes, que contribuem para a descoberta e recuperação qualificada de informações. Além disso, conta com um mecanismo de moderação rigoroso, que assegura a relevância, a integridade dos dados indexados e também a privacidade dos pesquisadores que queiram colaborar.

“As políticas recentes das grandes plataformas sociais impuseram custos e restrições que tornaram o acesso a dados um desafio ainda maior para pesquisadores, especialmente no Brasil. O indexador surge como resposta a essa limitação, incentivando o acesso mais democrático a conjuntos de dados públicos que ajudam a compreender o comportamento social nos ambientes digitais”, afirma Giulia Tucci, pesquisadora do projeto Baobá e uma das responsáveis pelo desenvolvimento do sistema.

A ferramenta pode ser acessada aqui.