Transparência em Ciência: novos mecanismos de avaliação para o avanço da Ciência Aberta

Confira como foi a segunda etapa de Oficinas de Cocriação - Etapa definição do compromisso

Publicado em 01/09/2021 20h35 Atualizado em 09/11/2021 18h59

DADOS GERAIS

Transparência em Ciência: novos mecanismos de avaliação para o avanço da Ciência Aberta - Tema priorizado pelo Governo

Datas dos 3 encontros (via plataforma Teams): 18, 19 e 20 de outubro de 2021.

Participantes:

Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict): Bianca Amaro de Melo, Washington Luís Ribeiro de Carvalho Segundo e Priscilla Machado Borges Sena
Ministério da Ciência, Tecnologia e Inovações: Luiz Fernando Fauth 
Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES): Katyusha Madureira Loures de Souza e Sérgio Oswaldo de Carvalho Avellar
Fundação Oswaldo Cruz (Fiocruz): Vanessa Arruda Jorge 
Empresa Brasileira de Pesquisa Agropecuária (Embrapa): Patrícia Bertin 
Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq): Paulo Henrique de Assis Santana e Dileine Amaral da Cunha 
Associação Brasileira de Editores Científicos (ABEC): Sigmar de Mello Rode 
Conselho Nacional das Fundações Estaduais de Amparo à Pesquisa (CONFAP): Marcia Perales Mendes Silva 
Scientific Electronic Library Online (SciELO): Abel Packer e Solange Santos

SEGUNDA ETAPA DE OFICINAS DE COCRIAÇÃO

A segunda etapa das Oficinas de Cocriação consistiu na realização de três encontros virtuais, organizados pela Controladoria-Geral da União (CGU), com a participação de especialistas do governo e da sociedade sobre a temática. 

Durante os encontros, os especialistas definiram conjuntamente o compromisso brasileiro no tema, com indicação de atividades, responsáveis e prazos para sua concretização.

Tal definição levou em conta o desafio estabelecido na etapa anterior, a priorização dos resultados esperados, caso o desafio fosse superado, e as contribuições da consulta pública realizada previamente à segunda etapa. 

Outros pontos relevantes para definição do compromisso:

O compromisso deve ser executado até 31 de dezembro de 2022;
Disponibilidade dos atores para implementação de solução conjuntas;
Competências legais e limitações federativas;
Capacidade operacional e orçamentária dos atores presentes; 
Impacto potencial dos resultados do compromisso.

Conheça o compromisso definido para o tema:

Construir uma proposta de modelo de avaliação que fomente a Ciência Aberta.

RESULTADO DO 1º ENCONTRO – RESULTADOS ESPERADOS E DEFINIÇÃO DO TEXTO PRELIMINAR DO COMPROMISSO

Data: 18/10 de 14h30 a 17h30

RESULTADOS ESPERADOS

Indicadores que favoreçam a publicação em revistas científicas que tem práticas voltadas à ciência aberta

Conjunto de diretrizes para orientação dos coordenadores de área sobre valorização e adoção de métricas para Ciência Aberta

Valorização da ciência aberta

Indicadores que favoreçam a produção científica em acesso aberto

Relação de métricas favoráveis as ações de Ciência Aberta

Proposta de novas métricas de avaliação de pesquisadores e instituições de pesquisa que também contemplem a Ciência Aberta

Favorecer e incentivar a prática da ciência aberta

Sistema de avaliação que favoreça, de forma clara, as atividades de Ciência Aberta

Transparência na apresentação dos resultados de avaliações e financiamentos de forma popularizada

Maior visibilidade da produção científica brasileira

Indicadores que favoreçam o compartilhamento de dados de pesquisa

Maior visibilidade de estudos em desenvolvimento ou já realizados que possibilite melhor direcionamento de fomento

Otimização de investimentos em Educação, Ciência e Tecnologia

Mecanismos que possibilitem o mapeio e visualização dos resultados de financiamentos

Transparência na apresentação dos resultados de avaliações e financiamentos de forma popularizada

Utilização de métricas alternativas e redes sociais na avaliação de resultados de uma pesquisa

Há três abordagens de avaliação de pesquisas

- Impacto por citações esperadas

- Impacto por citações observadas

- Impacto por relevância - cultural, social e econômica

Resultado esperado de transição para ciência aberta é implantar simultaneamente os três sistemas

Resultado esperados

- Sistema de Avaliação por citações esperadas

- Sistema de avaliação por citações observadas

- Sistemas de avaliação por impacto social

Os três sistemas conviverão por um tempo até produzir um sistema síntese.

Interoperabilidade entre os diferentes sistemas nacionais e internacionais de gestão da pesquisa cientifica, com foco na obtenção de identificadores sobre os resultados de projetos de pesquisa e fomentos realizados

Sistemas de avaliação pré Ciência Aberta estão "cristalizados" na maioria das mentes e corações - um caminho é exemplos de vantagens competitivas que a CA traz para o pesquisador, grupo de pesquisa, organizações, país

Otimização de processos de pesquisa e comunicação científica

Transparência na metodologia e prática da avaliação em cada área do conhecimento

Interoperabilidade entre as plataformas de Ciência e conexas às atividades científicas

Manter a integridade do processo de avaliação

Revisão das regras de avaliação dos resultados de pesquisa: valorizar o mérito intrínseco da pesquisa (por oposição ao fator de impacto).

Desenvolver sistemas paralelos de avaliação --- por exemplo baseado em impacto observado no lugar de impacto projetado

Indicadores que permitam identificar quais revistas científicas possuem práticas abusivas sobre APC

Indicadores que permitam avaliar revistas para dos tradicionais índices de citação (ex. fator de impacto)

Diretrizes básicas de Ciência Aberta comuns para o CNPQ, CAPES, CONFAP/FAPs, FINEP e outras agências de fomento.

A avaliação do trabalho publicado deverá valorizar o seu mérito intrínseco e não o local de publicação

Um dos princípios do Plano S

Inclusão de métricas e/ou indicadores de avaliação relacionados com a participação cidadã nas atividades científicas

Reutilização e aprimoramento de infraestruturas nacionais e de comunicação com infraestruturas internacionais na obtenção de indicadores sobre a pesquisa científica, alternativos àqueles providos por editoras comerciais

Criação de infraestruturas abertas, que permitam a realização de uma avaliação transparente, sobre os resultados de pesquisas científicas

Sistema que permita gerar indicadores de forma organizada em painéis e que congregue diferentes fontes abertas de informação de gestão acadêmica

Elaborar estudo que mostra que o impacto científico do Brasil não cresce pelos periódicos onde são publicados e sim por outros fatores

Diretrizes gerais para concessão de bolsas e financiamento de projetos, que considerem práticas internacionais de ciência aberta

Mecanismos que permitam realizar uma avaliação multinível dos pesquisadores, considerando diferentes perfis entre estes (exemplo: pesquisa aplicada com impacto social imediato versus pesquisa teórica com impacto social futuro)

Promover pilotos de renovação nos sistemas de avaliação

Às agências de fomento: adoção de ações semelhantes ao Plano S (Portugal), onde publicações científicas de pesquisas com fomento público sejam publicadas em periódicos ou plataformas de Acesso Aberto.

Criação de indicadores que possibilitem medir o impacto social local, regional e internacional de uma pesquisa

Indicadores que permitam medir o potencial de inovação de uma pesquisa

Elaborar conjunto de indicadores sobre a relevância cultural, social e econômica das pesquisas mapeadas nos ODS

Maior clareza por parte dos pesquisadores quanto ao conceito de Ciência Aberta e impactos no processo de avaliação

Maior participação dos pesquisadores brasileiros nas ações de Ciência Aberta

Maior entendimento pelos pesquisadores com relação aos conceitos e critérios de avaliação e impactos na Ciência Aberta

Incentivos claros aos pesquisadores para adoção de práticas de ciência aberta.

Criação de infraestruturas que permitam avaliar de forma automática, pesquisadores, projetos, programas, organizações etc.

Diretrizes para plataformas de Ciência Aberta.

Valorização da ciência aberta

Valorização da ciência aberta no critério Qualis

Dar mais visibilidade à produção científica

Mudar a forma de avaliar a produção científica

Melhorar a capacidade e os critérios para medir o impacto da produção

Mudar a mentalidade da comunidade científica em favor da ciência aberta

Mudar a forma de avaliar a produção científica

Ter formas alternativas de avaliar a produção cientifica

Métricas que valorizem o processo de avaliação em Ciência Aberta.

Mudar o paradigma pré ciência aberta para um paradigma de ciência aberta

Minuta do compromisso:

Construir um modelo de avaliação alternativo que fomente a Ciência Aberta.

Print do Painel:

RESULTADO DO 2º ENCONTRO – DEFINIÇÃO DOS MARCOS E RESPONSÁVEIS

Data: 19/10 de 14h30 a 17h30

MARCOS	RESPONSÁVEIS
Marco 1 - Levantamento dos critérios nacionais e internacionais de avaliação de pesquisadores e instituições de pesquisa, com enfoque nas práticas de ciência aberta	CAPES*
Marco 2 - Qualificação das revistas científicas e critérios alternativos nas dimensões de ciência aberta para enriquecer a estratificação do Qualis	ABEC*
Marco 3 - Proposição de critérios de Qualificação de Repositórios de Dados, de Repositórios de Publicações	IBICT*
Marco 4 - Levantar percepções, e promover sensibilização sobre os produtos do compromisso	Embrapa*, Fiocruz
Marco 5 - Proposição de diretrizes para concessão de fomento e desenvolvimento de projetos de pesquisa	(CONFAP?) *, CAPES, CNPQ, CONFAP e MCTI
Marco 6 – Excluído
Marco 7 - Proposição de Indicadores de Métricas Alternativas (alt metrics) para medição de Impacto de Pesquisas Científicas	IBICT*
Marco 8 - Proposição de Indicadores para a Ciência Cidadã	Fiocruz*
Marco 9 - Proposição de Indicadores para a avaliação que contemple a Ciência Aberta	SCIELO*, MCTI, CNPQ, CONFAP, CAPES
Marco 10 - Implantar um observatório para o progresso de práticas de ciência aberta no Brasil	IBICT*, CNPQ, EMBRAPA, FIOCRUZ, MCTI
Marco 11 - Estudo comparativo do impacto esperado vs. impacto observado na produção dos programas de pós-graduação	SCIELO*
Marco 12 - Proposição de critérios de qualificação de produtos técnicos, tecnológicos e artísticos que favoreçam a Ciência Aberta	CAPES*, CNPQ, (CONFAP??)

Print do Painel:

RESULTADO DO 3º ENCONTRO – DEFINIÇÃO DE RESPONSÁVEIS E PRAZO E TEXTO FINAL DO COMPROMISSO

Data: 20/10 de 14h30 a 17h30

COMPROMISSO DEFINIDO:

Construir uma proposta de modelo de avaliação que fomente a Ciência Aberta.

MARCOS	RESPONSÁVEIS	PRAZO INICIAL	PRAZO FINAL
Marco 1 - Levantamento dos critérios nacionais e internacionais de avaliação de pesquisadores e instituições de pesquisa, com enfoque nas práticas de ciência aberta	IBICT*, ABEC, CNPQ, SCIELO, EMBRAPA, MCTI	Dez/21	Mar/22
Marco 2 - Proposição de critérios de Qualificação de Repositórios de Dados, de Repositórios de Publicações	IBICT*, EMBRAPA, (FIOCRUZ?), CNPQ, SCIELO, ABEC	Dez/21	Mai/22
Marco 3 - Proposição de diretrizes para concessão de fomento e desenvolvimento de projetos de pesquisa	CONFAP*, CNPQ, MCTI e (CAPES?)	Dez/21	Out/22
Marco 4 - Proposição de Indicadores de Métricas Alternativas (alt metrics) para medição de Impacto de Pesquisas Científicas	IBICT*, ABEC, SCIELO	Dez/21	Out/22
Marco 5 - Proposição de Indicadores para a Ciência Cidadã	Fiocruz*, IBICT	Dez/21	Out/22
Marco 6 - Proposta de qualificação das revistas científicas e critérios alternativos nas dimensões de ciência aberta para enriquecer a estratificação do Qualis	ABEC*, IBICT, SCIELO, CAPES	Dez/21	Dez/22
Marco 7 – Levantamento de percepções, e promoção da sensibilização sobre os produtos do compromisso	EMBRAPA *, FIOCRUZ, IBICT, ABEC, CNPQ, SCIELO, CONFAP	Dez/21	Dez/22
Marco 8 - Proposição de Indicadores para a avaliação que contemple a Ciência Aberta	SCIELO*, MCTI, CNPQ, CONFAP, CAPES, IBICT, ABEC	Dez/21	Dez/22
Marco 9 – Implantação de observatório para o progresso de práticas de ciência aberta no Brasil	CNPQ*, IBICT, EMBRAPA, FIOCRUZ, MCTI, SCIELO	Dez/21	Dez/22
Marco 10 - Estudo comparativo do impacto esperado vs. impacto observado na produção dos programas de pós-graduação	SCIELO*, ABEC	Dez/21	Dez/22
Marco 11 - Proposição de critérios de qualificação de produtos técnicos, tecnológicos e artísticos que favoreçam a Ciência Aberta	CAPES*, CNPQ, CONFAP	Dez/21	Dez/22

Print do Painel:

FOTOS DOS ENCONTROS: