RELATRIO DE STATUS DE EXECUO (RSE) TEMA: TRANSPARNCIA EM CINCIA: NOVOS MECANISMOS DE AVALIAO PARA O AVANO DA CINCIA ABERTA RESUMO DO COMPROMISSO DATA DO RELATRIO COMPROMISSO PREPARADO POR 23 de dezembro de 2022 Compromisso 8 - Construir uma proposta de modelo de avaliao que fomente a Cincia Aberta Priscila Sena RGO RESPONSVEL E ENTIDADES PARTICIPANTES rgo coordenador INSTITUTO BRASILEIRO DE INFORMAO EM CINCIA E TECNOLOGIA (IBICT) Atores Envolvidos Governo * Instituto Brasileiro de Informao em Cincia e Tecnologia (IBICT) * Comisso Nacional de Energia Nuclear (CNEN) * Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico (CNPq) * Coordenao de Aperfeioamento de Pessoal de Nvel Superior (CAPES) * Empresa Brasileira de Pesquisa Agropecuria (Embrapa) * Financiadora de Estudos e Projetos (FINEP) * Fundao Oswaldo Cruz (Fiocruz) * Ministrio da Cincia, Tecnologia e Inovaes(MCTIC) Sociedade Civil * Academia Brasileira de Cincias (ABC) * Associao Brasileira de Editores Cientficos (ABEC) * Conselho Nacional das Fundaes Estaduais de Amparo Pesquisa (CONFAP) * Scientific Electronic Library Online (SciELO) * Universidade Estadual Paulista (UNESP) * Universidade Federal de Alagoas (UFAL) * Universidade Federal de Lavras (UFLA) * Universidade Federal de Santa Catarina (UFSC) * Universidade Federal do Paran (UFPR) * VISO GERAL DO MARCO / PRAZOS MARCOS % CONCLU-SO DATA DE INCIO DATA DE FIM RESPONSVEIS DETALHAMEN-TO (detalhar o que foi realizado e, se necessrio, apresentarjustifi-cativa para atrasos, com descrio dos prximos passos) INDICADO-RES DE CONCLUSO (links de comprovao das entregas) Marco 1 - Levantamento dos critrios nacionais e internacionais de avaliao de pesquisadores e instituies de pesquisa, com enfoque nas prticas de cincia aberta 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Maro de 2022 Realizada: Maro de 2022 IBICT*, ABEC, CNPQ, SCIELO, EMBRAPA, MCTI Realizou-se levantamentos bibliogrfico e documental, chegando ao resultado esperado em documentos cientficos e tcnicos. Acessar comprovaes aqui! Marco 2 - Proposio de critrios de Qualificao de Repositrios de Dados, de Repositrios de Publicaes 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Novembro de 2022 Realizada: Novembro de 2022 IBICT*, CNEN, EMBRAPA, FIOCRUZ, CNPQ, SCIELO, ABEC Concludo com 100% de execuo. Os critrios propostos foram compilados em uma matriz. Os integrantes do marco pretendem que, em 2023, seja lanado um manual/guia para auxiliar na implantao dos critrios. Acessar comprovaes aqui! Marco 3 - Proposio de diretrizes para concesso de fomento e desenvolvimento de projetos de pesquisa 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Outubro de 2022 Realizada: Outubro de 2022 CONFAP*, CNPQ, MCTI e CAPES Concludo com a proposta de diretrizes alcanada em totalidade. Acessar comprovaes aqui! Marco 4 - Proposio de Indicadores de Mtricas Alternativas (alt metrics) para medio de Impacto de Pesquisas Cientficas 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Outubro de 2022 Realizada: Outubro de 2022 IBICT*, ABEC, SCIELO, ABC, UFAL Concludo com a proposta de Indicadores de Mtricas Alternativas. Acessar comprovaes aqui! Marco 5 - Proposio de Indicadores para a Cincia Cidad 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Outubro de 2022 Realizada: Outubro de 2022 Fiocruz*, IBICT Realizou-se: * 2 Reunies do Marco; * Finalizao do diagnstico com levantamento de documentos e anlise do material coletado; * Desenvolvimento de proposta de matriz de indicadores; * Organizao de 2 eventos em julho no II Workshop da Rede Brasileira de Cincia Cidad: * Mesa temtica 3 Polticas para Cincia Cidad: questes e desafios 06/07 das 13h s 16h; * Oficina "Indicadores de Avaliao e Apoio Cincia Cidad" 05/07 das 9h30 s 12h30. Este evento ser a 1 etapa de validao de indicadores; * Realizao do Workshop para 2 etapa de validao de indicadores na Fiocruz Braslia em 30/08, das 14h s 17h, em formato presencial com transmisso e interao virtual * Finalizao do Relatrio Final. Acessar comprovaes aqui! Marco 6 - Proposta de qualificao das revistas cientficas e critrios alternativos nas dimenses de cincia aberta para enriquecer a estratificao do Qualis 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Dezembro de 2022 Realizada: Dezembro de 2022 ABEC*, IBICT, SCIELO, CAPES Realizou-se: * Reunies semanais entre ABEC e SCIELO para estabelecer critrios de avaliao para o estabelecimento do observatrio (Marco 9). Os marcos 4, 6, 8 e 9 esto sendo trabalhados de forma unificada devido a semelhana e complementariedade dos temas. Tendo o marco 9 como marco inicial para o desenvolvimento das atividades dos outros marcos. Acessar comprovaes aqui! Marco 7 - Levantamento de percepes, e promoo da sensibilizao sobre os produtos do compromisso 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Dezembro de 2022 Realizada: Dezembro de 2022 EMBRAPA *, FIOCRUZ, IBICT, ABEC, CNPQ, SCIELO, CONFAP O Marco foi alcanado em sua totalidade, o que se pode comprovar a partir da: * elaborao de questionrio eletrnico para levantamento de percepes sobre os mecanismos de avaliao da cincia, o qual foi avaliado e validado por duas profissionais especialistas no tema (Ana Maranho, da Fiocruz; e Tatiane Pacanaro, Capes); e do * registro das aes de sensibilizao e comunicao promovidas pelo Compromisso e seus membros. Acessar comprovaes aqui! Marco 8 - Proposio de Indicadores para a avaliao que contemple a Cincia Aberta 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Dezembro de 2022 Realizada: Dezembro de 2022 SCIELO*, MCTI, CNPQ, CONFAP, CAPES, IBICT, ABEC Concludo com a proposta de Indicadores alcanada. Acessar comprovaes aqui! Marco 9 - Implantao de observatrio para o progresso de prticas de Cincia Aberta no Brasil 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Dezembro de 2022 Realizada: Dezembro de 2022 CNPQ*, IBICT, EMBRAPA, FIOCRUZ, MCTI, SCIELO Concludo com a implantao do observatrio. Acessar comprovaes aqui! Marco 10 - Estudo comparativo do impacto esperado vs. impacto observado na produo dos programas de ps-graduao 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Dezembro de 2022 Realizada: Dezembro de 2022 SCIELO*, ABEC, CAPES, Concludo com estudo concludo. Acessar comprovaes aqui! Marco 11 - Proposio de critrios de qualificao de produtos tcnicos, tecnolgicos e artsticos que favoream a Cincia Aberta 100% Prevista: Dezembro de 2021 Realizada: Dezembro de 2021 Prevista: Dezembro de 2022 Realizada: Dezembro de 2022 CAPES*, CNPQ, CONFAP Concludo com a proposio de critrios alcanada. Acessar comprovaes aqui! * rgo/entidade responsvel por coordenar a execuo do marco OBSERVAES ADICIONAIS (descrever outras informaes relevantes sobre a implementao do compromisso, como: os desafios enfrentados, intercorrncias, estratgias para solucionar impasses, etc.). * Desafio enfrentado: * promoo da integrao e participao democrtica de todas as pessoas envolvidas, principalmente as/os representantes de sociedades cientficas. * tempo de execuo de 1 ano. * perodo eleitoral. * Estratgia: sensibilizao para a importncia do compromisso e acompanhamento peridico dos envolvidos nos marcos do compromisso. * Anexo consta a planilha de gesto dos marcos do compromisso. * Para visualizar os resultados do compromisso uma wiki foi criada com todas as informaes dos processos de execuo. Ver link! COMPROMISSO: CONSTRUIR UMA PROPOSTA DE MODELO DE AVALIAO QUE FOMENTE A CINCIA ABERTA MARCOS RESPONSVEIS PRAZO INICIAL Resultados esperados em 25% Resultados esperados em 50% Resultados esperados em 75% Resultados esperados em 100% PRAZO FINAL Marco 1 - Levantamento dos critrios nacionais e internacionais de avaliao de pesquisadores e instituies de pesquisa, com enfoque nas prticas de cincia aberta IBICT*, ABEC, CNPQ, SCIELO, EMBRAPA, MCTI dez./21 jan./22 - Seleo de publicaes cientficas. fev./22 - Seleo de publicaes tcnicas. mar.2 - Categorizao dos critrios nacionais e internacionais de avaliao. mar./22 - Entrega do relatrio final do marco. mar./22 Marco 2 - Proposio de critrios de Qualificao de Repositrios de Dados, de Repositrios de Publicaes IBICT*, CNEN, EMBRAPA, FIOCRUZ, CNPQ, SCIELO, ABEC dez./21 mar./22 - Levantamento dos critrios de qualificao internacionais. abr./22 - Proposta de critrios para a avaliao de repositrio de publicaes. Out./22 - Proposta de critrios para a avaliao de repositrio de dados. nov./22 - Entrega do relatrio final do marco. nov./22 Marco 3 - Proposio de diretrizes para concesso de fomento e desenvolvimento de projetos de pesquisa CONFAP*, CNPQ, MCTI, CAPES dez./21 abr./22 - Levantamento das diretrizes nacionais vigentes para concesso de fomento e desenvolvimento de projetos de pesquisa. jun./22 - Levantamento das diretrizes internacionais para concesso de fomento e desenvolvimento de projetos de pesquisa. ago./22 - Anlise das diretrizes nacionais e internacionais para concesso de fomento e desenvolvimento de projetos de pesquisa, no que concerne aos pontos que impedem e favorecem o avano da Cincia Aberta. out./22 - Proposta de diretrizes para concesso de fomento e desenvolvimento de projetos de pesquisa que contemple as prticas de Cincia Aberta. out./22 Marco 4 - Proposio de Indicadores de Mtricas Alternativas (altmetrics) para medio de Impacto de Pesquisas Cientficas ABEC*, IBICT, SCIELO, ABC, UFAL dez./21 abr./22 - Anlise do material coletado para elaborao de diagnstico. jun./22 - Estabelecer uma proposta inicial com sugestes. ago./22 - Apresentao e discusso dos resultados com pesquisadores e todos os profisisonais envolvidos no processo editorial de publicaes cientficas. out./22 - Sensibilizao, discusso e apresentao do relatrio final com os critrios propostos. out./22 Marco 5 - Proposio de Indicadores para a Cincia Cidad Fiocruz*, IBICT dez./21 abr./22 - Anlise do material coletado para elaborao de diagnstico. jun./22 - Redao de relatrio parcial com a proposta de diretrizes e metodologia utilizada. ago./22 - Apresentao e discusso dos resultados com a comunidade de pesquisa e ao em cincia cidad. out./22 - Sensibilizao da comunidade de pesquisa e pblico em geral, e entrega da proposta de indicadores para a cincia cidad. out./22 Marco 6 - Proposta de qualificao das revistas cientficas e critrios alternativos nas dimenses de cincia aberta para enriquecer a estratificao do Qualis ABEC*, IBICT, SCIELO, CAPES dez./21 abr./22 - Anlise do material coletado sobre o qualis Capes para elaborao de diagnstico. jun./22 - Estabelecer uma proposta inicial com sugestes de critrios de cincia aberta na avaliao da produo da ps-graduao. ago./22 - Apresentao e discusso dos resultados com a comunidade de pesquisadores, editores e profissionais envolvidos no processo editorial. out./22 - Sensibilizao e discusso com a comunidade relacionada, por meio de eventos. dez./22 - Entrega do relatrio final Marco 7 Levantamento de percepes, e promoo da sensibilizao sobre os produtos do compromisso EMBRAPA *, FIOCRUZ, IBICT, ABEC, CNPQ, SCIELO, CONFAP dez./21 abr./22 - Definio de framework de percepes de sensibilizao sobre os produtos do compromisso. jun./22 - Elaborao de instrumento de pesquisa para captao de percepes sobre mecanismos de avaliao da cincia e elaborao de template para registro de aes de sensibilizao sobre os produtos do Compromisso.. out./22 - Preenchimento do questionrio sobre percepes a respeito da avaliao da cincia e monitoramento atualizado sobre aes de sensibilizao.. dez./22 - Anlise finalizada dos dados coletados a partir do questionrio sobre mecanismos de avaliao da Cincia Aberta e relatrio sobre aes de sensibilizao produzido.. dez./22 Marco 8 - Proposio de Indicadores para a avaliao que contemple a Cincia Aberta SCIELO*, MCTI, CNPQ, CONFAP, CAPES, IBICT, ABEC dez./21 31 mar./22 - documento proposta finalizado. 30 jun./22 verso 1 do layout do portal Indicadores do Estado da Cincia Aberta no Brasil. 30 set./22 verso final da lista de indicadores com as respectivas definies e especificao dos procedimentos de clculos. 15 dez./2022 disseminao da proposta de indicadores, com envios especiais para os sistemas nacionais de avaliao. dez./22 Marco 9 Implantao de observatrio para o progresso de prticas de cincia aberta no Brasil CNPQ*, IBICT, EMBRAPA, FIOCRUZ, MCTI, SCIELO dez./21 fev./22 - Apresentao de documento norteador. abr./22 - Definio da estrutura de apresentao do observatrio. set./22 - Implementao do piloto do observatrio. dez./22 - Estabelecimento da operao do repositrio em rede. dez./22 Marco 10 - Estudo comparativo do impacto esperado vs. impacto observado na produo dos programas de ps-graduao SCIELO*, ABEC, CAPES dez./21 31 mar./22 metodologia do estudo definida. 30 jun./22 metodologia testada com um programa piloto. 30 set./22 estudo finalizado com documento compartilhado com os programas selecionados. 15 dez.22 divulgao realizada por meio de webinrio e blogs. dez./22 Marco 11 - Proposio de critrios de qualificao de produtos tcnicos, tecnolgicos e artsticos que favoream a Cincia Aberta CAPES*, CNPQ, CONFAP dez./21 abr./22 - Proposta de metodologia de estudo. jun./22 - Estabelecer uma proposta inicial com sugestes de possveis alteraes para a reavaliao da qualificao de produtos tcnicos, tecnolgicos e artsticos que favoream a Cincia Aberta. ago./22 - Apresentao e discusso dos resultados com a comunidade de pesquisadores, editores e profissionais envolvidos no processo. out./22 - Sensibilizao e discusso com a comunidade relacionada, por meio de eventos. dez./22 - Entrega do relatrio final Pgina2 Controladoria-Geral da Unio Parceria para Governo Aberto OGP Controladoria-Geral da Unio Parceria para Governo Aberto OGP