RELATÓRIO DE STATUS DE EXECUÇÃO (RSE) TEMA: TRANSPARÊNCIA EM CIÊNCIA: NOVOS MECANISMOS DE AVALIAÇÃO PARA O AVANÇO DA CIÊNCIA ABERTA   RESUMO DO COMPROMISSO DATA DO RELATÓRIO COMPROMISSO PREPARADO POR 20 de junho de 2022 Compromisso 8 - Construir uma proposta de modelo de avaliação que fomente a Ciência Aberta Priscila Sena ÓRGÃO RESPONSÁVEL E ENTIDADES PARTICIPANTES Órgão coordenador INSTITUTO BRASILEIRO DE INFORMAÇÃO EM CIÊNCIA E TECNOLOGIA (IBICT)   Atores Envolvidos Governo * Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict)   * Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) * Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)   * Empresa Brasileira de Pesquisa Agropecuária (Embrapa)   * Fundação Oswaldo Cruz (Fiocruz) * Ministério da Ciência, Tecnologia e Inovações (MCTIC) Sociedade Civil * Academia Brasileira de Ciências (ABC) * Associação Brasileira de Editores Científicos (ABEC)   * Conselho Nacional das Fundações Estaduais de Amparo à Pesquisa (CONFAP)   * Scientific Electronic Library Online (SciELO)   * Universidade Estadual Paulista (UNESP) * Universidade Federal de Alagoas (UFAL) * Universidade Federal de Lavras (UFLA) * Universidade Federal de Santa Catarina (UFSC) * Universidade Federal do Paraná (UFPR) * Universidade Federal do Rio de Janeiro (UFRJ) VISÃO GERAL DO MARCO / PRAZOS MARCOS % CONCLUSÃO DATA DE INÍCIO DATA DE FIM RESPONSÁVEIS DETALHAMENTO (detalhar o que foi realizado e, se necessário, apresentar justificativa para atrasos, com descrição dos próximos passos) INDICADORES DE CONCLUSÃO (links de comprovação das entregas) Marco 1 - Levantamento dos critérios nacionais e internacionais de avaliação de pesquisadores e instituições de pesquisa, com enfoque nas práticas de ciência aberta   100% Prevista: Dezembro de 2021 Realizada:  Dezembro de 2021 Prevista: Março de 2022 Realizada:  Março de 2022 IBICT*, ABEC, CNPQ, SCIELO, EMBRAPA, MCTI Realizou-se levantamentos bibliográfico e documental, chegando ao resultado até a presente data da seleção e análise de 94 documentos científicos e técnicos. Acessar comprovação aqui! Marco 2 - Proposição de critérios de Qualificação de Repositórios de Dados, de Repositórios de Publicações   50% Prevista: Dezembro de 2021  Realizada: Prevista: Maio de 2022  Setembro de 2022  Realizada: IBICT*, EMBRAPA, FIOCRUZ, CNPQ, SCIELO, ABEC Realizou-se: 3 reuniões que ocorreram em 23/03, 07/04 e 29/04. Embora tenha se obtido uma proposta de metodologia, os participantes solicitaram mais 4 meses para a concretização. Encaminhamento: * Realizar de reuniões quinzenais com os envolvidos para estabelecimento de critérios * Estabelecer um documento com recomendações normativas para repositórios de publicações e dados de pesquisas, assim como para portais agregadores e agências de fomentos. * Elaborar um guia com as recomendações. * Ofertar oficinas. Acessar comprovação aqui! Marco 3 - Proposição de diretrizes para concessão de fomento e desenvolvimento de projetos de pesquisa   35% Prevista: Dezembro de 2021  Realizada: Prevista: Outubro de 2022  Realizada: CONFAP*, CNPQ, MCTI e (CAPES?) Realizou-se: Aplicou-se um instrumento junto a todas as FAPs, CNPq, MCTI e outras; Levantou-se ações existentes de fomento à pesquisa que favoreçam as práticas de Ciência Aberta em âmbito nacional e internacional; Iniciou-se a discussão sobre as diretrizes que será proposta (mas ainda não apresentada ao Grupo do Marco 5, pois ainda se está fazendo primeiramente no GT do Confap para submeter algo mais consistente as outras instituições do Marco). Encaminhamento: * Realizar reunião na segunda quinzena de julho com todas as instituições do Marco 3 para apresentar as propostas preliminares de diretrizes, com vistas em se debater e chegar a um consenso sobre as principais diretrizes a serem elencadas. * Atingir o estabelecido para 50% até o final de julho. Acessar comprovação aqui! Marco 4 - Proposição de Indicadores de Métricas Alternativas (alt metrics) para medição de Impacto de Pesquisas Científicas   40% Prevista: Dezembro de 2021  Realizada: Prevista: Outubro de 2022  Realizada: IBICT*, ABEC, SCIELO, ABC, UFAL Realizou-se: * Reuniões semanais entre ABEC e SCIELO para estabelecer critérios de avaliação para o estabelecimento do observatório (Marco 9). Os marcos 4, 6, 8 e 9 estão sendo trabalhados de forma unificada devido a semelhança e complementariedade dos temas. Tendo o marco 9 como marco inicial para o desenvolvimento das atividades dos outros marcos. Atingir o estabelecido para 50% até o final de junho. Acessar comprovações: Marco 8, Marco 9 e Marco 10. Marco 5 - Proposição de Indicadores para a Ciência Cidadã   50% Prevista: Dezembro de 2021  Realizada: Prevista: Outubro de 2022  Realizada: Fiocruz*, IBICT Realizou-se: * 2 Reuniões do Marco; * Finalização do diagnóstico com levantamento de documentos e análise do material coletado; * Desenvolvimento de proposta de matriz de indicadores; * Organização de 2 eventos em julho após aprovação da comissão científica do II Workshop da Rede Brasileira de Ciência Cidadã: * Mesa temática 3 – “Políticas para Ciência Cidadã: questões e desafios” – 06/07 das 13h às 16h; * Oficina "Indicadores de Avaliação e Apoio à Ciência Cidadã" – 05/07 das 9h30 às 12h30. Este evento será a 1ª etapa de validação de indicadores; * Início da organização de evento para 2ª etapa de validação de indicadores na Fiocruz Brasília em 30/08, das 14h às 17h. Será um evento presencial, com transmissão e interação virtual Encaminhamento: * Divulgação e convite dos diferentes públicos-alvo para os eventos; * Realização dos eventos planejados para julho e agosto; * Atingir as metas planejadas para os próximos períodos. Acessar comprovação aqui! Marco 6 - Proposta de qualificação das revistas científicas e critérios alternativos nas dimensões de ciência aberta para enriquecer a estratificação do Qualis   40% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: ABEC*, IBICT, SCIELO, CAPES Realizou-se: * Reuniões semanais entre ABEC e SCIELO para estabelecer critérios de avaliação para o estabelecimento do observatório (Marco 9). Os marcos 4, 6, 8 e 9 estão sendo trabalhados de forma unificada devido a semelhança e complementariedade dos temas. Tendo o marco 9 como marco inicial para o desenvolvimento das atividades dos outros marcos. Encaminhamento: Atingir o estabelecido para 50% até o final de junho. Acessar comprovações: Marco 8, Marco 9 e Marco 10. Marco 7 - Levantamento de percepções, e promoção da sensibilização sobre os produtos do compromisso   30% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: EMBRAPA *, FIOCRUZ, IBICT, ABEC, CNPQ, SCIELO, CONFAP Levantamento documental em curso (questionários e instrumentos de pesquisa sobre avaliação da ciência; ex.: Conselho Latino-americano de Ciências Sociais (CLACSO), editora PLOS, RNP/IBICT); Questionário para levantamento de percepções em elaboração. Responsabilidade distribuída entre os Marcos; Planilha elaborada e compartilhada, para registro das ações de comunicação (título, data, participantes, caracterização do evento e vinculação ao Compromisso): link. Encaminhamento: Elaborar um plano de ação com estratégias mais coordenadas para a concretização do marco. Ver mais detalhes em: link. Acessar comprovação aqui! Marco 8 - Proposição de Indicadores para a avaliação que contemple a Ciência Aberta   40% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: SCIELO*, MCTI, CNPQ, CONFAP, CAPES, IBICT, ABEC Realizou-se: * Reuniões semanais entre ABEC e SCIELO para estabelecer critérios de avaliação para o estabelecimento do observatório (Marco 9). Os marcos 4, 6, 8 e 9 estão sendo trabalhados de forma unificada devido a semelhança e complementariedade dos temas. Tendo o marco 9 como marco inicial para o desenvolvimento das atividades dos outros marcos. Encaminhamento: Atingir o estabelecido para 50% até o final de junho. Acessar comprovações: Marco 8, Marco 9 e Marco 10. Marco 9 - Implantação de observatório para o progresso de práticas de ciência aberta no Brasil   40% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: CNPQ*, IBICT, EMBRAPA, FIOCRUZ, MCTI, SCIELO Realizou-se: * Reuniões semanais entre ABEC e SCIELO para estabelecer critérios de avaliação para o estabelecimento do observatório (Marco 9). Os marcos 4, 6, 8 e 9 estão sendo trabalhados de forma unificada devido a semelhança e complementariedade dos temas. Tendo o marco 9 como marco inicial para o desenvolvimento das atividades dos outros marcos. Acessar comprovações: Marco 8, Marco 9 e Marco 10. Marco 10 - Estudo comparativo do impacto esperado vs. impacto observado na produção dos programas de pós-graduação   35% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: SCIELO*, ABEC, CAPES, (ANDIFES, FOPROP) Metodologia definida. Encaminhamento: Atingir o estabelecido para 50% até o final de junho. Acessar comprovação aqui! Marco 11 - Proposição de critérios de qualificação de produtos técnicos, tecnológicos e artísticos que favoreçam a Ciência Aberta   25% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: CAPES*, CNPQ, CONFAP Realizou-se: * Repasse de relatório solicitado pelo CTC. * Início da análise dos produtos técnicos, tecnológicos e artísticos que favoreçam a Ciência Aberta. * Reunião com CNPQ e CONFAP. Encaminhamento: Atingir o estabelecido para 50% até o final de junho. Acessar comprovação aqui! * Órgão/entidade responsável por coordenar a execução do marco OBSERVAÇÕES ADICIONAIS (descrever outras informações relevantes sobre a implementação do compromisso, como: os desafios enfrentados, intercorrências, estratégias para solucionar impasses, etc.). * Desafio enfrentado: promoção da integração e participação democrática de todas as pessoas envolvidas, principalmente as/os representantes de sociedades científicas. * Estratégia: sensibilização para a importância do compromisso e acompanhamento periódico dos envolvidos nos marcos do compromisso. * Inserção e participação de novos membros: 1) Debora Pignatari Drucker (debora.drucker@embrapa.br ) - Empresa Brasileira de Pesquisa Agropecuária (Embrapa) - Contribuição no Marco 2, Marco 4, Marco 7 e Marco 9. 2) Juliana Meirele Fortaleza (juliana.fortaleza@embrapa.br) - Empresa Brasileira de Pesquisa Agropecuária (Embrapa) - Contribuição no Marco 7. * Anexo consta a planilha de gestão dos marcos do compromisso. * Para acompanhar o desenvolvimento do compromisso basta acessar a wiki criada com todas as informações dos processos de execução. Ver link! COMPROMISSO: CONSTRUIR UMA PROPOSTA DE MODELO DE AVALIAÇÃO QUE FOMENTE A CIÊNCIA ABERTA MARCOS RESPONSÁVEIS PRAZO INICIAL Resultados esperados em 25% Resultados esperados em 50% Resultados esperados em 75% Resultados esperados em 100% PRAZO FINAL Marco 1 - Levantamento dos critérios nacionais e internacionais de avaliação de pesquisadores e instituições de pesquisa, com enfoque nas práticas de ciência aberta IBICT*, ABEC, CNPQ, SCIELO, EMBRAPA, MCTI dez./21 jan./22 - Seleção de publicações científicas. fev./22 - Seleção de publicações técnicas. mar.2 - Categorização dos critérios nacionais e internacionais de avaliação. mar./22 - Entrega do relatório final do marco. mar./22 Marco 2 - Proposição de critérios de Qualificação de Repositórios de Dados, de Repositórios de Publicações IBICT*, EMBRAPA, FIOCRUZ, CNPQ, SCIELO, ABEC dez./21 mar./22 - Levantamento dos critérios de qualificação internacionais. abr./22 - Proposta de critérios para a avaliação de repositório de publicações. maio/22 - Proposta de critérios para a avaliação de repositório de dados. maio/22 - Entrega do relatório final do marco. mai./22 Marco 3 - Proposição de diretrizes para concessão de fomento e desenvolvimento de projetos de pesquisa CONFAP*, CNPQ, MCTI e (CAPES?) dez./21 abr./22 - Levantamento das diretrizes nacionais vigentes para concessão de fomento e desenvolvimento de projetos de pesquisa. jun./22 - Levantamento das diretrizes internacionais para concessão de fomento e desenvolvimento de projetos de pesquisa. ago./22 - Análise das diretrizes nacionais e internacionais para concessão de fomento e desenvolvimento de projetos de pesquisa, no que concerne aos pontos que impedem e favorecem o avanço da Ciência Aberta. out./22 - Proposta de diretrizes para concessão de fomento e desenvolvimento de projetos de pesquisa que contemple as práticas de Ciência Aberta. out./22 Marco 4 - Proposição de Indicadores de Métricas Alternativas (altmetrics) para medição de Impacto de Pesquisas Científicas ABEC*, IBICT, SCIELO, ABC, UFAL dez./21 abr./22 - Análise do material coletado para elaboração de diagnóstico. jun./22 - Estabelecer uma proposta inicial com sugestões. ago./22 - Apresentação e discussão dos resultados com pesquisadores e todos os profisisonais envolvidos no processo editorial de publicações científicas. out./22 - Sensibilização, discussão e apresentação do relatório final com os critérios propostos. out./22 Marco 5 - Proposição de Indicadores para a Ciência Cidadã Fiocruz*, IBICT dez./21 abr./22 - Análise do material coletado para elaboração de diagnóstico. jun./22 - Redação de relatório parcial com a proposta de diretrizes e metodologia utilizada. ago./22 - Apresentação e discussão dos resultados com a comunidade de pesquisa e ação em ciência cidadã. out./22 - Sensibilização da comunidade de pesquisa e público em geral, e entrega da proposta de indicadores para a ciência cidadã. out./22 Marco 6 - Proposta de qualificação das revistas científicas e critérios alternativos nas dimensões de ciência aberta para enriquecer a estratificação do Qualis ABEC*, IBICT, SCIELO, CAPES dez./21 abr./22 - Análise do material coletado sobre o qualis Capes para elaboração de diagnóstico. jun./22 - Estabelecer uma proposta inicial com sugestões de critérios de ciência aberta na avaliação da produção da pós-graduação. ago./22 - Apresentação e discussão dos resultados com a comunidade de pesquisadores, editores e profissionais envolvidos no processo editorial. out./22 - Sensibilização e discussão com a comunidade relacionada, por meio de eventos. dez./22 - Entrega do relatório final Marco 7 – Levantamento de percepções, e promoção da sensibilização sobre os produtos do compromisso EMBRAPA *, FIOCRUZ, IBICT, ABEC, CNPQ, SCIELO, CONFAP dez./21 abr./22 - Definição de framework de percepções de sensibilização sobre os produtos do compromisso. jun./22 - 50% de preenchimento do framework de percepções de sensibilização sobre os produtos do compromisso. out./22 - 75% de preenchimento do framework de percepções de sensibilização sobre os produtos do compromisso. dez./22 - 100% de preenchimento do framework de percepções de sensibilização sobre os produtos do compromisso. dez./22 Marco 8 - Proposição de Indicadores para a avaliação que contemple a Ciência Aberta SCIELO*, MCTI, CNPQ, CONFAP, CAPES, IBICT, ABEC dez./21 31 mar./22 - documento proposta finalizado. 30 jun./22 – versão 1 do layout do portal Indicadores do Estado da Ciência Aberta no Brasil. 30 set./22 – versão final da lista de indicadores com as respectivas definições e especificação dos procedimentos de cálculos. 15 dez./2022 – disseminação da proposta de indicadores, com envios especiais para os sistemas nacionais de avaliação. dez./22 Marco 9 – Implantação de observatório para o progresso de práticas de ciência aberta no Brasil CNPQ*, IBICT, EMBRAPA, FIOCRUZ, MCTI, SCIELO dez./21 fev./22 - Apresentação de documento norteador. abr./22 - Definição da estrutura de apresentação do observatório. set./22 - Implementação do piloto do observatório. dez./22 - Estabelecimento da operação do repositório em rede. dez./22 Marco 10 - Estudo comparativo do impacto esperado vs. impacto observado na produção dos programas de pós-graduação SCIELO*, ABEC, CAPES, ANDIFES, FOPROP dez./21 31 mar./22 – metodologia do estudo definida. 30 jun./22 – metodologia testada com um programa piloto. 30 set./22 – estudo finalizado com documento compartilhado com os programas selecionados. 15 dez.22 – divulgação realizada por meio de webinário e blogs. dez./22 Marco 11 - Proposição de critérios de qualificação de produtos técnicos, tecnológicos e artísticos que favoreçam a Ciência Aberta CAPES*, CNPQ, CONFAP dez./21 abr./22 - Proposta de metodologia de estudo. jun./22 - Estabelecer uma proposta inicial com sugestões de possíveis alterações para a reavaliação da qualificação de produtos técnicos, tecnológicos e artísticos que favoreçam a Ciência Aberta. ago./22 - Apresentação e discussão dos resultados com a comunidade de pesquisadores, editores e profissionais envolvidos no processo. out./22 - Sensibilização e discussão com a comunidade relacionada, por meio de eventos. dez./22 - Entrega do relatório final Página2 Controladoria-Geral da União Parceria para Governo Aberto – OGP Controladoria-Geral da União Parceria para Governo Aberto – OGP