Guia Orientativo para Elaboração de Avaliação de Resultado Regulatório - ARR

Versão preliminar revisada

Sumário

1.         Introdução     

1.1.      Finalidade do Guia    

1.2.      O que é Regulação?   

1.3.      O que é a ARR?        

1.4.      Quando realizar a ARR?       

2.         Orientações Gerais    

2.1.      Princípios de uma Boa Avaliação     

2.2.      Os Diferentes Tipos de Olhar Retrospectivo

2.3.      O Princípio da Proporcionalidade na ARR  

2.4.      Participação Social e Transparência 

3.         Monitoramento e o Planejamento da ARR  

3.1.      O Monitoramento e a sua importância         

3.2.      Planejando o Monitoramento

3.2.1    Seleção dos Indicadores       

3.2.2    Periodicidade do Monitoramento     

3.2.3    Coleta de Dados        

3.3.      A Agenda de ARR    
3.3.1.   Procedimento sugerido para a elaboração da Agenda de ARR

3.4.      Estratégias de Coleta e Tratamento de Dados         

3.4.1.   Quais informações devem ser coletadas?     

3.4.2.   Quem será o responsável pela coleta?          

3.4.3.   Quando as informações deverão ser coletadas?       

3.5.      Coleta de Dados        

3.5.1.   Fontes de Dados        

3.5.2.   Instrumentos de Coleta de Dados Primários 

3.6.      Tratamento dos Dados          

3.7.      Proteção de Dados Sigilosos ou Reservados

4.         O Relatório de ARR  

4.1.      Sumário Executivo    

4.2.      Por que avaliar? Justificativa e Finalidade pretendida com a ARR

4.3.      Descrição da Regulação        

4.4.      Objetivos da Regulação        

4.4.1  (Re)Construindo a Teoria da Regulação        

4.5.      Avaliação dos resultados e demais impactos da regulação selecionada      

4.5.1.   Abordagens de ARR 

4.5.2.   O que a ARR vai explicar? Atingimento de Objetivos e demais impactos 

4.5.3.   Que Tipo de Inferência a ARR pretende fazer: ARR descritiva ou atribucional?  

4.6.      Discussão dos Resultados e Recomendações           

5.         Integrando a ARR no Ciclo Regulatório      

5.1.      Internalizando a ARR na Rotina Regulatória           

5.2.      Uso e disseminação de resultados    

5.3.      Da AIR à ARR          

6.         Glossário        
ANEXO I - QUESTÕES PARA ORIENTAR A ELABORAÇÃO DO RELATÓRIO DE ARR

1. Introdução

1.1.Finalidade do Guia

Por ter caráter orientativo, os procedimentos aqui apresentados não são vinculantes. Sua aplicação deve ser definida a partir do caso concreto, devendo, ainda, considerar a complexidade do tema e a capacidade de execução do órgão ou da entidade da administração pública. Ou seja, este Guia não é um "Decreto do Decreto": sua finalidade restringe-se a subsidiar os servidores responsáveis pela condução da ARR em seus respectivos órgãos e entidades de atuação. O Guia reconhece a necessidade de promover um diálogo entre as boas práticas em ARR e o contexto brasileiro, no qual o Decreto nº 10.411/2020 ocupa papel relevante.

Embora tenha sido elaborado com foco no Poder Executivo Federal, em virtude do que estabelece o citado decreto, as orientações reunidas no Guia de ARR podem ser utilizadas por outros entes da federação e outros Poderes.

1.2.O que é Regulação?

Na primeira, regulação é definida como toda intervenção intencional nas atividades de uma população-alvo. Esta definição possui escopo bastante amplo e inclui intervenções diretas ou indiretas, cuja origem e/ou público-alvo podem ser tanto atores públicos como privados.

Na segunda, regulação corresponde às intervenções intencionais e diretas exercida por atores do setor público nas atividades econômicas de atores do setor privado, incluindo a definição de padrões, o monitoramento e a sanção.  

Note-se que nenhuma das definições acima implica, necessariamente, veiculação de atos normativos. Para fins de simplicidade e coerência com o Guia Orientativo para a Elaboração da AIR, a definição de regulação utilizada neste Guia será a seguinte:

"Regulação é uma forma contemporânea de ação do Estado e se refere, em sentido geral, aos instrumentos jurídico-normativos (leis, decretos, regulamentos e outras normas) de que dispõe o governo para estabelecer obrigações que devem ser cumpridas pelo setor privado, pelos cidadãos e pelo próprio governo"(Casa Civil, 2018a, p.7).

1.3.O que é a ARR?

Figura 1. Etapas da ARR[3]

 
A ARR, assim como a AIR, é uma ferramenta destinada a aperfeiçoar a ação regulatória, contribuindo para a efetividade, eficiência e eficácia da ação estatal.  A ARR não precisa restringir-se ao estoque de atos normativos do órgão. No entanto, a obrigação de realização da ARR trazida pelo Decreto nº 10.411/2020 direciona-se às regulações materializadas em atos normativos. Isso ocorre tanto para a análise de impacto regulatório (AIR) como para a avaliação de resultado regulatório (ARR).

A avaliação de resultado regulatório pode, portanto, referir-se à:

• Um ato normativo na íntegra;

• Uma ou mais partes de um ato normativo;

• Um conjunto de atos normativos;

• Um mesmo tema, regulado em diferentes atos normativos ? ou seja, representado por diferentes atos, ou diferentes partes de atos normativos. Neste caso, entende-se que que a ARR possui caráter temático; e

• Uma intervenção intencional e direta não normativa, mas de interesse geral. Ressalta-se que, neste caso, a ARR não está contemplada na demanda de obrigatoriedade estabelecida pelo Decreto nº 10.411/2020.

A agenda de melhoria regulatória é definida como o " desenho e a avaliação de políticas e regulações de forma transparente, com base em evidências e apoiado em opiniões dos cidadãos e das partes interessadas". O objetivo é que a intervenção regulatória não vá além, ou fique aquém, do "necessário": ou seja, que atinja o seu objetivo e beneficie a sociedade ao menor custo possível[4].  Por isso, inclui diferentes ferramentas e iniciativas que buscam aperfeiçoar o processo regulatório, com maior ou menor ênfase na transparência, participação social e racionalidade deste processo. Essas ferramentas e iniciativas diferenciam-se quanto ao seu foco, ou seu objetivo principal, e quanto ao momento do ciclo regulatório que são utilizadas.

Quando e Como "melhorar" a regulação?

Ferramentas e iniciativas de melhoria regulatória podem atuar em diferentes momentos do ciclo regulatório. Há três principais abordagens com relação ao "quando melhorar a regulação": (i) a prospectiva, quando o foco é a ação reguladora futura; (ii) a retrospectiva, quando o foco são as regulações já elaboradas, ou o estoque regulatório, e (iii) a compensatória, quando se estabelece uma regra de ligação entre as "novas" e "velhas" regulações, usualmente sob a forma de "regras" do tipo "one-in, x-out" (OIXO) - ou seja, para cada regulação ou custo adicionado, x regulações ou custos precisam ser eliminados.

Além disso, ferramentas e iniciativas de melhoria regulatória também possuem diferentes focos de ação, podendo ser divididas em dois grupos: o grupo de melhorias formais e o grupo de melhorias materiais (ver Quadro 1). O primeiro grupo tem como foco a simplificação regulatória, incluindo a simplificação do acesso e do entendimento das regulações produzidas (e.g., por meio da organização e consolidação normativa e da melhoria do texto dos atos normativos, respectivamente). Ferramentas como a análise de impacto regulatório (AIR) e avaliação de resultado regulatório (ARR) fazem parte do segundo grupo, cujo foco é o impacto da ação reguladora.

Quadro 1. Ferramentas e Processos de Melhoria Regulatória

Quando?/ Como?	Melhorias Formais	Melhorias Materiais
Análise Retrospectiva	Foco na atividade reguladora passada, com ênfase em aspectos formais. Exemplo: Revisão e consolidação de atos normativos.	Foco na atividade reguladora passada, com ênfase em aspectos materiais. Exemplo: Monitoramento e ARR.
Análise Prospectiva	Foco na atividade reguladora futura, com ênfase em aspectos formais. Exemplo: Inclusão de data fixa/previsível de entrada em vigor de ato normativo; uso de técnicas de legística para melhoria do texto de ato normativo etc.	Foco na atividade reguladora futura, com ênfase em aspectos materiais. Exemplo: Análise de impacto regulatório.

Fonte: Elaboração própria

A AIR e a ARR são, assim, ferramentas de melhoria regulatória por excelência cujo objetivo é avaliar, de forma transparente e com base em evidências, a ação regulatória, sendo a principal diferença entre as duas o momento do ciclo em que esta avaliação ocorre.

Figura 2. ARR e o Ciclo Regulatório[5]

Como observamos na Figura 2, o monitoramento e a ARR são os instrumentos utilizados após a elaboração, implementação e fiscalização da regulação. Assim, é por meio do monitoramento e da ARR que se obtêm subsídios para a avaliação e revisão de um ato normativo vigente, sendo ambos instrumentos de qualidade regulatória direcionados ao estoque regulatório do órgão ou entidade, ou seja, atuando de forma complementar à AIR no ciclo regulatório. 

O ciclo regulatório, de acordo com a OCDE (2018), " implica uma abordagem integrada para a implantação de instituições (como órgãos de supervisão regulatória), ferramentas (como a AIR e a ARR) e processos (como programas de redução da carga administrativa) . A adequada condução da ARR e sua incorporação no ciclo regulatório produz aprendizados importantes sobre formas de melhorar a concepção e a gestão de novas regulações, permitindo identificar potenciais reduções de custos e observar maneiras de mudar o comportamento dos agentes de forma mais eficaz.

O Decreto nº 10.411/2020 refletiu a importância de incorporação da ARR no ciclo regulatório em seu art. 13:

Art. 13.  Os órgãos e as entidades implementarão estratégias para integrar a ARR à atividade de elaboração normativa com vistas a, de forma isolada ou em conjunto, proceder à verificação dos efeitos obtidos pelos atos normativos de interesse geral de agentes econômicos ou de usuários dos serviços prestados.

A ARR pode fornecer soluções relevantes para a modificação ou a eliminação das regulações atuais, além de lançar luz sobre novas questões regulatórias em que os órgãos e as entidades devem se concentrar. Quando a sua recomendação é por uma revisão da regulação, a ARR contribui para o encerramento provisório do ciclo regulatório que (re)começa com a identificação de um problema e a condução de uma AIR. A ARR também pode recomendar pela manutenção da regulação sem, ou com pequenos ajustes, mantendo a regulação entre as etapas de fiscalização e monitoramento até a próxima ARR.

BOX 1

Box 1. Alteração de ato normativo vigente: devo fazer uma AIR ou uma ARR? Com a publicação do novo marco legal das Agências Reguladoras, Lei nº 13.848/2019, e a Lei de Liberdade Econômica, Lei nº 13.874/2019, a AIR passa a ser obrigatória para todos os órgãos e entidades da Administração Pública Federal antes da edição e alteração de ato normativo de interesse geral. No caso de edição de novo ato normativo, não resta dúvida: é necessário avaliar os potenciais efeitos de sua edição por meio da AIR. Mas, e no caso de alteração de ato normativo? O órgão regulador deve conduzir uma avaliação de resultados deste ato? Ou basta conduzir uma AIR da mudança proposta? Com a institucionalização e a integração de ferramentas de melhoria regulatória (como a AIR, o monitoramento e a ARR) no dia a dia dos reguladores, espera-se, futuramente, que essa questão esteja resolvida. Todos os atos normativos relevantes serão monitorados e as ARRs poderão ser realizadas com base nos insumos oferecidos pelo monitoramento. Uma vez avaliado o ato normativo e chegada à conclusão de que este deve ser mantido com alterações, uma AIR será necessária sempre que se entender que as alterações podem causar impactos relevantes no mercado e/ou na sociedade. A título ilustrativo, vigora na Comissão Europeia, desde 2013, o princípio de "Evaluate First"?, o princípio de "avaliar primeiro". Este é um princípio não vinculativo pelo qual os resultados da ARR alimentam o processo de formulação de novas políticas regulatórias. Isso significa que AIRs devem basear-se nos ensinamentos retirados das ARRs, que, por sua vez, identificam os principais problemas, possibilidades de melhorias e lições para as intervenções. Em uma avaliação conduzida em 2018 pelo Tribunal de Contas Europeu, apenas 6 das 29 AIRs conduzidas entre os anos de 2014 e 2016 não fizeram menção a ARRs, sendo que algumas iniciaram antes da adoção do princípio de "evaluate first".  Por ora, enquanto estas três ferramentas ? AIR, monitoramento e ARR ? ainda não estão institucionalizadas nos órgãos e entidades da administração pública, a etapa de identificação do problema, presente na AIR, cumpre, parcialmente, o papel de avaliar o andamento do ato normativo vigente. É fundamental que esta seção seja fortalecida, evitando conclusões como "a norma não funciona" sem um esforço de buscar e analisar as evidências sobre se e porquê isso ocorre.

Terminado o processo de implementação da regulação, é por meio da ARR que se estimam os efeitos da regulação com dados reais. Essa análise será tão melhor quanto melhor for a AIR que subsidiou a sua edição, uma vez que os indicadores que refletem as expectativas dos resultados devem ser pensados antes da publicação de um ato normativo.

A ARR permite que os órgãos reguladores e a partes afetadas e interessadas compreendam se a regulação cumpriu os objetivos pretendidos e quão eficiente tem sido ao fazê-lo. Se os objetivos tiverem sido atingidos, mas os custos regulatórios tiverem sido muito elevados, é possível sugerir, na ARR, formas de torná-la mais eficiente.

1.4.Quando realizar a ARR?

Figura 3.Quando realizar a ARR? Experiência internacional

O prazo adequado para que uma ARR seja iniciada pode ser estruturado a partir da própria regulação. O estudo conduzido durante a AIR indica não só os objetivos da regulação, como a forma como se espera atingi-los e em que prazo. É o que ocorre no Canadá desde 2017, por meio da elaboração de documento com informações sobre o desempenho esperado da regulação ("Performance Information Profile " -  Perfil de Informação sobre Desempenho, em tradução livre). Estes documentos, que acompanham os atos normativos, estruturam o monitoramento e a avaliação regulatória no país, unificando a análise prévia de impactos (AIR) à análise retrospectiva (ARR).

Note que esta recomendação de realização da ARR decorre de boas práticas internacionais, não sendo demanda do Decreto nº 10.411/2020.  Vimos no item 1.2. que, embora regulação seja um conceito mais amplo, a obrigatoriedade em conduzir a ARR  -  e a AIR  -  está relacionada à atividade de edição, alteração e revogação de atos normativos. O Decreto nº 10.411/2020, que impõe a necessidade de ARR, tem sua origem na Lei das Agências e na Lei de Liberdade Econômica -  Leis federais nº 13.848 e 13.874, ambas de 2019. Nestes normativos é instituída a obrigatoriedade da AIR antes da edição, alteração e revogação de atos normativos de interesse geral, conforme segue:

Lei nº 13.874/19: Art. 5º As propostas de edição e de alteração de atos normativos de interesse geral de agentes econômicos ou de usuários dos serviços prestados, editadas por órgão ou entidade da administração pública federal, incluídas as autarquias e as fundações públicas, serão precedidas da realização de análise de impacto regulatório, que conterá informações e dados sobre os possíveis efeitos do ato normativo para verificar a razoabilidade do seu impacto econômico. (grifo nosso)

Lei nº 13.848/19: Art. 6º A adoção e as propostas de alteração de atos normativos de interesse geral dos agentes econômicos, consumidores ou usuários dos serviços prestados serão, nos termos de regulamento, precedidas da realização de Análise de Impacto Regulatório (AIR), que conterá informações e dados sobre os possíveis efeitos do ato normativo. (grifo nosso)

Decreto nº 10.411/20: Art. 3º A edição, a alteração ou a revogação de atos normativos de interesse geral de agentes econômicos ou de usuários dos serviços prestados, por órgãos e entidades da administração pública federal direta, autárquica e fundacional será precedida de AIR. (grifo nosso)

Considerando a legislação vigente, os órgãos e entidades da administração pública federal precisam instituir uma agenda de ARR no primeiro ano de cada mandato presidencial e concluí-la até o final do mandato. Esta agenda precisa conter pelo menos um ato normativo de interesse geral dos agentes econômicos ou de usuários dos serviços prestados.

Além disso, a ARR também é obrigatória nos casos em que houve dispensa de AIR por urgência, nos termos do art.12. do Decreto nº 10.411/2020, reproduzido a seguir:

Art. 12. Os atos normativos cuja AIR tenha sido dispensada em razão de urgência serão objeto de ARR no prazo de três anos, contado da data de sua entrada em vigor. (grifo nosso)

A ARR, então, é realizada:

• Obrigatoriamente, sobre os atos normativos que tenham sido dispensados de AIR por urgência no prazo de três anos, contado da data de sua entrada em vigor;

• Obrigatoriamente, sobre, no mínimo, um ato normativo de livre escolha a cada ciclo presidencial;

• Facultativamente, sempre que o órgão ou entidade entender que é necessário avaliar os efeitos de determinada regulação. Idealmente, a ARR deve ser incorporada ao ciclo regulatório do órgão ou entidade, oferecendo informações para aperfeiçoar (i) a regulação sob análise, (ii) as AIRs, e (iii) as ações regulatórias futuras.

BOX 2

Box 2.  Revisão das Regulações Vigentes no âmbito do Protocolo Brasil-EUA Em outubro de 2020, Brasil e Estados Unidos assinaram um Protocolo relativo a Regras de Comércio e Transparência que atualiza o Acordo sobre Comércio e Cooperação Econômica (ATEC) de 2011. Para agilizar processos que envolvem trocas comerciais e criar as condições para aprofundar e ampliar relações econômicas e comerciais, foram introduzidos três anexos abrangendo: Os fundamentos para reduzir a burocracia na fronteira (facilitação de comércio e administração aduaneira); A melhoria dos processos regulatórios e oportunidades de contribuição das partes interessadas no ciclo regulatório (boas práticas regulatórias); e O apoio à integridade nas instituições públicas (anticorrupção). O anexo II endereça uma série de compromissos relativos às boas práticas regulatórias, incluindo: Qualidade da informação; Agenda regulatória; Sítio eletrônico dedicado; Uso de linguagem simples; Desenvolvimento transparente de regulações; Grupos ou órgãos consultivos de especialistas; Análise de Impacto Regulatório; Publicação final da regulação; Revisão das regulações vigentes e sugestões de melhoria (tema deste Guia); Informações sobre processos regulatórios e autoridades reguladoras; Relatório anual; Encorajamento à compatibilidade e à cooperação regulatórias. O Protocolo encontra-se em fase de tramitação no Congresso Nacional[6] e prevê período de transição de dois anos em relação à data de vigência para os artigos que demandarão maior tempo de preparação e adaptação da administração pública federal brasileira[7].   Nota-se que as obrigações relativas à revisão das regulações vigentes entrarão em vigor tão logo o Protocolo o faça, sem período de transição, requerendo atenção e preparação desde já. São elas: Artigo 13 Revisão das Regulações Vigentes 1.Cada Parte deverá adotar ou manter procedimentos ou mecanismos para conduzir revisões de suas regulações vigentes para determinar se é apropriado modificá-las ou revogá-las. Uma revisão pode ser iniciada, por exemplo, de acordo com a lei da Parte, por iniciativa própria de uma autoridade reguladora ou em resposta a uma sugestão enviada nos termos do Artigo 14 (Sugestões de Melhoria). 2.Ao realizar uma revisão, cada Parte deve considerar, conforme apropriado e aplicável, entre outros elementos: (a) a efetividade da regulação no cumprimento dos seus objetivos declarados inicialmente, por exemplo, examinando o seu real impacto social ou econômico; (b) quaisquer circunstâncias que mudaram desde o desenvolvimento do regulamento, incluindo a disponibilidade de novas informações; (c) novas oportunidades para eliminar ônus regulatórios desnecessários; (d) formas de resolver diferenças regulatórias desnecessárias que podem afetar negativamente o comércio, incluindo o comércio entre as Partes; e (e) quaisquer sugestões relevantes de membros do público apresentadas de acordo com o Artigo 14 (Sugestões de Melhoria). 3.Cada Parte deverá incluir, entre os procedimentos ou mecanismos adotados em conformidade com o parágrafo 1, disposições que tratem dos impactos sobre as pequenas empresas. 4. Cada Parte é incentivada a disponibilizar publicamente na internet, conforme disponível e apropriado, quaisquer planos oficiais e resultados de uma revisão. Artigo 14 Sugestões de Melhoria Cada Parte deverá garantir a qualquer pessoa interessada a oportunidade de apresentar a qualquer autoridade reguladora da Parte sugestões por escrito para a publicação, modificação ou revogação de uma regulação. A base para essas sugestões pode incluir, por exemplo, que, na opinião da pessoa interessada, a regulação tornou-se ineficaz na proteção da saúde, bem-estar ou segurança, tornou-se mais onerosa do que o necessário para atingir seu objetivo (por exemplo, no que diz respeito ao seu impacto sobre o comércio), não leva em consideração alterações de circunstâncias (como mudanças fundamentais na tecnologia, desenvolvimentos científicos e técnicos relevantes, normas internacionais relevantes), ou baseia-se em informações incorretas ou desatualizadas.

Referências Utilizadas: Casa Civil da Presidência da República (2018a). Guia Orientativo para Elaboração de Análise de Impacto Regulatório (AIR). Brasília, Subchefia de Análise e Acompanhamento de Políticas Governamentais, Casa Civil, 2018a. Casa Civil da Presidência da República (2018b). Avaliac¸a~o de poli´ticas pu´blicas : guia pra´tico de ana´lise ex post, Volume 2. Brasi´lia: Casa Civil da Preside^ncia da Repu´blica. European Court of Auditors (2018). Ex-post review of EU legislation: a well established system, but incomplete.  Special Report nº 16. Disponível em: https://www.eca.europa.eu/Lists/ECADocuments/SR18_16/SR_BETTER_REGULATION_EN.pdf   Haber, H. Regulating-for-Welfare: A Comparative Study of ?Regulatory Welfare Regimes? in the Israeli, British, and Swedish Electricity Sectors. Law & Policy, Vol. 33, pp. 116? 148, 2011. Haber, H. Rise of the Regulatory Welfare State? Social Regulation in Utilities in Israel. Social Policy & Administration, Vol. 51, pp. 442? 463, 2017. Jordana, J.; Levi-Faur, D.; Ferna´ndez i Mari´n, X. The Global Diffusion of Regulatory Agencies: Channels of Transfer and Stages of Diffusion. Comparative Political Studies, vol. 44, Issue 10, pp. 1343?1369, May 2011. Koop, C., and  Lodge, M. (2017)  What is regulation? An interdisciplinary concept analysis. Regulation & Governance,  11:  95? 108. doi: 10.1111/rego.12094. Levi-Faur, D. The Welfare State: a Regulatory Perspective. Public Administration, Vol. 92, pp. 599? 614, 2014. Loayza, Norman V.; Servén, L. (2010). Business regulation and economic performance. The International Bank for Reconstruction and Development, The World Bank, Washington DC.  OCDE (2018). Ex-post assessment of regulation: Practices and lessons from OCDE countries, OCDE Publishing, Paris. Trnka, D. and Y. Thuerer.  ?One-In, X-Out: Regulatory offsetting in selected OCDE countries?, OCDE Regulatory Policy Working Papers, No. 11, OCDE Publishing, Paris, 2019.  http://dx.doi.org/10.1787/67d71764-en

2.      Orientações Gerais

2.1.Princípios de uma Boa Avaliação

A avaliação de resultado regulatório (ARR) é uma análise retrospectiva que "encerra" provisoriamente o ciclo regulatório: é a ARR que permite a compreensão acerca das etapas que sucedem a publicação de um ato normativo no Diário Oficial. Mesmo quando a regulação foi precedida de uma boa AIR, e acredita-se que a intervenção foi bem desenhada e bem aceita pelos agentes econômicos afetados, é na ARR que será possível apresentar uma avaliação sistemática sua implementação e funcionamento.

Como no caso de toda norma aplicada, há uma cadeia complexa de intervenções, interações e impactos que devem ser consideradas na ARR. Regulações existem para definir e balizar comportamentos, tal qual produzir determinados resultados. Quando estamos diante de um cenário regulatório construído com base em boas práticas, a verificação desses resultados irá demandar o resgate do histórico da AIR e da fundamentação técnica daquela regulação em específico.

A regulação busca gerar uma melhoria setorial por meio da alteração dos comportamentos individuais ou organizacionais. Conforme entendimento da OCDE (2012), a regulação é projetada para funcionar de acordo com três etapas principais:

1. A regulação é implementada, o que leva a

2. mudanças no comportamento de indivíduos ou organizações impactadas pela regulação, que em última instância leva a

3. mudanças nos resultados, como melhoria em um problema subjacente ou promovendo mudanças nas condições gerais do mercado.

Nesse sentido, a ARR compreenderá uma investigação, após sua implementação, sobre os impactos na situação à qual se dirige. Para a OCDE (2012), uma regulação "funciona" quando resolve - ou pelo menos reduz ou melhora - o(s) problema(s) que levou a Administração Pública a adotá-la.

Os princípios de uma boa avaliação envolverão perguntas básicas quanto aos impactos e ao funcionamento da regulação, sejam eles positivos ou negativos. Algumas perguntas são:

• Quais as mudanças promovidas pela regulação quanto aos problemas que procurou resolver?

• Quais outros impactos de interesse do tomador de decisão  - como impactos sobre microempresas e empresas de pequeno porte, sobre o comércio internacional,  inovação tecnológica -  a regulação promoveu?

• Existem oportunidades para eliminar custos regulatórios desnecessários?

• Existem alternativas para resolver diferenças entre requisitos regulatórios que afetam negativamente o comércio internacional?

• A sociedade tem se manifestado com relação à necessidade de modificação ou revogação da regulação, apresentando evidências quanto a problemas experimentados na aplicação e cumprimento da regulação?

Uma boa ARR exige informações tanto sobre a qualidade da regulação como sobre a sua capacidade em atingir os objetivos e as metas para ela previstas.

Cinco fatores são destacados e devem ser considerados parte dos princípios de uma boa avaliação:

1.       Integração entre AIR e a ARR. Um dos principais benefícios da integração entre ARR e AIR são as lições aprendidas ao longo da avaliação. Essas lições podem ser absorvidas tanto nas técnicas de mensuração de impactos adotada ? como, por exemplo, utilizar os resultados de uma Análise Custo-Benefício (ACB) ex-post para aperfeiçoar estimativas em ACBs de AIRs futuras  - como na identificação dos comportamentos compensatórios adotados pelos agentes regulados em resposta à regulação.

2.       Flexibilidade Metodológica. É importante criar um leque de ARRs possíveis, que permitam flexibilidade no uso de métodos analíticos e que se adequem às necessidades em cada caso, incluindo o tempo decorrido da edição do ato normativo sob análise e os diferentes tipos de objetivos regulatórios.

3.     Monitoramento como gatilho para a ARR. O monitoramento periódico de indicadores relevantes sobre a regulação (idealmente apontados no relatório de AIR quando da sua elaboração) facilita a identificação precoce de problemas e progressos, indicando quando a ARR precisa ser conduzida. A consulta às partes afetadas ao longo do monitoramento também permite identificar a ocorrência de consequências negativas (e positivas) não intencionais da regulação.

4.     Incorporação da ARR à atividade regulatória.  Uma das formas deinstitucionalizar a ARR é por meio da adoção de instrumentos de avaliação programada (ver item 2.3, a seguir). Um deles é determinar, no relatório de AIR ou no ato normativo, o prazo em que se espera que os efeitos pretendidos já tenham se materializado, para que, então, a ARR ocorra em momento oportuno. Outro instrumento mais flexível é a agenda de ARR, que, embora deva ser elaborada e concluída a cada mandato presidencial, dispõe de maior liberdade quanto à definição dos atos normativos que serão submetidos à ARR. Avaliações com o objetivo de mapear o custo acumulado imposto pelo estoque regulatório também podem ser adotadas de forma complementar, como parte de uma estratégia de redução dos custos regulatórios.  O uso de um mecanismo de avaliação contínua pode ser previsto por meio da regulação setorial complementar à regulação geral (no caso da Administração Federal, em complemento ao Decreto nº 10.411/2020). Salienta-se que essa complementação pode também ser realizada/apoiada por instrumentos não-normativos de orientação e apoio à atuação da Administração, na forma de guias e roteiros.

5.       Planejamento da ARR. O planejamento da ARR é fundamental para sua boa execução. Recomenda-se iniciar o planejamento o quanto antes, idealmente no desenho da própria intervenção. Um dos principais motivos para tanto diz respeito aos dados necessários para responder às perguntas que se deseja endereçar na avaliação. Além disso, e´ preciso garantir a viabilidade da ARR, em termos de orçamento, tempo, informações e recursos humanos necessários para sua execução. O planejamento da ARR é tratado no capítulo 3, juntamente com a atividade de monitoramento.

2.2.Os Diferentes Tipos de Olhar Retrospectivo

Avaliações regulatórias retrospectivas podem ser conduzidas como um exercício pontual, de forma contínua ou programadas ex-ante, conforme indicado na figura 4 a seguir.

Figura 4. Abordagens para Avaliações Retrospectivas

Avaliações Programadas

Entende-se por avaliações programadas toda iniciativa de avaliação retrospectiva determinada de forma prévia. Isto é, a decisão sobre quando uma determinada regulação será revista encontra-se prevista no próprio ato que a materializa.

Um exemplo de avaliação programada são as chamadas sunset clauses ("cláusulas de caducidade", em tradução livre), que estipulam não propriamente a data da avaliação, mas a data de eficácia da regulação. Cláusulas de caducidade podem ser eficazes na remoção de regulações que se tornaram obsoletas, ou na manutenção de regulações que ainda são necessárias, por meio da exclusão ou alteração da cláusula. De todo modo, cláusulas de caducidade podem ser incluídas quando for oportuno decidir sobre o mérito da regulação após um determinado período de tempo.

Um segundo exemplo comum é a inclusão da previsão de avaliação no próprio ato normativo. Alternativamente, a recomendação de que a avaliação seja feita após determinado período de vigência do ato normativo pode ser feita na AIR. A OCDE recomenda esta inclusão para regulações de impacto potencialmente elevado na sociedade ou na economia, em especial regulações com características inovadoras e/ou elevada incerteza quanto à sua eficácia. Nesses casos, o aprendizado é incorporado à regulação, assumindo-se que é necessário "aprender fazendo" e evitando-se um possível prolongamento desnecessário de consequências indesejadas. Além disso, a avaliação programada sinaliza o compromisso do órgão ou entidade reguladora com bons resultados regulatórios, e permite unir a avaliação prospectiva, a AIR, à retrospectiva, a ARR.  Cabe lembrar que é na AIR que são desenhadas as estratégias de implementação, fiscalização e monitoramento, ou seja, a AIR oferece subsídios quanto ao momento adequado para se conduzir uma ARR.

BOX 3

Box 3. Avaliação programada e o artigo 14 do Decreto nº 10.411/2020   Uma das determinações trazidas pelo Decreto nº 10.411 é a necessidade de registrar, no relatório de AIR, o prazo máximo para a verificação do ato normativo quanto à necessidade de atualização do estoque regulatório, conforme art. 14 reproduzido a seguir: Art. 14. Na hipótese de o órgão ou a entidade competente optar pela edição ou pela alteração de ato normativo como a alternativa mais adequada disponível ao enfrentamento do problema regulatório identificado, será registrado no relatório de AIR ou, na hipótese de que trata o § 1º do art. 4º, na nota técnica ou no documento equivalente, o prazo máximo para a sua verificação quanto à necessidade de atualização do estoque regulatório. O artigo 14 não institui a avaliação programada, mas apenas aponta para a necessidade de registrar, na AIR ou nota técnica, um prazo máximo para que o ato normativo seja verificado. Esta verificação pode se dar no âmbito de um processo de revisão formal e consolidação, como estabelecido pelo Decreto nº 10.139/2019, ou pode ser parte da política de gestão de estoque estabelecida pelo órgão ou entidade reguladora. O resultado dessa verificação pode ser uma recomendação por uma ARR, que, por sua vez, pode compor a agenda de ARR para aquele quadriênio. Um exemplo de implementação de avaliação programada no Brasil é o artigo 8º da Resolução Normativa Aneel nº 941, de 6 de julho de 2021, reproduzido a seguir: Art. 8º Deverá constar nos atos normativos a previsão de prazo para realização de ARR. Diferentemente do art.14 do Decreto nº 10.411, a Resolução da Aneel estabelece a necessidade de inclusão do prazo de realização da ARR nos atos normativos publicados pela agência. No entanto, o órgão ou entidade pública pode estipular um período padrão de ?cláusula de caducidade? para todas as suas regulações, sem que este prazo esteja necessariamente no respectivo ato normativo. Esse modelo de avaliação programada é comumente utilizado em estados da Austrália, onde o período mais utilizados para as sunset clauses são 10 anos.

A OCDE inclui como exemplo de avaliações pontuais  "outros tipos de avaliação ex-post" que, na prática, são avaliações abrangentes conduzidas após a regulação ser implementada, aplicada nos casos em que não há tempo hábil para conduzir uma avaliação ex-ante. A necessidade de ARR para casos em que houve dispensa de AIR por urgência, conforme estabelecido no art.12 do Decreto nº 10.411, é enquadrada nesta definição. Ou seja, é uma avaliação pontual, mas programada, pois a sua data de início já é conhecida no momento de publicação do ato normativo.

Avaliações Pontuais

Entende-se como avaliações pontuais os diferentes tipos de avaliação retrospectiva que ocorrem de forma ad hoc. Estas avaliações diferem-se quanto ao escopo ou profundidade da avaliação a ser conduzida, e vão desde exercícios pontuais de mensuração da carga administrativa a avaliações abrangentes para avaliar a efetividade e demais efeitos de uma regulação. São quatro as principais iniciativas de avaliações pontuais entre os países da OCDE: levantamentos públicos do estoque regulatório, revisões com foco específico, revisões abrangentes e avaliações comparativas[8].

Levantamentos ou inventários públicos do estoque são utilizados como forma de mapear problemas e obter subsídios sobre as prioridades do momento, funcionando também para identificar a carga administrativa acumulada sobre um determinado setor e/ou interações negativas entre regulações de diferentes fontes.

Avaliações focadas são exercícios de avaliação pontuais que possuem uma motivação única ou específica para revisar o estoque regulatório. Este é o tipo de iniciativa mais comum entre os países da OCDE e a motivação, em grande parte dos casos, é avaliar a carga administrativa ou os efeitos anticompetitivos das regulações.

Avaliações abrangentes são caracterizadas por uma abordagem analítica robusta, de escopo amplo, e contam com a participação das partes interessadas, que se manifestam quanto aos relatórios produzidos e recomendações feitas. É o tipo de iniciativa que mais se assemelha à definição de ARR trazida pelo Decreto 10.411/2020. Por seu rigor analítico e escopo amplo, são iniciativas reservadas a regulações relevantes, com grande impacto na economia ou na sociedade.

Avaliações Contínuas

A terceira categoria de avaliações retrospectivas são as avaliações conduzidas de forma contínua. Um dos exemplos mais populares de avaliações contínuas são as políticas de compensação regulatória, que criam uma regra de ligação entre fluxo e estoque, ou entre "novas" e "velhas" regulações, usualmente sob a forma de ?regras? do tipo "one-in, x-out" (OIXO) ? ou seja, para cada regulação ou custo adicionado, x regulações ou custos precisam ser eliminados. Um segundo exemplo são as iniciativas que demandam que órgãos ou entidades reguladoras eliminem um certo percentual de sua carga administrativa total a cada x anos. Estas duas iniciativas de avaliação retrospectiva contínua são muito populares no contexto europeu.

No Brasil, o Decreto nº 10.139, de 28 de novembro de 2019 - também conhecido como "Revisaço"  -  inaugurou um tipo específico de avaliação contínua retrospectiva, com ênfase em aspectos formais (ver Quadro 1, item 1.3), cujo foco é simplificar o acesso aos atos normativos a partir do aperfeiçoamento do texto do ato e da consolidação temática do estoque regulatório. Simplificar o acesso significa que as obrigações trazidas por um ato normativo devem ser facilmente identificadas e compreendidas pelos grupos impactados e demais interessados. Para isso, é necessário que o ato esteja organizado logicamente, redigido em linguagem clara, e que as obrigações trazidas sejam prontamente entendidas, evitando qualquer tipo de ambiguidade em sua interpretação. Além disso, a consolidação temática reduz a quantidade de atos normativos que precisam ser localizados pelo mercado regulado, facilitando o acesso da sociedade ao estoque regulatório dos órgãos e entidades.

2.3.O Princípio da Proporcionalidade na ARR

A depender do tempo decorrido entre a publicação da regulação e a ARR, o princípio da proporcionalidade deve guiar a decisão sobre a abordagem mais adequada à ARR. Em casos de dispensa de AIR por urgência, por exemplo, é necessário conduzir uma ARR em até 3 anos. No entanto, é possível que os impactos esperados ainda não tenham sido observados nesse período, em especial os benefícios ou atingimento dos objetivos. As etapas e abordagens para a ARR serão analisadas mais detidamente no capítulo 4 (ver item 4.5.1).

De toda forma, é importante ressaltar, neste tópico, que o Decreto nº 10.411/2020 recomenda alguns critérios prévios para a escolha dos atos que integrarão a Agenda de ARR, instrumento de transparência a ser utilizado pela Administração Pública. Essa previsão consta nos parágrafos 2º e 3º do art. 13:

§ 2º Os órgãos e as entidades da administração pública federal direta, autárquica e fundacional, com competência para edição de atos normativos sujeitos à elaboração de AIR nos termos de que trata este Decreto, instituirão agenda de ARR e nela incluirão, no mínimo, um ato normativo de interesse geral de agentes econômicos ou de usuários dos serviços prestados de seu estoque regulatório.

§ 3º A escolha dos atos normativos que integrarão a agenda de ARR a que se refere o § 2º observará, preferencialmente, um ou mais dos seguintes critérios:

I - ampla repercussão na economia ou no País;

II - existência de problemas decorrentes da aplicação do referido ato normativo;

III - impacto significativo em organizações ou grupos específicos;

IV - tratamento de matéria relevante para a agenda estratégica do órgão; ou

V - vigência há, no mínimo, cinco anos. (grifo nosso)

Observa-se que o princípio da proporcionalidade também deve guiar a formação da agenda de ARR, de modo que os esforços sejam direcionados a regulações de maior relevância. Assim como a AIR é dispensável para regulações de baixo impacto, não é todo o estoque regulatório do órgão ou entidade reguladora que precisa ser submetido à ARR ou ao monitoramento. 

Figura 5. Estoque Regulatório, Monitoramento e ARR

Como indicado na Figura 5, as regulações a serem submetidas à ARR representam apenas uma parcela daquelas monitoradas periodicamente pelo órgão ou entidade. O monitoramento, por sua vez, não é feito para todo o estoque regulatório, mas concentra-se nas regulações de maior relevância.  A importância do monitoramento, bem como a sua função como ?filtro? para a ARR, será tratada no item 3.1.

2.4.Participação Social e Transparência

A utilização da participação social na ARR é ainda mais estratégica, uma vez que, desenhada e implementada determinada ação regulatória, os seus efeitos no mundo nem sempre são monitoráveis ou controlados pela Administração Pública. Ouvir as partes afetadas e interessadas auxilia na investigação e no monitoramento desses efeitos, promovendo maior robustez na intervenção regulatória. Cumpre-se, assim, o compromisso de assegurar maior transparência, encorajando um diálogo genuíno e de maior confiança no processo de formulação de políticas regulatórias.

Segundo a OCDE, a participação do público, em geral, e dos stakeholders, em particular, pode prover informações mais completas sobre os impactos da regulação, bem como ajudar a identificar situações potencialmente problemáticas. Ademais, a submissão ao público permite que a qualidade dos métodos utilizados e dados coletados durante a fase de monitoramento e da elaboração do relatório de ARR seja controlada e avaliada.

Para que a participação social seja eficaz, é necessário compreender certas especificidades da intervenção regulatória que se está avaliando. De acordo com a sensibilidade das informações, o regulador irá avaliar qual é a extensão da participação social para um melhor enquadramento do problema ou leitura dos efeitos e das propostas de revisão.

Compreendido esse aspecto, é necessário avaliar:

• quais são os atores sociais que possuem interesse na temática regulatória sob análise;

• qual seria o tempo útil possível para a abertura do debate público;

• qual tipo de engajamento este debate quer promover;

• quais formatações de participação social estão disponíveis para alcançar o objetivo pretendido.

Embora uma consulta aberta e abrangente deva ser a regra-padrão, em certas circunstâncias ela pode comprometer o processo da ARR. É necessário que o regulador encontre o equilíbrio entre ser deliberativo e ser decisivo. É com a intenção de auxiliar nesse propósito que o Governo da Austrália, por exemplo, construiu opções de consulta disponíveis:

1. Consulta pública integral: quando a transparência e a responsabilidade pública na tomada de decisões são a prioridade mais importante.

2. Consulta pública direcionada: quando as partes afetadas se concentram em uma área geográfica ou setor de negócios bem definido, a consulta deve ser contida para que não sejam desperdiçados esforços.

Seja qual for o formato da participação social desenhada pelo regulador, é necessário que certos atributos sejam sempre observados. São eles:

• Relação de diálogo contínua com os atores interessados;

• Abrangência deve refletir a diversidade das partes afetadas pela intervenção regulatória;

• Forma de acesso às informações deve considerar o perfil das partes afetadas;

• Transparência nos dados e no debate público.

Ressalta-se que, considerando o tempo e os recursos necessários para a realização das consultas e a análise das contribuições, a abrangência da participação social deve ser proporcional à importância da intervenção regulatória sob avaliação. A OCDE recomenda que, caso a intervenção regulatória envolva questões técnicas e/ou complexas, ou seja de baixo impacto, a realização de consulta ao público poderia ser mais seletiva. Contrariamente, em se tratando de intervenções regulatórias de grande interesse público ou impacto, deveriam ser objeto de consultas mais amplas.

As mesmas recomendações da Casa Civil (2018a) relativas à participação social durante o procedimento de AIR são igualmente aplicáveis àquelas realizadas nas fases de monitoramento e ARR. Assim, os órgãos e entidades devem adotar medidas que assegurem a representatividade de diferentes grupos de interesse na participação social, para que o processo não seja influenciado exclusivamente por grupos dotados de organização e condições suficientes para participar. Quando da análise das contribuições recebidas, o órgão ou entidade também deve estabelecer mecanismos aptos a avaliar a confiabilidade e veracidade dos dados recebidos. Além disso, destaca-se que:

• A participação social pode se dar em diferentes momentos do monitoramento e da ARR;

• Cabe ao órgão ou à entidade utilizar os meios e os canais que considerar adequados para realizar os procedimentos de participação social;

• Uma vez adotada alguma prática de participação social, as considerações referentes às informações e às manifestações recebidas devem ser incluídas no relatório de ARR;

• Os procedimentos e  prazos adotados devem ser proporcionais à complexidade do tema; e

• O relatório preliminar de ARR pode ser objeto de consulta pública ou de consulta aos segmentos sociais diretamente afetados pelos resultados observados.

A título exemplificativo, observa-se que, na Anvisa, recomenda-se a adoção de pelo menos um método de participação social: (i) como ferramenta de monitoramento; (ii) na fase inicial da ARR; e (iii) na fase final, para avaliação do Relatório de ARR. Na ANTT, por sua vez, a participação social ocorre após a elaboração do Relatório preliminar de ARR, para que os interessados convalidem ou critiquem os dados e conclusões dele constantes. Respeitadas normas previstas em regulamentos específicos, a participação social pode se dar de diferentes formas, inclusive por mecanismos mais informais, como o envio de formulário de pesquisas e a realização de workshops.

Referências Utilizadas ANP e UERJ Reg. (2020). Agência Nacional do Petróleo, Gás Natural e Biocombustíveis; e Laboratório de Regulação Econômica da Universidade do Estado do Rio de Janeiro. Manual de Boas Práticas Regulatórias. 2020. Disponível em: https://www.gov.br/anp/pt-br/acesso-a-informacao/copy_of_manualboaspraticasregulatorias.pdf   Antt (2020). Age^ncia Nacional de Transportes Terrestres. Manual de Análise de Impacto Regulatório (AIR) e de Avaliação de Resultado Regulatório (ARR). 3a Edição. Brasília. 2020. Disponível em: http://governanca.antt.gov.br/AgendaRegulatoria/SiteAssets/Paginas/AIR/Manual%20de%20Analise%20de%20Impacto%20Regulatorio%20%28AIR%29%20e%20Avalia%C3%A7%C3%A3o%20de%20Resultado%20Regulatorio%20%28ARR%29%20-%202020.pdf   Anvisa (2020). Agência Nacional de Vigilância Sanitária. Monitoramento e Avaliação de Resultado Regulatório (M&ARR) Diretrizes para a implementação de M&ARR na Anvisa. 2020. Disponível em: https://www.gov.br/anvisa/pt-br/assuntos/regulamentacao/monitoramento-e-avaliacao-de-resultado-regulatorio/diretrizes-para-implementacao-de-m-arr-na-anvisa.pdf.   Austrália (2011). Productivity Commission. Identifying and Evaluating Regulation Reforms, Research Report, Canberra.   ______ (2020). Governo da Austrália. Post-Implementation Reviews. Guidance Note. Department of the Prime Minister and Cabinet, Office of Best Practice Regulation. Australian Government, March 2020. Disponível em: https://obpr.pmc.gov.au/sites/default/files/2021-06/post-implementation-reviews_0.pdf. Acesso em: 08/2021.   ______ (2020). The Australian Government Guide to Regulatory Impact Analysis, Second edition. Commonwealth of Australia, Department of the Prime Minister and Cabinet. Disponível em: https://obpr.pmc.gov.au/sites/default/files/2021-06/australian-government-guide-to-regulatory-impact-analysis.pdf . Acesso em: 08/2021.   Brasil. Decreto nº 10.411, de 30 de junho de 2020. Regulamenta a análise de impacto regulatório, de que tratam o art. 5º da Lei nº 13.874, de 20 de setembro de 2019, e o art. 6º da Lei nº 13.848, de 25 de junho de 2019. Brasília, DF: Presidência da República, 2020b. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2019-2022/2020/Decreto/D10411.htm. Acesso em: Maio/2021.   Casa Civil da Presidência da República (2018a). Guia Orientativo para Elaboração de Análise de Impacto Regulatório (AIR). Brasília, Subchefia de Análise e Acompanhamento de Políticas Governamentais, Casa Civil, 2018.   Casa Civil da Presidência da República (2018b). Avaliação de políticas pu´blicas : guia prático de análise ex post, Volume 2. Brasi´lia: Casa Civil da Preside^ncia da Repu´blica.   Chirinko, R.S. and Harper, E.P., Jr. (1993), Buckle up or slow down? New estimates of offsetting behavior and their implications for automobile safety regulation. Journal of Policy Analysis and Management, 12: 270-296. https://doi.org/10.2307/3325236   OCDE (2005). OCDE Guiding Principles for Regulatory Quality and Performance, OCDE, Paris. ______ (2011). Regulatory Policy and Governance: Supporting Economic Growth and Serving the Public Interest, OCDE Publishing.   ______(2012). Measuring Regulatory Performance: Evaluating the Impact of Regulation and Regulatory Policy, Expert Paper nº1, OCDE Publishing.   ______ (2018). Ex-post assessment of regulation: Practices and lessons from OCDE countries, OCDE Publishing, Paris.   Ministério da Economia (2021). Análise de Impacto Regulatório: Participação Social no Âmbito do Decreto de Análise de Impacto Regulatório ? AIR. Documento Orientador para as Unidades do Ministério da Economia. Brasília: Secretaria Executiva, Ministério da Economia.

3.      Monitoramento e o Planejamento da ARR

3.1.  O Monitoramento e a sua importância

Seja qual for a definição adotada, o estabelecimento de um sistema de monitoramento é recomendável por permitir:

• a avaliação do cumprimento de metas pré-estabelecidas;

• a identificação dos efeitos de uma determinada intervenção;

• a identificação de eventuais problemas na implementação de uma intervenção;

• a identificação da necessidade de implementação de medidas adicionais para que os objetivos da intervenção sejam alcançados;

• avaliar se a intervenção regulatória está sendo implementada conforme o esperado.

Comumente, o monitoramento é apontado como uma fase em que são coletados dados necessários para subsidiar a realização de avaliações retrospectivas. Contudo, caso se trate de intervenções regulatórias de baixo risco e que não envolvam um tema prioritário, é possível que apenas o monitoramento e uma avaliação superficial sejam suficientes, não sendo necessária a realização de uma avaliação ex-post abrangente.

As atividades de monitoramento podem, igualmente, destinar-se a colher dados que permitam   avaliar se os impactos previstos na fase de AIR estão se concretizando, bem como verificar se os indicadores de resultados previstos estão se comportando como antecipado. A seguir, serão expostas recomendações relativas ao planejamento e execução do monitoramento. De forma geral, a Comissão Europeia recomenda que essa fase seja guiada pelos seguintes princípios:

• o sistema de monitoramento deve abarcar todos os objetivos da intervenção;

• as medidas adotadas devem ser proporcionais à importância da intervenção;

• deve-se privilegiar o uso de dados já existentes e evitar a coleta de dados em duplicidade ou de informações desnecessárias;

• os dados devem ser coletados no momento apropriado;

• os dados coletados devem ser disponibilizados ao público, exceto caso se trate de informações confidenciais ou protegidas por sigilo;

• sempre que possível, deve-se privilegiar o uso de ferramentas de inteligência artificial e de ferramentas que permitam o fácil compartilhamento de dados e informações.

BOX 4

Box 4. Monitoramento ou ARR?   Monitoramento e ARR têm relação tão próxima que a Anvisa decidiu unir os dois termos nas suas diretrizes de implementação interna, referindo-se sempre a Monitoramento e ARR - M&ARR. O Guia Prático de Análise ex-post ?elaborado pela Casa Civil em conjunto com o Ministério da Transparência e Controladoria-Geral da União (CGU), o Ministério da Fazenda (MF), o Ministério do Planejamento, Desenvolvimento e Gestão (MP) e o Instituto de Pesquisa Econômica Aplicada (Ipea) -  chega a entendimento similar, afirmando que "[...] em alguns aspectos, a avaliação de resultados se assemelha às atividades de monitoramento" (Casa Civil, 2018b, p.241).   Ora, se monitoramento pode ser definido como o processo que busca avaliar se as metas pré-estabelecidas teriam sido atingidas, como diferenciá-lo da ARR?   Uma primeira diferenciação diz respeito à profundidade da avaliação:   "[...]o monitoramento se restringe aos indicadores diretamente relacionados à execução da política pública, enquanto a avaliação de resultados é mais ampla, permitindo analisar a população beneficiária sob as mais diferentes dimensões, inclusive por meio de indicadores indiretamente ligados à política." (Casa Civil, 2018b, p.241)   Uma segunda diferenciação, complementar à primeira, diz respeito à periodicidade: o monitoramento é uma atividade contínua e mais restrita, ao passo que a ARR é um exercício pontual e mais amplo.   O monitoramento, dessa forma, fornece subsídios para a ARR. Como já mencionado, a ARR será mais facilmente conduzida quanto melhor for a atividade de monitoramento.  Caso uma determinada regulação esteja sendo monitorada, com os indicadores caminhando conforme o previsto e sem evidências de problemas não antecipados (seja recebidos por denúncia, reclamações em ouvidoria ou verificados em estudos acadêmicos, para citar algumas fontes) a condução da ARR pode ser postergada, ou a ARR pode ser mais restrita, com foco em oportunidades de redução de custo ou atualização frente às evidências científicas mais recentes.   No entanto, se os indicadores não estão caminhando como previsto e/ou há forte evidência de problemas não antecipados causados pela regulação, esta passa a ser uma forte candidata à ARR, a depender da relevância de seus resultados - pretendidos ou observados.

3.2.Planejando o Monitoramento

Caso a ARR seja precedida de AIR, as práticas internacional e nacional recomendam que o planejamento do monitoramento seja feito ainda durante a AIR, sem prejuízo de poder sofrer alterações posteriores. Como os dados obtidos no monitoramento servirão de insumo para ARR, é importante que as questões que deverão ser respondidas durante a avaliação também sejam alvo de reflexão nesse momento.

Durante o planejamento, devem ser definidos os órgãos/áreas que serão responsáveis pelo monitoramento. Ao final, recomenda-se que seja elaborado o Plano de Monitoramento, do qual deverão constar: (i) os indicadores selecionados; (ii) a periodicidade de seu monitoramento e (iii) as ferramentas que deverão ser utilizadas para coletar os dados. Estes três itens serão tratados a seguir.

3.2.1.Seleção dos Indicadores

Para auxiliar nessa seleção, a Comissão Europeia sugere a utilização de um método denominado ?RACER?, o qual recomenda que, preferencialmente, os indicadores sejam:

• Relevantes, ou seja, relacionados aos objetivos que se pretende avaliar;

• Aceitos pelos stakeholders e pelos reguladores;

• Críveis para não especialistas, não ambíguos e de simples interpretação;

• Fáceis de serem monitorados;

• Robustos, evitando manipulações indevidas.

De forma semelhante, o Guia Orientativo para a realização de avaliação ex-ante da Casa Civil recomenda que sejam escolhidos indicadores compreensíveis e que não dependam do dispêndio de recursos desproporcionais para serem monitorados. Assim, outro fator que deve ser considerado quando da escolha dos indicadores é a disponibilidade dos dados necessários ao seu monitoramento. No entanto, estes cuidados não podem sacrificar o objetivo do monitoramento, e deve-se ter especial atenção com a "armadilha do poste de luz" - ou seja, o erro consistente em selecionar os dados apenas com base na sua disponibilidade, quando estes não permitem responder às questões de interesse do monitoramento ou da avaliação.

Recomenda-se, ainda, que (i) seja dada preferência à adoção de indicadores que possam ser expressos de forma quantitativa, bem como que (ii) a lista de indicadores se limite àqueles efetivamente relevantes. Ao final, o cálculo dos indicadores deverá ser apresentado em uma tabela semelhante à indicada abaixo:

Objetivo	Indicador	Definição	Medida de cálculo	Fonte de dados	Periodicidade do monitoramento	Linha de base	Meta

Fonte: Elaboração própria, com base em European Comission (2017b).

3.2.2.Periodicidade do Monitoramento

• as especificidades do indicador e dos dados necessários para seu cálculo;
• a disponibilidade dos dados necessários;
• a carga administrativa despendida pelo administrado para prover determinado dado ou informação; e
• a sua finalidade (e.g. dados necessários para a implementação de um ato devem ser coletados apenas nesse momento; dados relativos aos efeitos do ato normativo implementado, todavia, deverão ser monitorados por um período maior).

Como a periodicidade da coleta de dados impacta nos custos da avaliação, esse fator tampouco poderá ser desconsiderado. A frequência da coleta de dados, igualmente, deve considerar os prazos para a realização de ARR previstos no Decreto nº 10.411/2020 (e.g., necessidade de realização da ARR nos casos de dispensa de AIR por urgência) na Agenda de ARR ou em outros regulamentos específicos, de forma a assegurar que os dados estarão disponíveis quando da realização da avaliação.

De toda forma, é importante que sejam coletados dados no período imediatamente anterior à implementação da intervenção regulatória e após sua implementação, para que se possam identificar tendências e eventuais progressos.

3.2.3.Coleta de Dados

3.3. A Agenda de ARR

• a relação dos atos normativos que deverão ser submetidos à ARR;
• a justificativa para sua escolha; e o
• o cronograma para sua elaboração.

A agenda deverá ser disponibilizada no sítio eletrônico do respectivo órgão ou entidade.

Ao menos um ato normativo de interesse geral de agentes econômicos ou de usuários dos serviços prestados deve ser incluído na agenda (art. 13, § 2º). O decreto também dispõe que a seleção dos atos normativos submetidos à ARR deve observar, preferencialmente, ao menos um dos seguintes critérios (art. 13, § 3º):

(i) ampla repercussão na economia ou no País;

(ii) existência de problemas decorrentes da aplicação do referido ato normativo;

(iii) impacto significativo em organizações ou grupos específicos;

(iv) tratamento de matéria relevante para a agenda estratégica do órgão; ou

(v) vigência há, no mínimo, cinco anos.

A OCDE (2018) recomenda que seja dada prioridade à realização de ARR dos atos que preencham, cumulativamente, os critérios reproduzidos nos incisos (i), (ii) e (iii) do referido dispositivo.

Quanto ao prazo de vigência, nos casos em que houve dispensa de AIR em razão de urgência, a ARR deverá ser realizada no prazo de até três anos, contado da data em que o ato tenha entrado em vigor (art. 12). Como vimos no Box 4., a adequada condução da atividade de monitoramento é uma das melhores fontes de subsídios para justificar a necessidade de uma ARR.

Caso haja a previsão de "avaliação programada" (ver item 2.2), o órgão ou entidade deve, igualmente, observar tais disposições quando da definição de sua agenda de ARR. Fora dessas hipóteses, a prática internacional recomenda que a ARR seja realizada em um prazo de três a cinco anos[9], contado da implementação da intervenção regulatória.

Outros fatores que devem ser considerados quando da determinação dos atos que deverão ser submetidos à ARR são a disponibilidade, qualidade e custo da coleta e do tratamento dos dados necessários para sua realização (OCDE, 2016, p. 16-17).

Por fim, no caso de atos normativos relacionados a um mesmo tema, há dois aspectos adicionais a se considerar. Como a revogação ou alteração de um ato pode influenciar os demais, pode ser mais efetivo realizar uma avaliação temática (OCDE, 2018, p. 47), conforme autorizado no art. 13, § 1º do Decreto nº 10.411/2020. Caso, todavia, opte-se por realizar ARRs separadas para cada ato, tendo em vista os potenciais efeitos que um ato pode produzir em outro, a OCDE recomenda que a sequência em que serão submetidos à ARR seja levada em consideração. Por exemplo, caso uma regulação se destine a regular a produção de energia, e outra, o seu consumo, é recomendável priorizar a avaliação da primeira, já que essa pode gerar impacto nos consumidores (OCDE, 2018, p. 47).

O procedimento para a seleção das intervenções regulatórias que serão submetidas a uma ARR e elaboração da Agenda de ARR pode se dar de diferentes formas, a critério do órgão/entidade. Como um instrumento de planejamento com foco na previsibilidade e transparência do processo regulatório, a agenda de ARR pode se beneficiar do aprendizado obtido com a elaboração da Agenda Regulatória, instrumento com o qual órgãos e entidades federais possuem maior experiência. A discussão das duas agendas pode inclusive ocorrer de forma conjunta, diante da sinergia que existe entre elas e diante da necessidade dos órgãos e entidades em planejar adequadamente o uso de seus recursos, especialmente recursos humanos.

Como sugestão, elaborou-se um procedimento modelo constituído por quatro etapas, a saber: (i) identificação das intervenções regulatórias que poderiam ser submetidas a uma ARR; (ii) seleção das intervenções regulatórias que deveriam ser submetidas a ARR naquele quadriênio; (iii) elaboração da Agenda de ARR; e (iv) aprovação e publicação da Agenda no sítio eletrônico do respectivo órgão ou entidade.  Na figura abaixo, segue sistematizada uma sugestão de procedimento.

Figura 6. Elaboração da Agenda de ARR

 

Nessa primeira etapa, é possível que as informações sobre as intervenções regulatórias que poderiam ser submetidas a uma ARR sejam fornecidas:

(i) pelas conclusões da etapa de monitoramento, caso os indicadores não estejam caminhando como previsto e/ou haja forte evidência de problemas não antecipados causados pela regulação;

(ii) por consultas às áreas técnicas do órgão ou entidade (Consulta interna);

(iii) por consultas à sociedade (Consulta Externa), que podem ser feitas de forma mais informal, pelo preenchimento de um formulário de identificação de problemas na regulação, por exemplo (e.g. Anvisa, Documento Orientador - Agenda Regulatória 2021-2023, 2020, p. 22; ver questões listadas no item 2.1.)

A segunda etapa se destina a seleção das intervenções regulatórias que deverão ser submetidas a ARR naquele quadriênio. Como visto acima, alguns critérios que podem ser utilizados para realizar essa escolha são: (i) a existência de prazos determinados, seja pelo decreto - como o prazo de três anos para casos em que houve dispensa de AIR em razão de urgência -, seja pelo próprio ato normativo objeto da ARR; (ii) a disponibilidade e qualidade dos dados necessários para a realização de uma ARR, bem como o custo para sua coleta e tratamento; e (iii) agenda estratégica do órgão ou entidade.

A terceira etapa consiste na elaboração da Agenda de ARR, a qual pode ser realizada pelo preenchimento de um quadro como o exposto a seguir:

Quadro 2. Agenda de ARR

Intervenções regulatórias que serão submetidos a ARR	Justificativa para sua escolha	Cronograma
Regulamento n. 0000, editado em 00 de maio de 1990, que impõe medidas de segurança para carrinhos de bebê.	Ato normativo de interesse geral de agentes econômicos ou de usuários dos serviços, uma vez que, por um lado, impõe custos e obrigações aos produtores e, por outro, visa a proteger a integridade física de crianças.	Intervalo ou Prazo Final e Descrição da Atividade.   Mês/Ano. Mapear indicadores e dados existentes. Mês/ Ano. Apresentação interna da primeira minuta de Relatório.

Fonte: Elaboração própria  

Na quarta e última etapa, além da aprovação da agenda pelas autoridades competentes de cada órgão/entidade, deverá ser realizada a sua publicação em seu respectivo sítio eletrônico, nos termos do art. 13, § 4º do Decreto 10.411/2020.

3.4.Estratégias de Coleta e Tratamento de Dados

Antes de iniciar a coleta e o tratamento de dados, todavia, é importante que o órgão ou entidade definia algumas questões, em especial:

• Quais dados e informações deverão ser coletados;

• Os agentes que deverão se responsabilizar pela coleta e fornecimento de dados; e

• O momento e os métodos que deverão ser utilizados.

Com a exceção dos métodos de coleta, que serão abordados nos subtópicos seguintes, as demais questões serão abordadas seguindo a ordem em que foram enunciadas.

3.4.1. Quais informações devem ser coletadas?

A Comissão Europeia (2017b) ressalta que os dados a serem coletados ou solicitados devem ser definidos considerando os objetivos da intervenção sob análise. De forma geral, a Comissão recomenda que sejam coletadas ou disponibilizadas informações que permitam que se avalie:

• se a lógica original que fundamentou a intervenção permanece válida;

• se as etapas necessárias ao cumprimento dos objetivos foram cumpridas ou estão sendo realizadas conforme o planejado;

• o número e as características dos agentes econômicos afetados pela intervenção regulatória;

• os custos e benefícios para a sociedade; e

• os impactos da intervenção.

O guia elaborado por autoridades do Reino Unido, por sua vez, elenca algumas questões que devem ser consideradas quando da determinação dos dados que devem ser coletados, quais sejam:

• que tipo de dado é necessário para responder cada questão da avaliação. Exemplo: dados numéricos, documentais, descrições, uma combinação de tipos de dados diferentes, dentre outros;

• quem ou o que poderá prover tais dados. Exemplo: prestadores de serviços, bases de dados, resultados de pesquisas de campo, stakeholders, dentre outros;

• se existem problemas para acessar ou coletar os dados necessários. Exemplo: questões éticas ou relativas à privacidade de dados, restrições de acesso, dificuldades relativas à coleta desproporcionais aos seus eventuais usos dos dados, possível influência da própria coleta de dados no comportamento dos indivíduos;

• de que parcela de interessados as informações deveriam ser coletadas. Exemplo: de toda população de interessados; de uma amostra representativa; de uma parte dos interessados, dentre outros.

De toda forma, é importante identificar no início quais dados deverão ser coletados e quais já estão disponíveis, para evitar que as mesmas informações sejam coletadas ou solicitadas repetidas vezes, bem como que ônus desnecessários sejam impostos e recursos, desperdiçados. Sempre que possível, é recomendável se valer de dados que já estejam disponíveis. Por fim, considerando que as atividades de coleta e análise de dados demandam recursos financeiros e humanos, deve-se atentar para que custos incorridos sejam proporcionais aos benefícios esperados. 

3.4.2. Quem será o responsável pela coleta?

3.4.3. Quando as informações deverão ser coletadas?

O planejamento prévio e cuidadoso de uma estratégia de coleta e tratamento de dados também permite que: (i) questões relativas à privacidade sejam antecipadas e endereçadas; (ii) as evidências sejam coletadas da forma mais eficiente possível; (iii) os custos da coleta e análise sejam orçados e disponibilizados ao público; e (iv) as medidas necessárias para assegurar a segurança do armazenamento e a transmissão de dados sejam tomadas. Permite, igualmente, que se assegure que os dados estarão disponíveis a tempo do cumprimento dos prazos determinados, como aqueles previstos no Decreto nº 10.411/2020, nos regulamentos internos dos órgãos e entidades, na Agenda de ARR, dentre outros.

3.5. Coleta de Dados

•  avaliar a qualidade desde o início da coleta, bem como realizar avaliações periódicas de controle de qualidade;
• assegurar a transparência quanto aos métodos utilizados e dados obtidos;
• treinar e engajar os responsáveis pela coleta e tratamento de dados.  

A obtenção de dados de qualidade depende, igualmente, das ferramentas utilizadas para sua obtenção, e das perguntas realizadas nas pesquisas de campo, caso seja considerado necessário e viável conduzi-las. Os tópicos abaixo listam, de forma não exaustiva, as fontes e métodos de coleta de dados recomendados pela prática nacional e internacional.

3.5.1. Fontes de Dados

• dados administrativos e dados coletados na fase de monitoramento;
• resultados de pesquisas de larga escala já realizadas, de forma pontual ou periódica, pelo próprio regulador ou por outros órgãos, institutos, instituições;
• novas fontes de dados estabelecidas especificamente para a realização da avaliação (e.g. pesquisas de campo; observação direta; entrevistas; dentre outros);
•  informações disponíveis nas redes sociais.

Como será visto no tópico a seguir, os mecanismos de participação social também podem ser potenciais fontes de informações relevantes.

Recomenda-se que, preferencialmente, sejam utilizados dados já coletados, como os dados administrativos e aqueles obtidos na fase de monitoramento, para reduzir tanto os custos quanto os ônus impostos sobre responsáveis pelo provimento dos dados. É possível, todavia, que novos dados precisem ser solicitados e coletados durante a ARR, seja porque seu monitoramento contínuo seria excessivamente custoso, seja porque os efeitos que se busca identificar só se materializariam em um momento posterior.

No que se refere ao uso de dados administrativos, recomenda-se cuidado em sua utilização, tendo em vista que as informações podem não responder exatamente às questões de interesse, uma vez que não foram coletados especificamente para subsidiar aquela avaliação.

BOX 5

Box 5. Avaliando a Necessidade de Coleta de Dados: A Experiência do Ministério da Economia A coleta de dados costuma ser a etapa mais custosa de uma avaliação ex-post. Utilizar dados existentes, além de importante para estimar os valores de referência dos indicadores, é uma forma de tornar a ARR mais custo-efetiva. Embora dados existentes sejam subutilizados em avaliações ex-post, a sua viabilidade precisa ser avaliada cuidadosamente. Para determinar se os dados existentes podem ser usados ¿¿na ARR, deve-se considerar tamanho da amostra, disponibilidade de dados para o cenário de linha de base, frequência dos dados, escopo, relação com as informações do monitoramento, dentre outros (Banco Mundial, 2016).  Um primeiro passo importante para incorporar o uso de dados secundários tanto na AIR como na ARR consiste em mapear os dados já coletados pelo próprio órgão ou entidade, além de bases de dados externas disponíveis potencialmente relevantes. Nesse sentido, o Ministério da Economia preparou documento orientador com Recomendações para a Elaboração de Estratégias de Coleta e Tratamento de Dados nas unidades do ministério e no âmbito do Decreto nº 10.411/2020. O documento lista algumas das iniciativas já adotadas no governo federal, como o Plano de Dados Abertos e o Inventário de Dados do Ministério da Economia. O inventário identificou quase 300 bases de dados, das quais cerca de 190 são abertas. Dentre as recomendações para a estratégia de coleta e tratamento de dados, destaca-se: Mapear com as equipes os tipos de informações e dados já utilizados em estudos, notas técnicas, e demais documentos de apoio à tomada de decisão; Inventariar e organizar os dados gerados pelo órgão; Utilizar dados produzidos por auditorias internas ou externas; Produzir balanços dos resultados das atividades de fiscalização; Identificar e divulgar internamente bases de dados abertas relevantes para o órgão;  Avaliar se os sistemas e ferramentas disponíveis são adequados e suficientes para as análises mais frequentes; Incentivar a formação de um núcleo de servidores que tenham interesse e/ou capacidade em tratamento e análises de dados mais robustas que possam atender ou apoiar as equipes quando necessário; Incentivar a capacitação dos servidores em técnicas e métodos para aperfeiçoar a capacidade de gerenciamento, tratamento e análise de dados do órgão; Promover a troca de experiências com outros órgãos que já possuam estratégias de coleta e tratamento de dados em estágios mais avançados, além de institutos de pesquisas aplicadas, estatísticas e órgãos de controle.

Fonte: Banco Mundial (2016) e Ministério da Economia (2021)

3.5.2. Instrumentos de Coleta de Dados Primários

Note-se que, caso a intervenção regulatória afete um número grande de pessoas, os custos necessários para a realização de observação direta a tornariam inviável. Nesse caso, pode-se optar pela observação de uma amostra representativa, mas, a depender do caso, é possível que mesmo a observação da amostra demande mais tempo e recursos do que aqueles disponíveis, o que recomendaria a adoção de outros métodos.

No que se refere à pesquisa de campo, recomenda-se tomar especial cuidado com a redação das perguntas, para adequá-las aos dados que se pretende obter bem como para evitar a incidência de vieses cognitivos. Para obter dados qualitativos, é possível se valer ainda de: (i) entrevistas; (ii) grupos focais; (iii) estudos de casos; (iii) observação; e (v) etnografia. Estas e outras técnicas de coleta e tratamento de dados são brevemente explicadas no capítulo 4.

3.6. Tratamento dos Dados

Quadro 3. Dados quantitativos

Método	Definição
Correlação	Medida estatística que indica o grau de vinculação entre duas variáveis.
Tabulação cruzada	Uso de tabelas com duas ou mais dimensões para indicar a relação entre variáveis.
Mineração de dados	Técnica automatizada que analisa grandes volumes de texto ou dados para identificar padrões e informações.
Técnicas exploratórias	Sintetização das principais caracterizações de um conjunto de dados, usualmente com métodos gráficos.
Tabelas de frequência	Disponibilização do número de ocorrências de um acontecimento em uma tabela.
Medidas de tendência central	Técnica de descrever dados com um único valor, que represente o meio ou centro, como, por exemplo, a média, a mediana ou a moda.
Medidas de dispersão	Medida que provê informações sobre as variações constantes nos dados.
Análise estatística multivariada	Métodos que se valem de análise de simultânea de duas ou mais variáveis.
Métodos estatísticos inferenciais não paramétricos	Técnicas para inferir conclusões a partir de dados amostrais que não seguem parâmetros determinados.
Métodos estatísticos inferenciais paramétricos	Técnicas para inferir conclusões a partir de dados amostrais que seguem determinados parâmetros.
Série histórica	Observação de dados determinados obtida por coletas realizadas em momentos ao longo do tempo.

Fonte. Elaboração própria, com base em Better Evaluation III e Anvisa (2020).  

Quadro 4. Dados qualitativos

Método	Definição
Análise de conteúdo	Análise de grande volume de informação em formato de texto para extrair apenas os dados relevantes para a avaliação.
Código Temático	Indexação temática de trechos de textos ou imagens que tratem do mesmo tema.
Quadro matricial	Síntese e análise de dados em uma matriz 2x2.
Linhas de tempo e matrizes tempo-ordenadas	Elaboração de elementos que facilitem a visualização de eventos principais; sua sequência no tempo e suas consequências.

Fonte. Elaboração própria, com base em Better Evaluation III e Anvisa (2020)

É igualmente recomendado o uso de métodos e ferramentas que permitam a triangulação e a análise em conjunto de diferentes dados - e.g. dados quantitativos e qualitativos; informações obtidas de fontes diferentes ou coletadas com métodos diferentes ou para outros fins. A análise combinada pode trazer inúmeras vantagens, como a produção de bases de dados mais completas; e a realização de análises mais aprofundadas e de melhor qualidade.

3.7. Proteção de Dados Sigilosos ou Reservados
  

O sigilo de dados é previsto em diferentes normas, dentre as quais, destaca-se:

• a Lei Geral de Proteção de Dados (Lei nº 13.709/2018);

• o Marco Civil da Internet (Lei nº 12.965/2015);

• o art. 153, § 1o-A do Código Penal, que tipifica como crime a divulgação de informações sigilosas ou reservadas;

• normas relativas à proteção de propriedade industrial e intelectual (e.g. Lei nº 9.279/1996 e Lei 9.609/1998);

• Lei nº 10.603/2002, que dispõe sobre a proteção de informação não divulgada submetida para aprovação de comercialização de produtos.

Os responsáveis pela coleta e tratamento de dados e pela elaboração do Relatório de ARR devem receber treinamento adequado para observar essas e outras normas eventualmente aplicáveis. Como estratégia de mitigação de riscos, também é recomendável, quando possível, a anonimização dos dados sensíveis coletados.

Caso constem no Relatório de ARR informações sensíveis ou sigilosas, é possível determinar que o documento seja sujeito à restrição de acesso, nos termos do disposto da Lei n. 12.527, de 18 de novembro de 2011. Ressalta-se, todavia, que o sigilo integral Relatório de ARR deve ser decretado apenas em situações excepcionais, devendo-se priorizar, sempre que possível, uma restrição de acesso parcial, circunscrita ao trecho do qual constem as informações sensíveis ou sigilosas. Outra alternativa, caso o sigilo se refira unicamente a uma informação desagregada, seria publicá-la em conjunto com outras informações, de forma a impossibilitar sua individualização e consequente identificação.

Referências Utilizadas Alemanha (2013). Prognos (por solicitação do National Regulatory Control Council). Expert report on the implementation of ex-post evaluations: good practice and experience in other countries. 2013. Disponível em: https://www.normenkontrollrat.bund.de/resource/blob/656764/775370/00837e2d07a0f6230b155a656a412694/2014-evaluation-report-data.pdf?download=1 . Anac (2020). Agência Nacional de Aviação Civil. Guia Orientativo para Elaboração de Análise de Impacto Regulatório. Brasília. Agosto de 2020.  Disponível em: https://www.anac.gov.br/participacao-social/agenda-regulatoria/arquivos/guia_air_v00.pdf Anatel (2018). Agência Nacional de Telecomunicações. Manual de Boas Práticas Regulatórias. Agosto de 2018. Disponível em: https://www.anatel.gov.br/Portal/verificaDocumentos/documento.asp?numeroPublicacao=348609&pub=original&filtro=1&documentoPath=348609.pdf. ANP e UERJ Reg. (2020). Agência Nacional do Petróleo, Gás Natural e Biocombustíveis; e Laboratório de Regulação Econômica da Universidade do Estado do Rio de Janeiro. Manual de Boas Práticas Regulatórias. 2020. Disponível em: https://www.gov.br/anp/pt-br/acesso-a-informacao/copy_of_manualboaspraticasregulatorias.pdf Antt (2020). Age^ncia Nacional de Transportes Terrestres. Manual de Análise de Impacto Regulatório (AIR) e de Avaliação de Resultado Regulatório (ARR). 3a Edic¸a~o. Brasi´lia. 2020. Disponível em: http://governanca.antt.gov.br/AgendaRegulatoria/SiteAssets/Paginas/AIR/Manual%20de%20Analise%20de%20Impacto%20Regulatorio%20%28AIR%29%20e%20Avalia%C3%A7%C3%A3o%20de%20Resultado%20Regulatorio%20%28ARR%29%20-%202020.pdf Anvisa (2020). Agência Nacional de Vigilância Sanitária. Monitoramento e Avaliação de Resultado Regulatório (M&ARR) Diretrizes para a implementaçãode M&ARR na Anvisa. 2020. Disponível em: https://www.gov.br/anvisa/pt-br/assuntos/regulamentacao/monitoramento-e-avaliacao-de-resultado-regulatorio/diretrizes-para-implementacao-de-m-arr-na-anvisa.pdf Austrália (2020). Governo da Austrália. Post-Implementation Reviews. Guidance Note. 2020. Disponível em: < https://www.pmc.gov.au/sites/default/files/publications/post-implementation- reviews.pdf >. Better Evaluation I. Better Evaluation, sítio eletrônico. Impact evaluation., s.d.e. Disponível em: < https://www.betterevaluation.org/en/themes/impact_evaluation>. Better Evaluation II. Better Evaluation, si´tio eletro^nico.  Combine qualitative and quantitative data. Disponi´vel em: . Better Evaluation III. Better Evaluation, si´tio eletro^nico.  Analyse data. Disponi´vel em: < https://www.betterevaluation.org/en/rainbow_framework/describe/analyse_data>. Coglianese, C. (2012). Measuring Regulatory Performance: evaluating the impact of regulation and regulatory policy. Expert Paper n. 1. Si´tio eletro^nico da OCDE. 2012. Disponi´vel em: < http://www.OCDE.org/gov/regulatory- policy/1_coglianese%20web.pdf>. Draskovics, T. (Quick) Guide to Ex-post Policy Impact Assessment. The European Union?s ENPI Programme for Ukraine. 2018. Disponi´vel em: .  European Comission (2017a). Comission Staff Working Document - Better Regulation Guidelines. 2017. Disponível em: https://ec.europa.eu/transparency/regdoc/rep/10102/2017/EN/SWD-2017-350-F1-EN-MAIN-PART-1.PDF. European Comission (2017b). Better Regulation ?Toolbox?. 2017. Disponível em: https://ec.europa.eu/info/sites/info/files/better-regulation-toolbox_2.pdf European Court of Auditors (2018). Ex-post review of EU legislation: a well-established system, but incomplete. Special Report nº 16. Disponível em: https://www.eca.europa.eu/Lists/ECADocuments/SR18_16/SR_BETTER_REGULATION_EN. pdf . Ministério da Economia (2021). Coleta e Tratamento de Dados no Âmbito do Decreto de Análise de Impacto Regulatório ? AIR. Recomendações para a Elaboração de Estratégias de Dados nas Unidades do Ministério da Economia. Brasília: Secretaria Executiva, Ministério da Economia. OCDE (2016). Organização para Cooperação e Desenvolvimento Econômico. Reference guide on ex-post evaluation of competition agencies? enforcement decisions. Abril 2016. Disponível em: https://www.OCDE.org/daf/competition/Ref-guide-expost-evaluation-2016web.pdf. ______ (2018). Organização para Cooperação e Desenvolvimento Econômico. Ex-post assessment of regulation: Practices and lessons from OCDE countries. OCDE Publishing, Paris. 2018. Reino Unido (2018). Department for Business, Energy & Industrial Strategy. Producing Post-Implementation Reviews (PIR): Principles of Best Practice. Disponível em: Xhttps://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/726992/producing-post-implementation-reviews-pir.pdf ______ (2020). HM Treasury. The Magenta Book 2020. Supplementary Guide: Guidance for Conducting Regulatory Post Implementation Reviews. 2020. Disponível em: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/879444/Magenta_Book_supplementary_guide._Guidance_for_Conducting_Regulatory_Post_Implementation_Reviews.pdf .

 

4.O Relatório de ARR

4.1.Sumário Executivo

Para facilitar o acesso ao relatório, o sumário deve ser curto e utilizar linguagem clara, para que tomadores de decisão e diferentes grupos da sociedade possam avaliar rapidamente o que foi feito e as principais conclusões obtidas. Assim como no relatório de AIR, deve-se evitar o uso de jargões técnicos ou expressões pouco familiares, em especial no sumário executivo.

O sumário deve incluir toda a informação necessária e suficiente para que o leitor possa entender o conteúdo do relatório sem que tenha a necessidade de ler o documento na íntegra. Recomenda-se, então, que o sumário inclua:

• O que foi analisado:  o leitor deve conseguir identificar, de imediato, qual a regulação, conjunto de regulações ou parte da regulação cujo resultado foi avaliado no relatório;

• Como foi analisado: o leitor deve conseguir compreender o tipo de avaliação realizada, os dados utilizados e as perguntas que a análise pôde responder;

• Os principais resultados obtidos: os resultados devem ser apresentados de forma direta e clara. As limitações e demais complexidades relacionadas à análise dos dados devem ser tratadas em seção específica no relatório, e não no sumário executivo;

• O que fazer com os resultados:  o sumário deve indicar claramente as recomendações de política derivadas da ARR. As recomendações podem incluir:

1. Manutenção da regulação;

2. Revisão da regulação com pequenos ajustes;

3. Sugestões de monitoramento e/ou de avaliação programada;

4. Revisão da regulação com ajustes significativos; e

5. Eliminação da regulação analisada.

4.2. Por que avaliar Justificativa e Finalidade pretendida com a ARR

O Decreto nº 10.411/2020 indica possíveis justificativas ? ou gatilhos ? para a realização da ARR. São elas:

• Ampla repercussão na economia ou no País;

• Existência de problemas decorrentes da aplicação do referido ato normativo;

• Impacto significativo em organizações ou grupos específicos;

• Tratamento de matéria relevante para a agenda estratégica do órgão; ou

• Vigência há, no mínimo, cinco anos.

Nesta etapa da ARR, não basta citar um ou um conjunto destes critérios. É necessário que a justificativa seja acompanhada por evidências coletadas pelo órgão ou entidade que demonstrem o que significa ?ampla repercussão?, ?existência de problemas? e ?impacto significativo?. Assim como na AIR, a qualidade da ARR depende da qualidade e quantidade de evidências apresentadas e avaliadas durante a sua elaboração.  

Além de trazer evidências que justifiquem o esforço analítico de se produzir um bom relatório de ARR, é importante que a finalidade da ARR também esteja clara no relatório. A finalidade, ou o objetivo, da ARR não deve ser confundido com a sua justificativa. A justificativa diz respeito à motivação para a condução de uma ARR. Já a finalidade refere-se ao que se pretende responder com a avaliação.

Analisar a efetividade e a relevância da regulação é um dos objetivos mais comumente encontrados na experiência internacional. Ou seja, analisar se a regulação atingiu o objetivo pretendido e se estes objetivos ainda são relevantes e se a intervenção permanece necessária é a finalidade pretendida da ARR na maior parte dos países que a adota.

Mesmo quando a regulação tenha sido submetida a uma AIR minuciosa e, em princípio, apropriada ? efeitos adversos podem surgir no médio e longo prazo, seja devido a mudanças no mercado, na tecnologia ou comportamentais. Assim, considerando quea ARR atua de forma complementar a AIR no ciclo regulatório (ver item 1.4), avaliar os efeitos reais da regulação e compará-los com os previstos na AIR permite aperfeiçoar tanto futuras AIRs como regulações vigentes há considerável tempo.

A ARR também pode ter outras finalidades, a depender do caso concreto e do momento em que a avaliação é conduzida. Outros possíveis objetivos da ARR são:

• Avaliar, de forma mais ampla, os custos e benefícios da regulação;

• Avaliar impactos específicos sobre o comércio internacional, bem como alternativas para harmonizar diferenças regulatórias desnecessárias;

• Avaliar oportunidades de redução de custos e/ou mitigação de impactos sobre grupos específicos, como microempresas e empresas de pequeno porte, sem afetar os objetivos pretendidos;

• Avaliar se novas descobertas científicas afetam a base da intervenção regulatória;

• Avaliar se a implementação da regulação está caminhando conforme o previsto;

• Avaliar o custo regulatório acumulado, imposto por diferentes regulações do mesmo órgão e/ou sobre os mesmos grupos econômicos;

• Avaliar problemas trazidos pelos agentes econômicos ou de usuários dos serviços prestados.

A resposta para cada um desses questionamentos pode ser um escopo para a realização de uma ARR. A avaliação pode ser utilizada para alcançar diferentes fins, obtendo respostas que vão desde a implementação da intervenção regulatória até seus efeitos.  As atividades conduzidas no processo da avaliação são parte fundamental do contínuo aperfeiçoamento regulatório, fornecendo informação fundamental para a tomada de decisão. O conhecimento institucional trazido pela AIR e atualizado pela ARR constrói uma base sólida sobre a qual as decisões regulatórias são tomadas.

 BOX 6

Box 6. Finalidades da ARR: o exemplo da Anvisa   A Anvisa editou, em março de 2021, a Portaria nº 162, revendo as diretrizes e os procedimentos para a melhoria da qualidade regulatória na agência. No artigo 56 desta Portaria, encontramos as finalidades pretendidas com o Monitoramento e a ARR na agência, reproduzidas a seguir:   Art. 56. As atividades de M&ARR serão realizadasa fim deatender a uma ou mais das seguintes finalidades: I - verificar se o instrumento regulatório é eficaz e efetivo; II - verificar se o instrumento regulatório permanece adequado, se há necessidade de revisão ou se deve ser revogado; III - avaliar a execução do que foi planejado, especialmente no que se refere à implementação do instrumento regulatório;  IV- avaliar os resultados e impactos esperados e inesperados do instrumento regulatório; V - avaliar a relação custo-benefício do instrumento regulatório;  VI - dar transparência à sociedade quanto ao desempenho do instrumento regulatório; ou VII - fornecer subsídios para apoiar a tomada de decisão. Como se pode observar, as atividades de monitoramento e ARR na Anvisa podem atender a diferentes finalidades, seguindo a prática internacional. Em função disso, é esperado que diferentes ?desenhos? ou abordagens sejam adotados para a ARR, permitindo cumprir com a finalidade ou objetivo pretendido de sua realização.

 

4.3.Descrição da Regulação

Como indicado item 1.3, a ARR pode referir-se a um tema disposto em diferentes atos normativos (ARR temática), a um ou mais atos normativos na sua totalidade ou a partes de ato(s) normativo(s).

Dessa forma, é fundamental que o relatório de ARR indique, de forma clara e direta, os detalhes do(s) ato(s) normativo(s) sob análise. Esta descrição compreende aspectos formais e substantivos da regulação, como:

• A identificação do(s) ato(s) normativo(s) e os comandos que serão avaliados, incluindo, tipo, numeração e data de publicação. Exemplo: Esta ARR avalia os limites de aporte previstos no artigo 4º, §2º, II da Lei nº 8.685/1993. (adaptado de Ancine, AIR N.º 1-E/2020/SEC/CTR)

Nota: Sempre que a avaliação se referir à(s) parte(s) do(s) ato(s) normativo(s), é importante indicar os artigos ou partes às quais a avaliação se refere. Exemplo: Item 4 do Anexo específico III da Portaria XYZ, de 01 de abril de 2021.

 BOX 7

Box 7. ARR Temática Em 2020, a ANTT conduziu uma ARR sobre um bloco regulatório cujo tema foi definido como ?fiscalização de campo?. Ao invés de ter por objeto um único ato normativo, a agência se dedicou a avaliar os dispositivos de cinco resoluções e duas portarias que tratavam de cinco espécies de fiscalização: vistoria de obras e serviços; inspeção de trechos rodoviários; conferência de correção indicadas nas inspeções; operação da rodovia; e verificação das monitorações. A delimitação do bloco é colocada de forma clara na nota técnica, em trecho reproduzido a seguir. 13. O bloco regulatório é delimitado, no âmbito regulatório, pelos contratos individuais e por um conjunto de 5 (cinco) principais resoluções e 2 (duas) portarias: Resolução ANTT nº 675/2004, que define os conceitos de revisões ordinárias, extraordinárias e quinquenais do equilíbrio econômico-financeiro dos contratos das concessões rodoviárias federais; Resolução ANTT nº 1.187/2005, que dispõe sobre os procedimentos de execução de obras e serviços pelas concessionárias, destaque para os que tratam da execução do PER, do planejamento anual e programações mensais e da aceitação; Resolução ANTT nº 4.071/2013, que regulamenta as infrações sujeitas às penalidades de advertência e multa por inexecução contratual; Resolução ANTT nº 5.083/2016, que rege o processo administrativo sancionador no âmbito da ANTT e cria o Termo de Registro de Ocorrências ? TRO; Resolução ANTT nº 5.818/2018, que delega à SUINF competências atribuídas originalmente à Diretoria, destaque para as que tratam da aprovação de contratos de receitas extraordinárias, dos planos anuais de fiscalização e da postergação do cronograma de obras previstos no PER; Portaria SUINF nº 135/2016: dispõe sobre a regulamentação do uso do Termo de Registro de Ocorrência, Auto de Infração e Notificação de Autuação no âmbito da fiscalização dos contratos de rodovias federais concedidas; Portaria SUINF nº 191/2019: dispõe sobre a regulamentação do uso do Auto de Infração no âmbito da fiscalização dos contratos de concessão de rodovias federais concedidas. No bloco regulatório avaliado pela ANTT, a avaliação temática se justifica por se tratar de um processo comum (?fiscalização de campo?), composto por diferentes subgrupos (chamados de ?espécies de fiscalização?) que compartilham um mesmo objetivo geral (?fiscalizar a infraestrutura do Sistema Rodoviário concedido, bem como a Operação Rodoviária?). Com isso, foi possível desenhar uma árvore de problemas do bloco: ou seja, identificar um mesmo problema central, e um conjunto de causas e consequências a ele associados. Acesse aqui para ler o documento na íntegra. (pedir link para ANTT)

 

• O contexto e/ou o histórico do que será avaliado, cuja compreensão permite um melhor entendimento dos objetivos da regulação e, assim, dos diferentes resultados esperados.

Da mesma forma que o contexto e/ou histórico do problema auxilia na sua delimitação em uma AIR, o contexto e/ou o histórico da regulação sob análise auxilia na (re)construção da teoria da regulação.

Haverá casos em que não foi feita uma AIR da regulação que está sendo avaliada. Nesses casos, é especialmente importante analisar o contexto em que a regulação foi elaborada e aprovada, como forma de obter informação sobre os possíveis objetivos e resultados esperados da regulação. Esta seção será mais simples de ser elaborada nos casos em que foi feita uma AIR previamente à edição do ato normativo.

4.4.Objetivos da Regulação

Nos casos em que houver uma AIR para utilizar como base, esta seção deve considerar o(s) objetivo(s) declarado(s) na AIR. Nos casos em que não foi feita uma AIR, deve-se tentar inferir os objetivos da regulação a partir de documentos disponíveis, tais como:

• Exposição de motivos do ato normativo;

• Notas técnicas;

• Documentos de consultas e audiências públicas;

• Relatórios de órgãos de controle que possam ter motivado o ato normativo; e

• Literatura técnica especializada. 

Aqui, é muito importante ser o mais fiel possível ao que consta nos documentos disponíveis. Enquanto avaliar o atingimento de objetivos é uma tarefa técnica e empírica, determinar quais são esses objetivos é uma questão que pode envolver disputa entre diferentes valores.

 BOX 8

Box 8. Utilizando Consulta às Partes para Identificação dos Objetivos da Regulação   A busca por diferentes documentos de apoio para reconstruir os objetivos esperados da regulação também pode ser complementada por uma pesquisa com as partes afetadas e interessadas para obtenção de novas informações e/ou validação das informações obtidas.   Foi a opção adotada pelo Inmetro em uma ARR sobre rodas automotivas elaborada em 2019. Esta foi uma ARR em que não havia uma AIR como base. Assim, parte da ARR destinou-se a entender o problema regulatório que motivou a ação do órgão. Esta compreensão do problema, fundamental na reconstrução dos objetivos, foi realizada a partir de (i) entrevista com técnico responsável pelo regulamento; (ii) pesquisa bibliográfica e documental (incluindo análise da nota técnica); (iii) pesquisa a diferentes bases de dados; e (iv) pesquisa com entidades.   A pesquisa com as entidades teve como objetivo ?ratificar as informações obtidas pelos estudos citados?, para ?identificar os principais problemas, anteriores à medida regulatória desenvolvida pelo Inmetro, com relação a rodas automotivas?. (Inmetro, p.19)   Dessa forma, a escassez de informação sobre determinada regulação pode ser complementada por uma coleta de dados primários, por meio de entrevistas com atores dos setores público e privado que participaram do desenvolvimento da regulação.   Acesse aqui para ler o documento na íntegra.

 

4.4.1  (Re)Construindo a Teoria da Regulação

A intervenção regulatória ocorre porque o órgão regulador, ao se deparar com um problema, entendeu que a edição, alteração ou revogação de um ato normativo era a melhor forma de resolvê-lo. Observa-se que, idealmente, a teoria da regulação é construída na AIR e revisitada na ARR. É preciso analisar a consistência lógica da ação regulatória e descrever, com clareza, o que se espera que ocorra após a publicação de um ato normativo.

Longe de trivial, o caminho percorrido da intervenção aos resultados é, muitas vezes, apresentado de forma pouco clara nos documentos que embasaram a decisão, especialmente nos casos em que não foi conduzida uma AIR antes da ação. Para a ARR, desenhar e entender este caminho é fundamental. Como em qualquer atividade de pesquisa em que se busque estabelecer relações entre variáveis, é preciso ter informações sobre (i) cada uma destas variáveis (como a sua definição e como é/será operacionalizada), (ii) sua relação esperada (i.e., linear e positiva, U-shape, etc.) e (iii) outras variáveis que as afetam.

Existem diferentes tipos e conceitos para a teoria da regulação, sendo os mais comuns: ?teoria da mudança?, ?modelo lógico? e ?mapa causal da regulação?. Apesar de diferentes, a ideia subjacente é a mesma: descrever, em um passo a passo sequencial, o caminho percorrido da regulação até a obtenção dos resultados esperados.

A seguir, serão apresentados o modelo lógico e o mapa causal da regulação, pois possuem objetivos similares, mas são estruturados de forma distinta. O modelo lógico funciona como um passo a passo estruturado para demonstrar como recursos e atividades geram produtos, resultados e seus respectivos impactos. Já o mapa causal tem como foco a regulação e a mudança de comportamento necessária para que se observem os resultados desejados.

Figura 7. Modelo Lógico

Observe que o modelo lógico apresenta como se espera que a regulação produza os resultados pretendidos. Ele constrói as etapas, e detalha os recursos e as atividades necessárias para que produtos possam ser gerados e os resultados, observados.  Seu foco são os aspectos endógenos da regulação.

Figura 8. Mapa Causal

 

Diferentemente do modelo lógico, o mapa causal da regulação inclui fatores exógenos. Ou seja, ainda que os insumos sejam adequadamente transformados em produtos, os resultados intermediários e finais podem não ser observados. Da mesma forma, pode-se observar os resultados pretendidos mesmo que a regulação não tenha sido implementada como previsto. Isso porque o mapa causal, como o nome indica, está preocupado com a possibilidade em atribuir à regulação os resultados observados. E há diversos outros fatores que influenciam todas as etapas do processo e que, portanto, também exercem influência sobre os resultados finais e intermediários. Ainda que não seja possível afirmar que os resultados foram causados pela regulação, mapear estas outras influências e debatê-las na ARR traz maior segurança na análise realizada.

Independentemente do modelo escolhido, é fundamental que a ARR descreva a regulação sob análise, os seus objetivos pretendidos e explique o caminho pelo qual a regulação, tal qual desenhada, atingiria estes objetivos após a sua entrada em vigor.

4.5.Avaliação dos resultados e demais impactos da regulação selecionada

A AIR, em sua origem americana, era uma avaliação custo-benefício elaborada antes da ação regulatória. No entanto, a difusão da AIR entre os países da OCDE, as dificuldades na execução de uma ACB e o uso da AIR como um processo de tomada de decisão, e não apenas uma ferramenta analítica, trouxeram diferentes possibilidades ? e realidades ? para esta seção do relatório. A experiência nacional e internacional com a AIR, até o momento, aponta uma grande dificuldade em quantificar custos e, especialmente, benefícios, com alguns casos de melhora ao longo do tempo. Ou seja, uma maior familiaridade e experiência com a AIR, tanto por reguladores como pelo mercado regulado e demais partes interessadas, pode aumentar a qualidade das evidências e análises utilizadas. 

A experiência internacional com a ARR é bastante heterogênea. Há diferentes tipos de olhar retrospectivo, como visto no capítulo 2, e a maior parte das ARRs se concentra em avaliação de carga administrativa e custos de conformidade. Cabe destacar que este tipo de olhar retrospectivo é associado a uma outra agenda ? similar, mas paralela ? de programas de simplificação administrativa com foco em redução de custos. Esta agenda difere-se, em princípio, da ARR como instrumento para avaliação da efetividade da regulação.

É fundamental que, assim como na AIR, haja flexibilidade na execução da ARR. Avaliações regulatórias ? ex-ante e ex-post ? são tarefas complexas, e o estágio de maturidade das ferramentas de melhoria regulatória é variado entre os diferentes órgãos da administração pública.  Além disso, as regulações possuem objetivos distintos, e determinar qual é o resultado de interesse de uma regulação é uma escolha de valor: se a avaliação terá como foco o custo poupado ou a redução de uma exposição ao risco por parte de determinado grupo de usuários é uma escolha que pode variar de acordo com o momento político e/ou as preferências do regulador.

 BOX 9

Box 9. Resultados processuais ou substantivos?   Para ilustrar como a política regulatória implica resultados substantivos e de processo, a OCDE (2012) utiliza como exemplo os requisitos de transparência. Este tipo de requisito é justificado, com frequência, como uma forma de evitar a captura por interesses específicos, melhorando os resultados substantivos como um todo. Idealmente, a avaliação dos requisitos de transparência deveria focar em formas de verificar como o desempenho das regulações mudou com a adoção de tais requisitos. Ao mesmo tempo, as avaliações precisam ir além de medidas usadas para avaliar o desempenho substantivo, e devem incluir, também, outras variáveis de interesse, como o aumento da confiança das partes envolvidas e uma maior qualidade (e quantidade) na participação destas partes no processo decisório.   O mesmo poderia ser dito de requisitos de adoção de ferramentas de melhoria regulatória, como a AIR e a ARR. Estas ferramentas são adotadas como forma de trazer maior transparência e racionalidade ao processo decisório. São meios utilizados para que melhores decisões sejam tomadas. Como o ?benefício líquido? das regulações implementadas não é o único resultado de interesse, outros indicadores relacionados à transparência e participação também podem fazer parte do escopo da avaliação.

Idealmente, os resultados de interesse ? assim como os indicadores ? foram pensados no momento da formulação da regulação e constam no relatório de AIR ou documento alternativo. Isso não significa que não envolvam escolhas de valor. A importância de se pensar antecipadamente sobre os resultados de interesse e seus indicadores é conter o ímpeto de olhar apenas para os resultados positivos ? esperados ou não ? da regulação sob análise.

4.5.1.Abordagens de ARR

• Avaliação de Processo, cujo foco são os meios e processos utilizados na implementação da regulação e na sua contribuição para os resultados observados;
• Avaliação de Impacto, cujo foco é avaliar se a regulação de fato atuou sobre o problema regulatório, bem como os demais impactos gerados, sua distribuição entre os grupos afetados e a ocorrência de resultados não previstos; e
• Avaliação Econômica, que se concentra nos custos e benefícios gerados pela regulação.

Em suas Diretrizes para a implementação de M&ARR, a Anvisa faz um paralelo entre duas importantes referências, uma internacional e outra nacional, e elenca nove diferentes tipos possíveis de abordagens para avaliação regulatória retrospectiva, reproduzidas no quadro a seguir.

Quadro 5. Abordagens Metodológicas para Avaliação Regulatória Retrospectiva[11]

A definição da ARR promovida pelo Decreto nº 10.411/2020 leva a uma preferência pela avaliação de impacto, conforme definição adotada no Guia Orientativo para elaboração da AIR. Os demais tipos de avaliação, no entanto, poderão ser considerados, a depender das demandas do caso concreto. Como já mencionado, regulações possuem objetivos distintos e uma ação regulatória pode implicar tanto resultados substantivos como processuais (ver Box 9.Resultados processuais ou Substantivos?).

Além disso, a necessidade de se conduzir a ARR em prazo determinado ? como nos casos de dispensa de AIR por urgência ? expõe um dos grandes desafios das avaliações de impacto, que é saber se transcorreu o período adequado para que a intervenção seja avaliada. Enquanto uma avaliação precoce pode resultar na identificação de impactos parciais, ou até mesmo de nenhum impacto, uma avaliação tardia pode prolongar efeitos indesejáveis e/ou levar a perda do apoio público a determinada intervenção (King e Behrman, 2009).

Por fim, observamos que as diferentes abordagens de ARR diferenciam-se principalmente com relação: (i) ao que a ARR quer explicar e (ii) a que tipo de inferência a ARR poderá fazer. Ou seja, as ARRs podem variar tanto com relação às variáveis dependentes utilizadas, ou seja, ao que será avaliado como com relação a sua pretensão, ou não, de atribuir à regulação de interesse os resultados observados.

Quadro 6. ARR: Principais variações

4.5.2.O que a ARR vai explicar? Atingimento de Objetivos e demais impactos

Assim, é possível que uma ARR avalie:

• O objetivo central pretendido;

• Mais de um objetivo;

• Outro(s) impacto(s) decorrente(s) de sua implementação (e.g., custos acumulados sobre microempresas e empresas de pequeno porte, sobre o comércio internacional, criação de barreiras à entrada etc).

Cada um desses interesses da ARR demanda um desenho de pesquisa específico. Analisar o atingimento de cada objetivo e demais impactos enseja um amplo e denso exercício analítico que deve ser direcionado às intervenções de maior relevância.

Atingimento dos Objetivos

Idealmente, a ARR deve analisar em que medida a regulação em questão está atingindo os seus objetivos. Como vimos no item 4.4, nem sempre é trivial identificar os objetivos pretendidos com a regulação quando esta foi editada. Sempre que uma AIR tiver sido conduzida, a ARR deve assumir que os únicos objetivos pretendidos são aqueles que constam no relatório de AIR. Isso evita a tentação em substituir os objetivos pretendidos, mas não observados, por ?outros? efeitos positivos não pretendidos, mas observados.  

Quadro 7. Exemplos de Objetivos Regulatórios

Reduzir a comercialização de recipientes em desconformidade;

Reduzir a assimetria de informação sobre os aspectos relevantes do produto para o consumidor;

Uso racional da infraestrutura;

Garantir o acesso da população a determinado serviço ou produto;

Manter a viabilidade econômica e financeira dos empreendimentos;

Facilitar a compreensão de determinada informação de produto ou serviço pelos seus usuários/consumidores;

Tornar a fiscalização regulatória mais efetiva e com menor custo regulatório;

Melhorar a segurança da infraestrutura disponível.

    Fonte: Elaborado e adaptado de AIRs conduzidas por diferentes agências federais

Observe-se que se a ARR concluir que a ?regulação não está atingindo os objetivos?, isso não leva, necessariamente, à conclusão de que a regulação deva ser eliminada. Suponha, por exemplo, que foi observado um efeito positivo oriundo de uma mudança de comportamento associada à regulação. Esta mudança, embora não prevista ou pretendida, é desejável. Além disso, há evidências de que a mudança pode ser atribuída à regulação. Ou seja, a revogação do ato pode levar ao desaparecimento deste efeito. Nestes casos, a ARR pode concluir por ajustes no ato normativo em vigor, a serem submetidos à AIR, e sugerir lições para intervenções futuras.

Demais Impactos sobre os agentes econômicos e usuários dos serviços

Além da avaliação dos objetivos originalmente pretendidos, a ARR também deve avaliar ?os demais impactos observados sobre o mercado e a sociedade em decorrência da sua implementação?. Estes impactos podem se referir tanto a efeitos indiretos desejáveis (i.e., benefícios indiretos) como não desejáveis (i.e., custos indiretos).Nas Diretrizes Gerais e Guia Orientativo para a Elaboração da AIR (Casa Civil, 2018a), estes são os chamados impactos indiretos (p.68). Estes efeitos podem ou não ter sido antecipados em uma AIR.

Como já mencionado, grande parte da experiência internacional concentra-se em avaliar os custos, acumulados ou não, sobre determinados grupos da sociedade. O foco das análises retrospectivas, como a ARR, tem sido na mensuração da carga administrativa e nos custos de conformidade. Dessa forma, um primeiro candidato a compor a avaliação de ?demais impactos? é, justamente, o componente dos custos regulatórios diretos observados, sendo esta uma categoria difícil de ficar de fora em qualquer tipo de avaliação retrospectiva.

Além dos custos, outros impactos relevantes são:

• Impactos sobre a inovação, o comércio internacional e o crescimento de novos mercados;

• Impactos sobre microempresas e empresas de pequeno porte;

• Custos de transação;

• Redução da concorrência;

• Benefícios ambientais;

• Aumento de bem-estar;

• Proteção de direitos fundamentais;

• Ampliação do acesso de minorias a determinado produto ou serviço.

Em suma, todas as categorias de impactos indiretos de uma regulação elencadas no Guia Orientativo para Elaboração de AIR são entendidas como ?demais impactos?, e podem ser exploradas na ARR.

Pertinência e Atualidade da Regulação

Um terceiro tipo de olhar retrospectivo para a atividade regulatória diz respeito a uma avaliação quanto às evidências científicas que embasaram a intervenção regulatória. Neste caso, não se trata tanto de uma análise quantitativa ou qualitativa dos objetivos e demais impactos da intervenção, mas de uma avaliação quanto à sua atualidade e necessidade de ajuste com base na evolução das evidências científicas que a fundamentaram, na época de sua edição.

Uma AIR bem conduzida é amparada por evidências e melhores práticas de diferentes campos de conhecimento ? como, por exemplo, diferentes tipos de engenharia, avaliação econômica, toxicologia, epidemiologia? que, de tempos em tempos, são atualizados por novas descobertas. Assim, revisitar as decisões regulatórias para incorporar estas novas descobertas é fundamental e envolve considerável esforço dos órgãos reguladores para se manterem atualizados com os avanços científicos.

Estes esforços atendem ao disposto no Decreto nº 10.411, que determina em seu art. 14 que:

Art. 14. Na hipótese de o órgão ou a entidade competente optar pela edição ou pela alteração de ato normativo como a alternativa mais adequada disponível ao enfrentamento do problema regulatório identificado, será registrado no relatório de AIR ou, na hipótese de que trata o § 1º do art. 4º, na nota técnica ou no documento equivalente, o prazo máximo para a sua verificação quanto à necessidade de atualização do estoque regulatório.

Note que este não é um requerimento para que a ARR esteja prevista no texto do ato normativo. A intenção do Decreto é a de que o ato normativo seja revisto conforme periodicidade determinada pelo próprio regulador ? seguindo as necessidades e especificidades de cada regulação ? para verificar a sua necessidade de atualização. Esta necessidade compreende tanto uma política mais ampla de gestão do estoque regulatório do órgão, como este terceiro tipo de olhar retrospectivo trazido pela experiência internacional para a condução de uma ARR propriamente dita.

Observações Gerais

Em conclusão, como forma de melhor guiar a ARR, é importante definir as questões a serem respondidas pela avaliação. Estas perguntas compreendem tanto o escopo da avaliação como os critérios a serem considerados na análise dos dados. Alguns exemplos são:

• A regulação foi efetiva no alcance dos seus objetivos?

• A regulação produziu efeitos indiretos indesejados, tais como, efeitos negativos para inovação, comércio internacional, microempresas e empresas de pequeno porte, concorrência, dentre outros?

• Agora que a regulação já está em vigor há algum tempo, os benefícios observados ainda justificam os seus custos?

• Como uma eventual eliminação da regulação afetaria o comportamento observado dos agentes?

• Existem métodos, tecnologias e/ou técnicas novas e menos onerosas que surgiram desde que a regulação foi implementada, permitindo alcançar os objetivos de forma mais eficaz e/ou eficiente?

• Os dados científicos que suportam a regulação mudaram, de modo que sua avaliação é necessária?

 
BOX 10

Box 10. Utilizando Questões Avaliativas para Planejar e Estruturar a ARR Uma das recomendações trazidas no Guia de Avaliação de Políticas Públicas ex-post (Casa Civil, 2018b) é utilizar uma sequência lógica de perguntas como forma de planejar e estruturar uma avaliação de resultados. Foi o que fez a ANEEL no Relatório de ARR nº 2/2020, sobre a "Qualidade da Prestação dos Serviços de Transmissão" (Resolução Normativa n° 729/ 2016, com alterações feitas pela Res. nº 782/ 2017). A avaliação foi realizada por meio de elaboração de respostas às seguintes perguntas, separadas por tópicos: Situação Atual 1. Qual o comportamento da disponibilidade ao longo do tempo? 2. Quantas FT existiam na época da implementação da REN n° 270/2007 e quantas existiam ao implementar a REN n° 729/2016? Eficácia 3. Qual o efeito do regulamento sobre as Indisponibilidades Programadas das FT? 4. Qual o efeito do regulamento sobre os Outros Desligamentos das FT? 5. Qual o efeito do regulamento sobre os atrasos na entrada em operação de novas FT? 6. A [Parcela Variável por Indisponibilidade] PVI é um incentivo relevante para o aumento da disponibilidade das FT? 7. A [Parcela Variável por Atraso na Entrada em Operação] PVA é um incentivo relevante para a redução do atraso na entrada em operação de novas FT? 8. Até que ponto essas mudanças ou efeitos podem ser creditados à intervenção? Relevância 9. A intervenção ainda é relevante levando em consideração as mudanças no cenário do setor elétrico desde que a REN nº 729/2016 entrou em vigor? 10. Qual a relevância da intervenção para os usuários e para os consumidores finais? Além de organizar o planejamento e a avaliação propriamente dita, fazer uso de perguntas avaliativas facilita a leitura e compreensão do relatório de ARR por parte de um público mais amplo, que consegue acessar prontamente o que foi de fato feito pelo órgão ou entidade. Por exemplo, é possível ter uma resposta imediata à duas questões de extrema relevância em uma ARR: (i) se é possível falar em causalidade entre a regulação e os resultados sob análise, e (ii) a relevância da intervenção para usuários e consumidores. Acesse aqui para ler o documento na íntegra. (http://www2.aneel.gov.br/cedoc/arr2020002srt.pdf)

Cada pergunta enseja um planejamento e desenho de avaliação distinto, com adequação entre os indicadores selecionados, métodos de coleta e análise de dados. O Quadro a seguir apresenta a relação entre os objetivos da ARR e tipos de indicadores.

Quadro 8. Tipos de Avaliação e Indicadores

Tipos de indicadores	Pergunta que buscam responder	Exemplo	Tipo de Avaliação
Indicadores de resultados e impactos	- Os objetivos da regulação foram atingidos? - Quais os custos e benefícios que podem ser atribuídos à regulação sob análise?	- Redução de acidentes; - Redução do consumo de produtos que oferecem risco à saúde; - Aumento da segurança.	Avaliação de Impacto ou Resultado
Indicadores Administrativos e Técnicos	- Qual é o custo de implementação da regulação? - Os recursos foram ? ou estão sendo ? suficientes para executar as atividades previstas? - A regulação está sendo observada pelo mercado regulado?	- Carga administrativa da implementação; - Quantidade de fiscais; - Aquisição de software; - Capacitação da equipe; - Multas aplicadas.	Avaliação de implementação

Fonte: Elaboração própria a partir de OCDE (2012) e Casa Civil (2018b).

4.5.3.      Que Tipo de Inferência a ARR pretende fazer: ARR descritiva ou atribucional?

A ARR descritiva é aquela que busca detectar e descrever padrões nas evidências coletadas, sejam elas quantitativas ou qualitativas. Estes padrões deverão ser comparados com referências ou benchmarks, permitindo levantar possíveis explicações sobre o motivo pelo qual a variável de interesse está apresentando as variações observadas.  Para isso, é possível comparar a mesma variável ao longo do tempo, em diferentes contextos ou com outra que possua características semelhantes.

Quadro 9. Benchmarks para comparação

Benchmark ou referência utilizada	Como funciona?
Tempo	Descreve e analisa o comportamento da variável de interesse ao longo do tempo.
Localidade	Descreve e analisa uma mesma variável em diferentes contextos ou localidades.
Unidade	Descreve e analisa diferentes variáveis de interesse (i.e., objetivos e/ou demais impactos), mas que possuam características semelhantes.

Fonte: Adaptado de Casa Civil (2018b, p.244)

Mesmo quando não for possível estabelecer uma relação de causa-e-efeito entre a regulação e a variável de interesse, ainda assim é possível conduzir uma avaliação sólida, que levante informações relevantes para a tomada de decisão, trazendo novos elementos que indiquem - ou não - a necessidade e oportunidade de rever a regulação vigente.

Há diferentes técnicas de pesquisa que podem ser utilizadas. As principais técnicas de coleta de dados são entrevistas, grupos focais, observação e questionários, que podem ser utilizadas como fontes de dados primários em diferentes metodologias de pesquisa, como estudos de caso, etnografia, process tracing, dentre outros. 

A ARR atribucional, em contrapartida, utiliza uma amostra de dados para fazer estimativas ou outras generalizações sobre a relação entre as variáveis explicativas (i.e., a intervenção ou regulação) e variável de interesse (i.e., os resultados observados ou demais impactos de interesse).

Neste caso, os dados utilizados e o desenho de pesquisa precisam ser cuidadosamente pensados para que seja possível atribuir à variável explicativa (i.e., a intervenção ou regulação) os resultados observados. Duas das principais técnicas utilizadas para atribuição de causalidade são a regressão descontínua e diferenças-em-diferenças. Demais técnicas podem ser encontradas no Quadro 10, a seguir.

Quadro 10.Técnicas para ARR

Técnica	Descrição	Limitações	Exemplos de aplicação
Diferenças-em-diferenças	Técnica que compara as mudanças nos resultados ao longo do tempo entre uma população que está inscrita em um programa (i.e., grupo de tratamento) e uma que não está (i.e., grupo de controle). Combina duas estimativas do contrafactual: compara antes e depois da intervenção e compara os grupos submetidos à regulação e os não submetidos para produzir uma estimativa melhor do contrafactual.	Técnica robusta para atribuir causalidade quando não é possível a randomização ex-ante. Obter as duas diferenças permite melhor estimativa sobre o cenário contrafactual. É necessário ter claro o momento da intervenção e dados tendenciais antes e depois. Obter um adequado grupo de controle pode ser difícil (é possível combinar matching com dif-in-dif para isso).	Morgenstern (2017)
Regressão descontínua	Técnica de avaliação de impacto que estima o efeito de uma intervenção sobre um indicador de resultados.  Avalia os efeitos da intervenção comparando os grupos logo acima e logo abaixo do ponto de corte.	Necessidade de um índice de elegibilidade contínuo com um limite claramente definido (pontuação de corte).  Pode atribuir causalidade quando as observações de qualquer lado do limiar forem plausivelmente aleatórias. Necessita de observações substanciais e análise de sensibilidade da largura de banda em torno do limite.	Tang, Liu e Yi (2016); Kahn e Mansur (2010).
Matching	Técnica utilizada para criar um grupo de comparação que corresponda ao grupo de intervenção em todos os fatores relevantes conhecidos (i.e., que afetam tanto a participação como os resultados).	Necessidade de grande quantidade de dados sobre grupo de tratamento e de controle. Assume que não há variáveis não observáveis que afetam tanto o grupo de tratamento como o de controle.	Castro (2010)
Análise Custo-Benefício ex-post	Método de avaliação que quantifica em termos monetários o valor de todas as consequências de uma intervenção para todos os grupos da sociedade.	Para conduzir uma ACB ex-post é necessário que os impactos já tenham sido observados. Mensuração dos benefícios tende a ser mais acurada quanto maior for o tempo decorrido. Para avaliar a adicionalidade da intervenção, a ACB ex-post precisa ser comparada com o cenário sem a  intervenção. Comparação com a ACB ex-ante oferece lições importantes para futuras ACB ex-ante.	Boardman, Mallery e Vining (1994); Viscusi (1985); Thompson et al (2002).
Análise de Custo	Técnica que quantifica em termos monetários os custos diretos impostos por uma regulação em diferentes grupos da sociedade.	Em geral, custos são mais simples de avaliar do que benefícios. Avaliações regulatórias precisam levar em consideração benefícios: os benefícios esperados são o motivo pelo qual qualquer regulação é editada.	Kopits et al (2014); Morgan e Simon (2014); Krutilla et al (2015); Harrington, Morgenstern, e Nelson (2000).
Entrevistas	Técnica qualitativa que permite obter informações sobre uma intervenção ou fenômeno a partir da experiência e percepção dos indivíduos envolvidos. Utilizada para coletar informações detalhadas sobre uma intervenção e entender melhor evidências quantitativas coletadas por meio do monitoramento (i.e., o porquê algo está acontecendo).	É mais intensiva em recursos. Demanda grande esforço de agendamento, preparação, transcrição e análise dos dados. Requer habilidade do entrevistador para captar informações relevantes e confrontá-las com outras fontes de dados para maior robustez, além de identificar adequadamente a quantidade de entrevistas necessárias (i.e., ponto de saturação)
Estudos de Caso	Metodologia de pesquisa qualitativa que permite explorar um fenômeno ? inclusive intervenção ?dentro de um determinado contexto por meio de diferentes fontes de dados.	A investigação por meio de lentes variadas permite revelar diferentes aspectos de um mesmo fenômeno.    Escolher adequadamente entre os diferentes tipos de estudo de caso (e.g., único vs mútiplo; intrínseco vs instrumental) e utilizar os critérios de seleção correspondentes exige grande experiência com pesquisa.	Rouvière e Caswell (2012)
Process Tracing	Ferramenta analítica que permite traçar inferências descritivas e causais a partir de partes de evidências, frequentemente entendidas como parte de uma sequência temporal de eventos ou fenômenos.	Deve seguir abordagem rigorosa para evitar erros inferenciais. Explicações alternativas precisam ser cuidadosamente consideradas; suporte para um mecanismo causal não elimina outros.	Mukherjee e Jensen (2020).
Grupos Focais	Técnica de entrevista em grupo que capitaliza a comunicação entre os participantes da pesquisa para gerar dados.	Não deve ser utilizado como uma maneira rápida e conveniente de coletar dados de diferentes sujeitos simultaneamente: a interação do grupo é parte do método e deve ser utilizada na interpretação dos resultados. Moderador precisa ter experiência para obter melhores informações.	Anvisa (2021)

Fonte: Adaptado de Reino Unido (2020), Gertler et al (2016), Anvisa (2020).

 
BOX 11

Box 11. Análise custo-benefício na ARR?   Um dos métodos mais populares na AIR é a análise custo-benefício. Assim, uma pergunta válida é: a ACB também pode ser utilizada na ARR? Se sim, como?   Em primeiro lugar, é importante notar que benefícios e efetividade se referem, em geral, às mesmas variáveis. Se uma intervenção regulatória tem como objetivo aumentar a segurança de determinado produto ou processo, a redução de incidentes é um dos benefícios da intervenção. Se o objetivo for eliminar barreiras desnecessárias à entrada de competidores no mercado, um dos benefícios esperados é uma maior competição naquele mercado.   Dessa forma, uma ARR pode comparar os benefícios (e também custos) observados após a intervenção com as estimativas feitas durante a AIR. Comparar a análise custo-benefício realizada antes da intervenção, na AIR, com aquela realizada após a intervenção, na ARR, possibilita avaliar a utilidade da ACB como uma ferramenta de tomada de decisão.   Enquanto a ACB da AIR permite decidir se a intervenção deve ser adotada ou não, a ACB da ARR pode fornecer informações tanto sobre a intervenção como sobre outras intervenções similares, dependendo da representatividade do caso e possibilidade de generalização dos seus resultados. O desafio é que a avaliação ex-post deve ser realizada após os impactos esperados ocorrerem, o que pode levar muito tempo, especialmente no que diz respeito aos benefícios da intervenção (Boardman et al, 1994).

É importante observar que as técnicas listadas no Quadro 10 não são mutuamente excludentes. A análise de custo, ou a análise custo-benefício, podem ser comparadas com análises similares conduzidas na AIR, promovendo ganhos de aprendizagem para futuras avaliações ex-ante. No entanto, para que uma ACB faça inferência à adicionalidade promovida pela intervenção, é necessário que seja combinada a outras técnicas, como diferenças-em-diferenças. Assim, a ARR pode fazer inferências aos benefícios trazidos pela intervenção, uma vez que está comparando cenários com e sem a intervenção.

Da mesma forma, entrevistas podem ser utilizadas como parte de estudos de caso, process tracing ou de forma isolada. Ou seja, podem ser utilizadas como método de coleta, ou como método de coleta e análise. É importante notar que análises que utilizam métodos qualitativos têm critérios de validades distintos daquelas que utilizam métodos quantitativos. Credibilidade, transferibilidade, dependabilidade e confirmabilidade são adaptações aos tradicionais critérios de validade interna, externa, confiabilidade e objetividade utilizados em análises quantitativas (Devers, 1999). É a forma como a qual as análises serão conduzidas que permitirá dizer em que medida os resultados podem ser extrapolados, bem como as limitações de cada análise.

BOX 12

Box 12. E os experimentos? Onde ficam na ARR?   Métodos experimentais, ou experimentos, são considerados como o "padrão-ouro" de avaliações atribucionais. Isso ocorre porque a escolha sobre as unidades participantes (i.e., grupo de tratamento) e as não participantes (i.e., grupo de controle) é feita de forma totalmente aleatória antes da intervenção. Com um número suficientemente grande de unidades, o processo de atribuição aleatória garante equivalência entre as características observadas e não observadas nos dois grupos, eliminando vieses de seleção. Com isso, tem-se um robusto desenho do contrafactual, ou seja, do cenário que teria sido observado caso não houvesse a regulação.   Embora seja crescente a popularidade de métodos experimentais no campo da Administração Pública, seu desenho é feito de forma prospectiva e, por isso, seu uso na ARR - superadas as limitações quanto à decisão acerca da exclusão de determinados indivíduos ou grupos da intervenção - depende de um planejamento feito antes da intervenção regulatória.

4.6. Discussão dos Resultados e Recomendações

Aqui, é importante dedicar maior atenção à forma de transmitir o conhecimento gerado pela avaliação, e o uso de uma linguagem simples e direta é crucial para que isso seja possível. Como já mencionado, as recomendações podem incluir:

• Manutenção da regulação, sem ajustes;

• Revisão com pequenos ajustes;

• Sugestões de monitoramento e/ou avaliação programada;

• Revisão com ajustes significativos; e

• Eliminação da regulação analisada.

Quando a recomendação for de ajustes significativos ou de eliminação da regulação analisada, pode-se debater no relatório de ARR sobre a necessidade de condução de uma AIR para a alteração ou revogação do ato normativo, observadas as hipóteses de dispensa de AIR previstas no Decreto nº 10.411/20.  Nesse caso, como o ato normativo já foi objeto de ARR, a execução da AIR tenderá a ser mais simples, pois o problema já terá sido extensivamente avaliado na ARR, e boa parte das evidências e referências com relação ao tema também terão sido avaliadas.

Ademais, um dos principais benefícios da ARR são os aprendizados que este tipo de avaliação proporciona. Órgãos e entidades reguladoras devem adotar uma abordagem estratégica, buscando aprender sobre respostas a questionamentos regulatórios transversais, ou seja, que possam ser utilizados em diferentes áreas. Algumas das questões que uma ARR bem conduzida pode ajudar a esclarecer são:

• Sob que condições diferentes regulações geram maior (ou menor) conformidade?

• Que tipos de regras promovem ou permitem inovações importantes por parte da indústria?

• Há tipos de regras (ou regras sob certas condições) mais suscetíveis ao não cumprimento, ou baixo cumprimento?

Obter respostas a grandes questões como essas pode gerar grandes benefícios - não apenas com o aprimoramento das regulações estudadas, mas também com o entendimento e aprimoramento da ação regulatória de maneira mais geral. Por esse motivo, recomenda-se que a conclusão da ARR inclua uma seção com os principais aprendizados obtidos no processo avaliativo. 

Para evitar repetições, faz-se remissão ao capítulo 5 do presente guia, que trata do uso e disseminação dos resultados, cuja leitura e uso também é adequada para a elaboração deste item do relatório.

Referências Utilizadas Anvisa (2020). Agência Nacional de Vigilância Sanitária. Monitoramento e Avaliaçãode Resultado Regulatório (M&ARR) Diretrizes para a implementação de M&ARR na Anvisa. 2020. Disponível em: https://www.gov.br/anvisa/pt-br/assuntos/regulamentacao/monitoramento-e-avaliacao-de-resultado-regulatorio/diretrizes-para-implementacao-de-m-arr-na-anvisa.pdf. ______(2021). Avaliação de Resultado Regulatório (ARR) da RDC 195/2017. Gerência Geral de Registro e Fiscalização de Produtos Fumígenos Derivados ou Não do Tabaco. Brasília, 6 de abril de 2021. Boardman, A.E.; Mallery, W.L.; Vining, A.R. (1994) Learning from ex ante/ex post cost-benefit comparisons: the coquihalla highway example, Socio-Economic Planning Sciences, Volume 28, Issue 2, Pages 69-84,ISSN 0038-0121, https://doi.org/10.1016/0038-0121(94)90007-8. Casa Civil da Presidência da República (2018a). Guia Orientativo para Elaboração de Análise de Impacto Regulatório (AIR). Brasília, Subchefia de Análise e Acompanhamento de Políticas Governamentais, Casa Civil, 2018a. Casa Civil da Presidência da República (2018b). Avaliação de políticas púiblicas : guia prático de análise ex post, Volume 2. Brasi´lia: Casa Civil da Presidência da República. Castro, A.L. (2010). Uma Análise de Impactos do Simples Nacional no DF. Dissertação de Mestrado. Instituto de Ciências Humanas, Departamento de Economia, Universidade de Brasília. Collier, D. (2011) Understanding Process Tracing. PS: Political Science & Politics, v. 44, n. 4, p. 823?830. Coglianese, C. (2012). Measuring Regulatory Performance: evaluating the impact of regulation and regulatory policy. Expert Paper n. 1. Si´tio eletro^nico da OCDE. 2012. Disponi´vel em: < http://www.OCDE.org/gov/regulatory- policy/1_coglianese%20web.pdf>. ______ (s.d.). It?s Time to Think Strategically About Retrospective Benefit-Cost Analysis. Opinion. The Regulatory Review: A Publication of the Penn Program on Regulation. Disponível em: https://www.theregreview.org/2018/04/30/coglianese-think-strategically-retrospective-benefit-cost-analysis/ . Acesso em: 08/2021. Devers, K.J. (1999). How will we know ?good? qualitative research when we see it? Beginning the dialogue in health services research. Health Services Research, 34 (5), 1153-1188. Gertler, Paul J.; Martinez, Sebastian; Premand, Patrick; Rawlings, Laura B.; Vermeersch, Christel M. J.. 2016. Impact Evaluation in Practice, Second Edition. Washington, DC: Inter-American Development Bank and World Bank, https://openknowledge.worldbank.org/handle/10986/25030 . Acesso em: 08/2021. Harrington, W., Morgenstern, R.D. and Nelson, P. (2000). On the accuracy of regulatory cost estimates. J. Pol. Anal. Manage., 19: 297-322. https://doi.org/10.1002/(SICI)1520-6688(200021)19:2<297::AID-PAM7>3.0.CO;2-X Insper Metrics (2020). Guia de Avaliac¸a~o de Impacto Socioambiental para Utilizac¸a~o em Projetos e Investimentos de Impacto. São Paulo, 4ª edição. Disponível em: https://www.insper.edu.br/wp-content/uploads/2020/05/Guia_Metricis_Portugues_4ed.pdf . Acesso em: Maio/2021. Kahn, Matthew E; Mansur, Erin T (2010).  How Do Energy Prices, and Labor and Environmental Regulations Affect Local Manufacturing Employment Dynamics? A Regression Discontinuity Approach. National Bureau of Economic Research Working Paper Series No. 16538, 10.3386/w16538. http://www.nber.org/papers/w16538 King, Elizabeth M., and Jere R. Behrman. 2009. ?Timing and Duration of Exposure in Evaluations of Social Programs.? World Bank Research Observer, Vol. 24, No. 1 (Feb., 2009), pp. 55-82 Kitzinger, Jenny (1995). Qualitative Research: Introducing focus groups. BMJ 1995;311:299. Mardones, C.; Cornejo, N. (2020). Ex-post evaluation of a program to reduce critical episodes due to air pollution in southern Chile. Environmental Impact Assessment Review, v. 80, p. 106334, 2020. Mukherjee, M.; Jensen,O (2020). Making water reuse safe: A comparative analysis of the development of regulation and technology uptake in the US and Australia, Safety Science, Volume 121, Pages 5-14, https://doi.org/10.1016/j.ssci.2019.08.039. Morgenstern, Richard (2017). Retrospective Analysis of U.S. Federal Environmental Regulation. Journal of Benefit-Cost Analysis, 9(2), 285-304. doi:10.1017/bca.2017.17 OCDE (2015) Organização para Cooperação e Desenvolvimento Econômico. Regulatory Policy in Perspective: A Readers Companion to the OECD Regulatory Policy Outlook. Paris: OCDE Publishing. Disponível em: . Acesso em: 04 abr. 2021. Rashid, Y.; Rashid, A.;  Warraich, M.A.; Sabir, S.S.; Waseem, A. (2019). Case Study Method: A Step-by-Step Guide for Business Researchers. International Journal of Qualitative Methods, Volume 18. https://doi.org/10.1177/1609406919862424 Rouvière, E.; Caswell, J.  (2012). From punishment to prevention: A French case study of the introduction of co-regulation in enforcing food safety, Food Policy, Volume 37, Issue 3, Pages 246-254, ISSN 0306-9192, https://doi.org/10.1016/j.foodpol.2012.02.009. Silverman D (2000). Doing qualitative research. London: Sage Publications. Stake, Robert E (2010). Qualitative Research: Studying How Things Work. The Guilford Press, New York. Tang, X.; Liu, Z.; Yi, H. (2016) Mandatory Targets and Environmental Performance: An Analysis Based on Regression Discontinuity Design. Sustainability 8, 931. https://doi.org/10.3390/su8090931 Thompson, Kimberly M., Maria Segui-Gomez, and John D. Graham (2002) Validating Benefit and Cost  Estimates: The Case of Airbag Regulation. Risk Analysis 22(4): 803-811. Treasury Board of Canada Secretariat (2009). Handbook for Regulatory Proposals: Performance Measure and Evaluation Plan. Government of Canada, 2009. Disponível em: https://www.canada.ca/en/government/system/laws/developing-improving-federal-regulations/requirements-developing-managing-reviewing-regulations/guidelines-tools/handbook-regulatory-proposals-performance-measurement-evaluation-plan.html. Acesso em Maio/2021. Viscusi, W. Kip. (1985). Cotton Dust Regulation: An OSHA Success Story? Journal of Policy Analysis and Management 4(3): 325-343.

5. Integrando a ARR no Ciclo Regulatório

A ARR não deve ser percebida como função autônoma, mas como parte integrada da organização cultural e da estrutura operacional dos reguladores. A qualidade da regulação e a efetividade das ferramentas de avaliação depende da interação entre diferentes mecanismos mutuamente dependentes, que devem desempenhar suas respectivas funções com sincronia.

Apesar de ser análise retrospectiva, os resultados da ARR possuem funções prospectivas, dando início a outros processos regulatórios e inaugurando novas fases do ciclo. Em complemento à qualidade da ARR em si, é necessário assegurar que o instrumento cumpra sua função no ciclo regulatório, propiciando governança das regulações baseada em seus resultados concretos.

A integração da ARR no ciclo regulatório pressupõe que:

• a ARR seja incorporada na rotina das entidades reguladoras e de seus agentes;

• os resultados da análise sejam utilizados e disseminados adequadamente;

• os instrumentos de análise prospectiva (AIR) interajam com a ARR.

5.1. Internalizando a ARR na Rotina Regulatória

A internalização de nova ferramenta à cultura dos reguladores envolve obstáculos: seus principais usuários, os reguladores, podem não perceber o instrumento como útil e necessário. A preocupação inicial com a internalização da ARR na cultura institucional provê maiores incentivos para a implementação adequada desses instrumentos, aumentando a autossuficiência da instituição e reduzindo a necessidade de supervisão e a incidência de mecanismos de accountabiliy.

Para que a cultura dos órgãos reguladores seja receptiva à ARR, recomenda-se ênfase na necessidade de argumentação baseada nos resultados das análises pelos diretores e pelas chefias imediatas. Espera-se que a ARR passe a compor a ideia de "como se faz as coisas" no órgão regulador, e que seus resultados passem a pautar as atividades do órgão.

A internalização da ARR também depende de variáveis institucionais que reforcem o papel de seus resultados no processo regulatório. As seguintes medidas são recomendadas para criar ambientes favoráveis à avaliação retrospectiva:

a) Definir as atribuições da ARR a áreas específicas dentro do órgão ou entidade: 

A implementação da ARR pressupõe novas atribuições aos órgãos reguladores. O processo de avaliação envolve projetos complexos, exigindo planejamento prévio e monitoramento constante por parte dos responsáveis. A condução da ARR e de suas funções acessórias deve ser atribuída a agentes identificáveis, com expertise, sem conflitos de interesse e capacitados para assegurar a fluidez da avaliação.

É preciso estipular o(s) responsável(is) por elas, sobretudo pelas seguintes atribuições:

• gerência da execução de análises específicas;

• produção e divulgação dos relatórios;

• governança mais abrangente das análises, como organização da pauta de avaliação do órgão ou entidade, identificação de ARRs pendentes, etc.

A definição de atribuições claras incentiva as áreas e servidores responsáveis, facilitando a introdução da ferramenta na rotina dos reguladores e, com isso, a sua institucionalização.

b) Desenvolver mecanismos de micro de gestão das ARRs:

A gestão micro consiste na supervisão individual das ARRs em curso, isto é, a verificação de que o processo de análise está seguindo o trajeto recomendado e que seus resultados são adequados para descrever o impacto da regulação durante sua vigência.

Conforme recomendação da OCDE, é desejável que a supervisão das análises em curso envolva também servidores e áreas responsáveis pela AIRe pelo desenvolvimento dos critérios de avaliação. Os objetivos das regulações são fixados tipicamente no momento de sua edição, quando se analisa seus efeitos prospectivos. A análise retrospectiva pode ser beneficiada por uma coordenação que abranja os debates iniciais, valendo-se das informações e das finalidades levantadas à época da projeção dos resultados.

A coordenação pode, ainda, ser reforçada por meio da participação de terceiros. A alternativa aumentaria a legitimidade da análise, propiciando mecanismos para o aprimoramento dos resultados. A autoridade britânica identifica três estratégias de reforço ao monitoramento das revisões:

• composição híbrida dos quadros de avaliação, buscando aproximar formuladores de políticas regulatórias, tomadores de decisão e os resultados da análise;

• participação de grupo de monitoramento composto pelas partes afetadas/mercado regulado ao longo da realização da ARR para supervisionar o cumprimento dos objetivos estabelecidos;

• revisão do relatório ou do desenho da avaliação por experts não envolvidos na intervenção estatal.

c) Desenvolver mecanismos macro de gestão das ARRs:

A gestão macro da ARR inclui o planejamento interno do órgão ou entidade sobre cada etapa da avaliação baseado na agenda de cada regulação (v. item planejamento) e na identificação de ARRs pendentes. Deve-se evitar que as revisões sejam pautadas por critérios ad hoc, ordenando os processos de acordo com critérios pré-determinados de acordo com as necessidades das diferentes áreas.

A gestão macro inclui, ainda, a disseminação dos resultados ao público e aos interessados e a coordenação com os responsáveis pelas políticas setoriais, que devem incorporar os resultados das análises em seu desenho normativo (v. uso e disseminação dos resultados abaixo). A OCDE recomenda, dentre tais mecanismos:

• a criação de mecanismos de supervisão e de accountability efetivos;

• a consolidação de arranjos institucionais que compreendam tanto as revisões (ARRs) quanto as análises prospectivas (AIRs) e

• planejamento anual de revisões, isto é, a determinação prévia das análises a serem revisadas naquele ano (v. abaixo para maiores detalhes).

d) Disponibilizar pessoal e recursos para suprir a demanda de avaliações

Caso os reguladores não disponham de recursos e de pessoal para a realização das avaliações, elas não serão institucionalizadas. Assim como é necessário designar responsáveis pela gestão das ARRs, é necessário também garantir que eles disponham dos recursos humanos e logísticos para sua implementação. A OCDE recomenda, inclusive, que as áreas responsáveis disponham de previsões orçamentárias explícitas para as revisões.

De toda forma, as entidades reguladoras devem sopesar limites orçamentários e de pessoal com as prioridades do setor, ordenando as avaliações de acordo com a relevância dos resultados e com a agenda de revisão das regulações vigentes. Como regra, deve-se priorizar a avaliação de regulações:

• com aplicação abrangente na economia e na comunidade;

• com potenciais impactos no setor ou na rotina do mercado regulado;

• com evidências prima facie de que são problemáticas.

A introdução da ARR na cultura dos reguladores pode ser estimulada pela assimilação da ferramenta na cultura organizacional e pela sua institucionalização nas práticas dos órgãos ou entidades. As medidas acima se propõem a garantir que as agências estejam organizacionalmente preparadas para incorporar a ARR.

5.2. Uso e disseminação de resultados

Como reitera a autoridade britânica, o valor das avaliações é alcançado por seu uso e pela influência de seus resultados na tomada de decisão dos reguladores e de outros agentes relevantes para o desenho de políticas públicas.

Por isso, recomenda-se a elaboração de plano de uso e disseminação de resultados explícito desde a fase de planejamento da ARR (v. item planejamento), de modo que se maximize o impacto dos resultados obtidos perante as audiências relevantes.

A elaboração do plano de disseminação deve influenciar o próprio curso da ARR. Isso significa que a divulgação não se resume ao momento posterior à análise, mas os objetivos relacionados à disseminação dos dados também ajudam a definir o próprio formato que a ARR seguirá.  A autoridade britânica identifica usos diretos e indiretos dos resultados avaliações:

• Uso direto: uso pelos reguladores das conclusões para reiterar ou para alterar a intervenção estatal ou uso por terceiros avaliando a performance estatal;

• Uso indireto: uso dos resultados e de outras informações colhidas para endereçar outras questões correlacionadas, como outras políticas em áreas similares ou pesquisas sobre gastos públicos.

A estratégia de divulgação deverá viabilizar a publicização voltada tanto para os usuários diretos, provendo aos tomadores de decisão as conclusões de política pertinentes, quanto para os usuários indiretos, levando os resultados às partes afetadas e ao público geral.

A divulgação da análise e resultados obtidos para as partes interessadas é peça relevante da internalização da ARR. Essas informações não contemplam apenas a conclusão da ARR a respeito da regulação em si, mas englobam todas as informações colhidas ao longo do processo de análise, que deverão ser selecionadas e disseminadas de acordo com as finalidades da análise.

Uma forma de desenvolver os planos de divulgação é por meio de respostas às seguintes questões orientadoras:

a)  A quem interessa a ARR?

É necessário mapear os principais usuários dos resultados e definir que tipo de uso eles poderão fazer com a análise. A forma de divulgação das conclusões deve considerar o perfil e as necessidades dos destinatários, incluindo decisores e partes afetadas pela análise.

b)  Quais informações importam para os envolvidos?

O plano de disseminação de resultados deve considerar formas de divulgação que destaquem com clareza as informações mais importantes para as respectivas audiências: - As informações de interesse de reguladores deverão ser divulgadas em formato adequado para subsidiar a tomada de decisão regulatória;

- As informações de interesse do público geral deverão ser divulgadas em formato acessível a destinatários com diferentes níveis de expertise técnica. Aqui, deve-se destacar as implicações substantivas da ARR, demonstrando de forma clara como os resultados impactam no dia-a-dia dos consumidores e/ou usuários do produto ou serviço.

- As informações de interesse das partes afetadas deverão ser divulgadas para esses atores em formato e com linguagem técnica compatíveis com o setor regulado.

c)  Quando divulgar os resultados parciais ou finais?

É possível que a análise propicie diferentes momentos de coleta de dados e diferentes conclusões ao longo da implementação de ARRs. O plano dá oportunidade para estruturar o uso dos dados colhidos de modo que sua divulgação seja otimizada ao longo ou ao final da análise, afetando positivamente o resultado final. A disseminação em tempo real pode aumentar a responsividade da análise, reduzindo as chances de análises inadequadas; as conclusões parciais podem ser revisadas por outros agentes do ciclo regulatório, aprimorando a conclusão final.

d)  Qual é o propósito dos dados coletados?

A ARR não é apenas um veredito em relação à regulação analisada. As informações colhidas durante o processo de análise são instrumentais para outras finalidades igualmente importantes. Além de averiguar a efetividade da regulação, a análise dos demais impactos observados sobre o mercado e a sociedade possibilita que a ARR adquira relevância setorial ou em avaliações futuras. O planejamento deverá considerar as finalidades de cada tipo de dado analisado e optar por formas adequadas para catalogá-los e disseminá-los, evitando que informações valiosas sejam inutilizadas.

Além do planejamento de análises particulares, é necessário consolidar canais para facilitar a obtenção de informações pelas partes interessadas. A disseminação dos resultados das análises depende de estruturas organizacionais aptas a implementar o planejamento. Por melhor que seja o plano de disseminação, a ausência de veículos institucionais estabelecidos entre os reguladores e os usuários dos dados poderá dificultar o sucesso da ferramenta.

As seguintes medidas de governança podem aprimorar o uso e a disseminação de resultados da ARR:

a) Criação de repositórios com as avaliações já realizadas pelos órgãos reguladores

A acessibilidade virtual dos documentos que instruem a ARR é peça fundamental para a internalização da ferramenta no ciclo. A consolidação das análises já realizadas pelo regulador e a disponibilização dos documentos relevantes de cada análise - sobretudo o relatório da ARR - nas respectivas páginas eletrônicas são iniciativas importantes para garantir a disseminação e a efetividade dos respectivos resultados.

Aqui, cabe destacar que o Decreto nº 10.411 determina, no § 5º do art.13., que as ARRs elaboradas devem ser divulgadas no sítio eletrônico do órgão ou da entidade. Idealmente, as AIRs e ARRs devem estar em um mesmo repositório, com busca simplificada, facilitando o seu acesso pelo público em geral.

b)Publicação da agenda de ARR com avaliações pendentes

Nos moldes do que recomenda a OCDE, a divulgação periódica da agenda de ARR pode garantir maior engajamento dos interessados e maior eficiência na atividade. Embora o planejamento seja feito para um período mais longo, a divulgação das ARRs pode ser anual, resumindo aos interessados o calendário de revisões planejado pela agência para aquele ano.

c) Consolidar canais informacionais com os responsáveis por políticas públicas do setor

A ARR não serve apenas para reavaliação de regulações pontuais. Como ferramenta de melhoria regulatória, uma de suas finalidades é aprimorar as políticas setoriais, incorporando uma dinâmica normativa baseada em resultados. A disseminação dos resultados deve informar a política do setor de forma abrangente (o que inclui ministérios e legisladores) ? e não apenas a decisão sobre o que fazer com aquela regulação específica. É necessário levar os dados relevantes obtidos nas avaliações diretamente aos agentes responsáveis pelas decisões do setor, para que sejam aproveitados no desenho da política setorial.

5.3.Da AIR à ARR

Há uma sequência natural entre AIR e ARR: na análise prospectiva, estabelecem-se os objetivos regulatórios, que servirão para informar os critérios de verificação dos resultados no futuro. A ARR corresponde à checagem sobre se os resultados projetados no momento do desenho da intervenção ocorreram na prática, funcionando, então, como um ?tira teima? das projeções da AIR (v. item ciclo regulatório).

No Reino Unido, por exemplo, ambas ferramentas são tratadas conjuntamente, como parte de um mesmo processo de avaliação, compreendendo os processos anteriores à edição do ato normativo até as avaliações de seus resultados (REINO UNIDO, 2011).

A OCDE, por sua vez, apesar de separar as duas atividades (avaliações ex ante e avaliações ex post),reitera a correlação entre elas, destacando que idealmente as avaliações se prestam a determinar a extensão com que os benefícios previstos pela AIR foram alcançados e sugerindo a atuação de órgãos de supervisão que englobem ambas atividades.

A integração da ARR no ciclo regulatório depende do alinhamento com as ferramentas de análise ex ante, são elas que fixam os critérios e os objetivos da avaliação regulatória. Os agentes responsáveis pela avaliação dos resultados devem se pautar, sobretudo, pelos objetivos fixados no período de análise prospectiva, guiando a ARR com base naquilo que efetivamente se pretendia com a regulação no momento de sua edição.

Essas circunstâncias demandam aproximação entre os setores responsáveis por ambas atividades: a proximidade abre canais para redução de assimetria informacional entre quem projeta e quem avalia os resultados. Por isso, recomenda-se a consolidação de mecanismos e de práticas institucionais que conectem as avaliações prospectivas às retrospectivas.

A supervisão integrada proporciona continuidade entre a definição dos objetivos e a verificação de seu cumprimento, viabilizando responsividade entre o setor de avaliação e o setor de AIR. Pelo que sugere a experiência da Comissão Europeia, a simples realização de reuniões informais entre os grupos que fazem a AIR e os que fazem a ARR pode levar a análises melhores, quando realizadas em momentos adequados da avaliação.

A AIR e a ARR são ferramentas de aprimoramento da qualidade regulatória complementares, devendo ser internalizadas no ciclo regulatório. A ARR deve ser internalizada no ciclo como ferramenta de aprimoramento da qualidade regulatória, assim como a AIR. A AIR condiciona os critérios de análise, ao estabelecer os objetivos regulatórios esperados, ao passo em que a ARR detecta previsões equivocadas sobre os resultados e impactos de regulações vigentes. As ferramentas devem se sustentar mutuamente, criando um sistema autossuficiente de avaliação e de governança regulatória.

Referências Utilizadas Comissão Europeia (2018). Regulatory Scrutiny Board, Annual Report 2017, https://ec.europa.eu/info/sites/info/files/rsb-report-2017_en.pdf. Acesso em: 08/2021. OECD (2020).  Reviewing the Stock of Regulation, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris. Disponível em: https://www.oecd.org/gov/regulatory-policy/reviewing-the-stock-of-regulation-1a8f33bc-en.htm .Acesso em: 08/2021. Reino Unido (2011). HM Treasury, The Magenta Book: Guidance for Evaluation. Disponível em: https://www.gov.uk/government/publications/the-magenta-book.Acesso em: 08/2021.

6.      Glossário

Agenda de ARR: Instrumento de planejamento da ARR que contém a relação das regulações que serão objeto de ARR, a justificativa para sua escolha e o cronograma de elaboração das ARRs.

Agenda Regulatória: Instrumento de planejamento da atividade normativa que conterá o conjunto dos temas prioritários a serem regulados pela entidade ou órgão durante sua vigência.

Avaliação de Impacto: Atividade que busca responder questões de causa-e-efeito acerca de uma determinada intervenção e os resultados de interesse.

Avaliação de Desenho: Atividade que busca revisitar o desenho estabelecido no momento da formulação de uma intervenção regulatória, para identificar a existência de erros ou falhas no desenho e propor mudanças a fim de superá-los.

Avaliação de Diagnóstico do Problema: Atividade que busca avaliar se a definição do problema que ensejou a criação da intervenção estava correta e verificar se tal cenário se mantém atual.

Análise de Impacto Regulatório (AIR): Procedimento, a partir da definição de problema regulatório, de avaliação prévia à edição dos atos normativos de interesse geral e inferiores a Decreto, que conterá informações e dados sobre os seus prováveis efeitos, para verificar a razoabilidade do impacto e subsidiar a tomada de decisão. 

Avaliação de Implementação: Atividade que busca verificar a correspondência do executado com o planejado, bem como compreender o que está e o que não está dando certo.

Avaliação de Governança: Atividade que busca verificar se a liderança, a estratégia e o controle da intervenção permitem e contribuem para o alcance dos objetivos esperados.

Avaliação de Processo: Atividade que busca avaliar como a ação foi implementada, com foco nos meios e processos empregados e como eles contribuíram para o sucesso ou fracasso na obtenção dos objetivos esperados.

Avaliação de Resultado Regulatório (ARR): Procedimento de verificação dos efeitos decorrentes da edição de ato normativo, considerados o alcance dos objetivos originalmente pretendidos e os demais impactos observados sobre o mercado e a sociedade, em decorrência de sua implementação.

Avaliação Econômica: Atividade que busca avaliar se os benefícios gerados pela ação implementada superaram seus custos.

Avaliação Executiva: Atividade que tem por objetivo estudar a intervenção regulatória e apresentar conclusões sobre seu desempenho geral, com possibilidade, ainda, de indicar pontos de aprimoramento de rápida identificação.

Avaliação Retrospectiva: Termo amplo que compreende os diferentes procedimentos e iniciativas de avaliação de uma regulação vigente, como avaliações ex-post de custos administrativos, iniciativas de revisão formal e consolidação temática (e.g., revisaço), dentre outras.

Ciclo Regulatório:  Etapas que podem ser descritas sumariamente em: Avaliação de Impacto Regulatório; elaboração de minuta de norma, consulta e/ou audiência pública, decisão da autoridade decisória, implementação, fiscalização, monitoramento, avaliação e revisão.

Custos administrativos: Custos (financeiros, de tempo, aprendizagem, adaptação ou realização) incorridos para o cumprimento de obrigações criadas pelo Estado relacionadas à geração, guarda e envio de informações, obtenção de alvarás, licenças, preenchimento de formulários, preparação para inspeções, etc.

Efetividade: Desempenho com relação ao alcance dos objetivos ou impactos pretendidos. Uma ação efetiva é aquela capaz de alcançar os objetivos ou impactos finais desejados, independentemente dos custos envolvidos ou do atingimento das metas planejadas.

Eficácia: Desempenho com relação ao alcance dos resultados. Uma ação eficaz é aquela capaz de alcançar as metas planejadas, independentemente dos custos envolvidos ou do alcance dos objetivos ou impactos finais desejados.

Eficiência: desempenho considerando a relação entre os resultados obtidos e os recursos empregados. Uma ação eficiente é aquela capaz de alcançar os resultados desejados com o menor custo possível, independentemente do alcance dos impactos desejados.

Estoque regulatório: Acervo de atos normativos publicados pela agência, órgão ou entidade.

Gestão de Estoque Regulatório: Exame periódico dos atos normativos de responsabilidade do órgão ou da entidade competente, com vistas a averiguar a pertinência de sua manutenção ou a necessidade de sua alteração ou revogação.

Indicador: É uma variável definida para descrever, classificar, ordenar, comparar, qualificar ou quantificar aspectos de um objeto (política, programa, projeto, ação etc.), de maneira sistemática. A principal finalidade de um indicador é traduzir, de forma mensurável, determinado aspecto de uma realidade dada (situação) ou construída (ação), de maneira a permitir sua observação, acompanhamento e avaliação.

Justificativa da ARR: A justificativa se refere à motivação para a condução de uma ARR, como as descritas no Decreto nº 10.411/2020 (e.g. ampla repercussão na economia ou no País; existência de problemas decorrentes da aplicação do referido ato normativo, dentre outras). Não deve ser confundida com o objetivo da ARR, que se refere ao que se pretende responder com a ARR.

Monitoramento: Atividade de acompanhamento contínuo e sistemático da implementação da intervenção regulatória com o objetivo de identificar potenciais falhas e adotar medidas corretivas.

Objetivo: O objetivo consiste em estabelecer algo que se deseja alcançar, determinando-se uma direção preferencial a se seguir com um objeto em relação a um determinado contexto.

Objetivo da ARR: Diferentemente da Justificativa da ARR, o objetivo é o que se pretende responder com a avaliação, como, por exemplo, se a intervenção regulatória foi efetiva, se ainda é relevante, se a intervenção está caminhando conforme o previsto, dentre outros.

Participação social: Todo processo que permita o recebimento de informações, críticas, sugestões e contribuições de agentes diretamente interessados e do público em geral sobre questões regulatórias em análise pelo órgão ou entidade, utilizando os diferentes meios e canais que forem considerados adequados.  

ANEXO I - QUESTÕES PARA ORIENTAR A ELABORAÇÃO DO RELATÓRIO DE ARR

·         O que foi analisado?  Explicitar a regulação, conjunto de regulações ou parte da regulação cujo resultado foi avaliado na ARR;

·         Como foi analisado?  Descrever o tipo de avaliação realizada, os dados utilizados e as perguntas que a análise pôde responder;

·         Quais os principais resultados obtidos? Apresentar os principais resultados de forma direta e clara;

·         O que fazer com os resultados? Indicar claramente as recomendações derivadas da ARR (e.g., revisão da regulação, sugestões para o monitoramento, prazo para nova avaliação ou revisão programada, revogação da regulação).

O sumário deve ser elaborado após a finalização da ARR e utilizar linguagem simples e acessível ao público em geral, evitando jargões ou linguagem muito técnica.

 

·         A regulação (dispositivos ou conjunto de regulações) faz parte da agenda de ARR do órgão ou entidade?

·         Caso a regulação não faça parte da agenda de ARR, quais fatores serviram como gatilho para a decisão de avaliá-la (e.g., repercussão sobre a economia do país, problemas identificados como consequência da sua implementação, impacto sobre grupos específicos, etc)?

·         Quais as informações/dados que evidenciam os fatores apresentados como gatilho (motivação) para a avaliação da regulação?

·         Qual é a finalidade pretendida com a ARR? Exemplos: avaliar a efetividade da regulação, identificar os custos e benefícios da regulação, investigar impactos específicos sobre o comércio internacional; avaliar se inovações posteriores alteraram os fundamentos da regulação, etc.

 

·         Qual regulação, parte de regulação ou conjunto de regulações será objeto da avaliação (identificando claramente o tipo de norma, seu número, data da publicação)?

·         A avaliação abarcará um conjunto de regulações (ARR temática)? Se sim, qual é a relação entre elas que justifica a decisão pela avaliação conjunta?

·         A avaliação abarcará todo o texto da regulação ou apenas alguns dispositivos específicos? Por quê?

 

·         Qual é o contexto ou o histórico da regulação avaliada?

·         Quais eram os objetivos que a regulação pretendia alcançar quando foi editada?

·         A regulação foi precedida de AIR?

·         Quais os objetivos e indicadores indicados no relatório de AIR ou nota técnica equivalente? 

·         Existem outros documentos que podem ser utilizados para inferir quais eram os objetivos da regulação (e.g., exposição de motivos do ato normativo, notas técnicas, documentos de consultas ou audiências públicas, a relatórios de órgãos de controle, literatura especializada)?

·         Como se esperava que a regulação funcionasse para atingir os objetivos pretendidos?

·         Existem outras regulações ? do mesmo órgão ou entidade ou de outros reguladores ? que buscam atingir os mesmos resultados? Há interação esperada entre elas?

·         Quais outros fatores podem explicar os resultados de interesse, além da regulação analisada (e.g., mudanças relevantes no cenário político ou econômico, introdução de nova regulação com impacto no comportamento dos agentes, mudanças culturais relevantes, etc) ?

 

·         Quais perguntas a ARR busca responder?

·         Quais os indicadores serão utilizados para responder as perguntas levantadas?

·         Quais as fontes de dados utilizadas na construção dos indicadores?

·         Os dados estão disponíveis para momentos antes e após a edição e/ou implementação da regulação?

·         As informações/dados disponíveis permitem responder às perguntas levantadas? Quais as principais limitações e suas implicações?

·         Tendo em vista a finalidade da ARR e as informações disponíveis, qual o tipo de técnica mais adequada para análise?

·         Da análise dos indicadores definidos, a regulação cumpriu os objetivos pretendidos quando da sua publicação, conforme identificado na AIR ou em outros documentos que fundamentaram sua elaboração?

·         Foram observados outros impactos indiretos desejáveis (antecipados ou não) da regulação?

·         Tendo em vista a finalidade da ARR definida pelo órgão ou entidade na seção 4.2, foram observados outros impactos relevantes da regulação (impactos sobre inovação, comércio internacional, micro e pequenas empresas, meio ambiente, custos de conformidade, etc)?

·         Caso a avaliação tenha como finalidade investigar a atualidade/obsolescência da regulação, houve alterações/inovações que alteraram de modo significativo os fundamentos/condições nos quais se apoiavam a regulação?

·         A partir das conclusões alcançadas na ARR, quais as principais recomendações para a autoridade decisória? (e.g., revisão da regulação, sugestões para o monitoramento, prazo para nova avaliação ou revisão programada, revogação da regulação)

·         Caso a recomendação seja de revisão da regulação avaliada, os impactos esperados da revisão demandam a condução de uma AIR para a alteração do ato normativo? Ou seja, a revisão se enquadra ou não em algum dos casos de dispensa justificada de AIR, nos termos do art. 4º do Decreto nº 10.411/2020?

[1]Entidade sem fins lucrativos vinculada à Faculdade de Direito da Universidade do Estado do Rio de Janeiro ? UERJ com afinidade acadêmica e experiência prática em temas relacionados à melhoria regulatória.

[3]As etapas serão apresentadas em maiores detalhes nos itens 4.3. a 4.6. deste Guia.

[4]Definição oferecida pela Comissão Europeia, traduzida livremente. Disponível em: https://ec.europa.eu/info/law/law-making-process/planning-and-proposing-law/better-regulation-why-and-how_en . Acesso em: Maio/2021.

[5] O ciclo regulatório é utilizado para reforçar o aspecto de integração e continuidade entre as diferentes etapas da vida de uma regulação. Embora a sequência seja importante, na prática, algumas das etapas costumam ocorrer de forma concomitante, estendendo-se por outras etapas, como pode ser o caso das consultas públicas, fiscalização e monitoramento.

[6] Íntegra da proposição e detalhes da tramitação em: https://www.camara.leg.br/proposicoesWeb/fichadetramitacao?idProposicao=2279391

[7] O Brasil deverá implementar suas obrigações com relação aos seguintes artigos dois anos a partir da data de entrada em vigor do Protocolo: (a) Artigo 6 (Agenda Regulatória); (b) Artigo 7 (Sítio Eletrônico Dedicado); (c) parágrafos 1, 2, 3, 7 e 9 do Artigo 9 (Desenvolvimento Transparente de Regulações); (d) Artigo 12 (Publicação Final); (e) Artigo 15 (Informações sobre os Processos Regulatórios e Autoridades Reguladoras); e (f) Artigo 16 (Relatório Anual).

[8] Tradução livre para public stocktakes of regulation, principle-based reviews, in-depth reviews e benchmarking, respectivamente.

[9] A Comissão Europeia, por exemplo, recomenda a realização da avaliação em um prazo de três anos. Austrália, Reino Unido e Alemanha, diferentemente, recomendam a adoção de um prazo de cinco anos contado da entrada em vigor do ato normativo.

[10]Better Evaluation é uma organização sem fins lucrativos que tem como objetivo criar e divulgar conhecimento sobre avaliação e monitoramento de atividades. Mais informações disponíveis em: https://www.betterevaluation.org/en/about-us

[11]A definição de cada avaliação está disponível no Glossário.