O que é
A Autoavaliação de Impacto Ético em Inteligência Artificial no Setor Público (AIE) ajuda órgãos da administração pública federal a identificar riscos éticos e avaliar práticas adotadas no desenvolvimento e no uso de sistemas de inteligência artificial.
A AIE é realizada em duas etapas:
Primeiro, todos os projetos passam pela Avaliação de Riscos. Depois, conforme o nível de risco identificado, os projetos seguem para a versão correspondente da Avaliação de Práticas Éticas.
Objetivo
A AIE tem caráter orientador e contribui para o desenvolvimento e o uso responsável de sistemas de IA na administração pública.
A ferramenta foi elaborada para evoluir com as contribuições dos órgãos públicos, as lições aprendidas e as mudanças regulatórias e tecnológicas.
Contexto
O uso de inteligência artificial na administração pública cresceu rapidamente.
Nesse cenário, órgãos públicos precisam de apoio para desenvolver sistemas de IA responsáveis, transparentes e centrados no cidadão.
A AIE oferece uma autoavaliação estruturada, alinhada a princípios, recomendações e referências nacionais e internacionais.
A Autoavaliação de Impacto Ético em Inteligência Artificial (AIE) ajuda órgãos da administração pública federal a identificar riscos éticos e avaliar práticas adotadas no desenvolvimento e no uso de sistemas de inteligência artificial.
Antes de responder às perguntas da Autoavaliação, leia esta página com atenção. Os conteúdos apresentados ajudarão você a responder melhor e a interpretar os resultados.
Conheça a AIE em duas páginas
Conheça os principais pontos da Autoavaliação de Impacto Ético em IA. Baixe o material para consultar e compartilhar com a equipe.
Princípios éticos que orientam a AIE
A AIE considera seis princípios éticos para apoiar a identificação de riscos e a avaliação das práticas do projeto. Clique no nome de cada princípio para conhecer aspectos que merecem atenção durante a autoavaliação. As perguntas abaixo orientam a reflexão e não substituem o questionário da AIE.
Direitos Humanos, Dignidade e Equidade
O que observar no projeto Quem pode ser afetado pelo sistema? Seu funcionamento considera diferentes necessidades e contextos, inclusive de acessibilidade? Os dados, os critérios e os resultados podem reproduzir discriminações ou ampliar desigualdades? Há medidas para identificar e corrigir esses efeitos?
Transparência, Explicabilidade e Auditabilidade
O que observar no projeto As pessoas são informadas de que estão interagindo com IA ou de que ela participa de uma decisão que as afeta? Os objetivos, as capacidades e os limites do sistema são comunicados de forma acessível? Existem explicações e registros que permitam examinar seu funcionamento e seus resultados?
Segurança, Robustez e Não Maleficência
O que observar no projeto O que pode acontecer se o sistema falhar, for manipulado ou produzir um resultado incorreto? Foram realizados testes compatíveis com seu contexto de uso? Existem controles para prevenir danos, acompanhar o desempenho e responder a incidentes, inclusive interrompendo o uso quando necessário?
Privacidade e Proteção de Dados
O que observar no projeto Quais dados pessoais são utilizados e para quais finalidades? Todos são necessários? Quem pode acessá-los, com quem são compartilhados e por quanto tempo permanecem armazenados? Existem medidas para proteger esses dados e respeitar os direitos das pessoas durante todo o ciclo de vida do sistema?
Supervisão Humana Efetiva e Responsabilização
O que observar no projeto Quem acompanha o funcionamento do sistema e responde pelas decisões sobre seu uso? As pessoas responsáveis têm conhecimento, autonomia e condições para revisar resultados, intervir ou interromper a operação? Há procedimentos para tratar erros e permitir a revisão de decisões que afetem pessoas?
Sustentabilidade Socioambiental e Bem-Estar
O que observar no projeto Quais benefícios e impactos sociais e ambientais o sistema pode produzir? Foram considerados o consumo de recursos, os efeitos sobre as condições de trabalho e as comunidades afetadas? Existem alternativas para alcançar o mesmo objetivo com menor impacto e formas de acompanhar esses efeitos ao longo do tempo?
Guias de implementação
Conheça os materiais que apoiam a aplicação prática dos princípios éticos que fundamentam a AIE.
Como descrever e documentar seu sistema de IA
Ficha de Sistema de IA
Registre e comunique os objetivos, o funcionamento e os limites do sistema.
Como dar transparência ao uso da IA
Guia de Transparência em IA
Informe quando e como a inteligência artificial é utilizada.
Como definir e documentar responsabilidades em projetos de IA
Matriz RACI
Defina os papéis e as responsabilidades ao longo do projeto.
Quem deve participar da AIE
A Autoavaliação de Impacto Ético é uma ferramenta de reflexão e análise crítica. Sempre que possível, responda aos questionários de forma colaborativa, com uma equipe multidisciplinar. A equipe pode reunir profissionais das seguintes áreas e funções:
O questionário é uma ferramenta dinâmica e iterativa, projetada para ser utilizada em diversas fases do ciclo de vida de um projeto de Inteligência Artificial. Para maximizar sua eficácia e garantir a proatividade na gestão de riscos éticos, é fundamental compreender o momento ideal e a forma de aplicação.
Momento de Aplicação
Recomenda-se que a Avaliação de Riscos seja aplicada nas fases iniciais de concepção e planejamento de qualquer projeto de IA. Identificar e avaliar os potenciais riscos éticos, legais e sociais desde o princípio permite:
Design Responsável: incorporar considerações éticas no design da solução, evitando problemas complexos e custosos de serem corrigidos em etapas posteriores.
Mitigação proativa: planejar e implementar medidas de mitigação de riscos antes que o desenvolvimento esteja avançado.
Alinhamento Estratégico: assegurar que o projeto esteja alinhado com os princípios éticos e normativos desde sua gênese.
Tomada de decisão informada: subsidiar a decisão de prosseguir ou não com o projeto, ou de ajustar seu escopo, com base em uma compreensão dos riscos.
Questionário Principal de Avaliação: (nas suas versões Simplificada, Padrão ou Completa, conforme o risco identificado na Avaliação de Riscos) deve ser preenchido e revisado ao longo do desenvolvimento e antes da implantação. Seus resultados devem informar continuamente o design, desenvolvimento, implementação e monitoramento do sistema de IA, promovendo um ciclo de melhoria contínua.
Fluxo de Aplicação no Ciclo de Vida do Projeto de IA
Orientações para casos de Risco Excessivo
Quando a Avaliação de Riscos identificar Risco Excessivo, o projeto deve ser imediatamente reavaliado de forma aprofundada. O risco excessivo caracteriza-se por situações em que o sistema de IA pode causar danos irreversíveis, violar direitos fundamentais de forma sistemática ou operar fora do marco legal vigente.
São situações características de risco excessivo: Vigilância Biométrica; Decisões tomadas por IA de forma totalmente autônomas; Manipulação comportamental, etc.
Para os casos enquadrados como risco excessivo, é necessária uma revisão do projeto quanto à sua legalidade e viabilidade ética:
Aplicação da AIE na prática
A AIE é dinâmica e iterativa. Os questionários podem ser aplicados em várias fases do ciclo de vida de um projeto de inteligência artificial. Saber quando e como aplicar os questionários ajuda você a aproveitar melhor a ferramenta e a agir de forma preventiva diante dos riscos éticos.
A aplicação nas fases iniciais ajuda você a:
- Tornar o design mais responsável
- Antecipar-se aos riscos
- Orientar estrategicamente o projeto
- Tomar decisões informadas
Como usar a AIE ao longo de todo o projeto?
Deslize para o lado para visualizar todas as etapas, se necessário.
Concepção e planejamento
Classificar o Nível de Risco ajuda a identificar o risco inicial do projeto e definir qual versão do questionário Verificação de Práticas Éticas você responderá.
Design e desenvolvimento
Responda e revise o questionário Verificação de Práticas Éticas. Use os resultados para orientar as decisões de design e desenvolvimento.
Testes e validação
Revise as partes relevantes do questionário Verificação de Práticas Éticas. Verifique se as medidas para reduzir riscos funcionam e identifique novos riscos.
Implantação e operação
Monitore o sistema continuamente. Faça avaliações periódicas para identificar novos vieses (tendências que podem favorecer ou prejudicar certos grupos) e impactos imprevistos.
Desativação
(fim de uso)
Avalie os aspectos éticos e legais do fim do ciclo de vida do sistema. Defina como tratar os dados e como comunicar a desativação às pessoas afetadas.
Orientações para casos de Risco Excessivo
A Classificação do Nível de Risco identificou risco excessivo? Faça uma reavaliação aprofundada do projeto antes de prosseguir.
O risco excessivo ocorre quando um sistema de IA pode causar danos irreversíveis, violar direitos fundamentais de forma sistemática ou funcionar fora do marco legal vigente. São exemplos de situações de risco excessivo: uso de vigilância biométrica em situações não permitidas; decisões tomadas por IA de forma totalmente autônoma; manipulação comportamental; outras situações com potencial de dano grave.
Para reavaliar o projeto, recomenda-se:
- Consultar especialistas em ética, direito, proteção de dados pessoais e tecnologia.
- Reavaliar o escopo e objetivos do projeto.
- Considerar de alternativas menos arriscadas.
- Documentar detalhadamente as razões para continuar ou descontinuar o projeto.
Como funciona a AIE
A AIE é realizada em duas etapas.
Na primeira etapa, você responde à Avaliação de Riscos, que identifica o nível de risco do projeto de IA:
Essa classificação é importante porque define qual versão do Questionário Principal será aplicada a seguir ou, no caso de risco muito elevado, se o projeto deve ser interrompido para uma reavaliação mais profunda.
O Questionário Principal de Avaliação, por sua vez, é dividido em três versões distintas:
A versão a ser preenchida pelo órgão dependerá do resultado do Questionário de Avaliação de Riscos.
Questionário de Avaliação de Riscos
Pontuação
Cada pergunta da Avaliação de Riscos contribui com uma determinada pontuação para o projeto, calculada com base nos pontos por resposta e no peso da pergunta.
Gatilhos de Risco
Além da pontuação, algumas respostas contêm gatilhos, que são alertas automáticos sobre possíveis riscos:
O sistema contabiliza o número de gatilhos de alto risco ativados e verifica se algum gatilho crítico foi acionado.
Regras de Classificação
Após o preenchimento do questionário de Avaliação de Riscos, o seu projeto de IA será classificado em um dos quatro níveis de risco. A classificação determina os próximos passos e a complexidade da análise ética necessária:
Quadro Resumo
| Condição identificada na Avaliação de Riscos | Nível de risco | Versão do questionário principal | Observações |
|---|---|---|---|
| Qualquer resposta com gatilho: "EXCESSIVO" | Risco Excessivo | Nenhuma (avaliação interrompida) | Projeto deve ser reavaliado |
| Pontuação alta ou múltiplos gatilhos ativados | Risco Alto | Versão Completa | Análise Aprofundada é necessária |
| Pontuação média ou um gatilho ativado | Risco Médio | Versão Padrão | Requer atenção moderada |
| Nenhuma das condições anteriores | Risco Baixo | Versão Simplificada | Riscos éticos mínimos identificados |
Fluxograma Visual do Questionário de Avaliação de Riscos
Questionário Principal de Avaliação
O Questionário Principal analisa em profundidade os aspectos éticos e de governança do projeto de IA, conforme o nível de risco definido na Avaliação de Riscos. Ele busca identificar boas práticas e pontos críticos que precisam ser melhorados.
Pontuação
O sistema de pontuação calcula o quanto o projeto está aderente com os princípios éticos esperados. A pontuação é calculada da seguinte forma:
Sistema de Alertas
Embora um projeto possa ter alta aderência geral, pode haver também falha específica grave. Os Gatilhos Críticos servem para identificar esses pontos de atenção máxima.
1. Resposta de Risco Severo: Quando uma opção de resposta sinalizada como crítica é selecionada.
2. Admissão de Falha Essencial: Ao escolher uma resposta que admite a ausência de um requisito básico.
3. Baixo Desempenho em Seção-Chave: Ao obter menos de 50% de aproveitamento em uma seção do questionário marcada como crítica.
Quanto maior esse contador, mais severa pode ser a classificação final.
Classificação Final
Com base na pontuação e nos gatilhos críticos, o projeto pode ser classificado em 5 níveis:
Avaliação por Seção e Resultado
O relatório mostra o desempenho em cada seção do questionário. Algumas seções são marcadas como críticas, e baixo desempenho nelas aumenta o contador de gatilhos críticos e pode afetar a classificação final. Ao final da avaliação, a ferramenta gera um relatório consolidado que inclui:
- Nome do projeto
- Órgão
- Data da avaliação
- Nível de Risco Preliminar
- Respostas Fornecidas
- Versão do questionário utilizada
- Respostas para cada pergunta, incluindo justificativas
- Classificação Final: Nível alcançado (1 a 5)
- Detalhes da Pontuação: Score total e percentual de aderência
- Principais Fatores para a Classificação: Lista de razões (baseadas em respostas negativas, gatilhos críticos e desempenho em seções críticas)
- Recomendações para Melhoria e Avanço de Nível: Sugestões baseadas nas opções subótimas escolhidas
- Sugestões para Alcançar Práticas de Excelência: Recomendações baseadas nas melhores práticas descritas nas opções de maior pontuação
- Desempenho por Seção: Detalhamento da pontuação e percentual para cada seção, apresentado em lista e em gráfico de barras
- Orientações gerais com base na classificação final
Recomendações, Orientações e Trilhas de Capacitação
As recomendações e orientações são baseadas nas respostas do questionário e visam auxiliar os órgãos a aprimorarem suas práticas em IA ética. Elas são apresentadas de forma consultiva e podem incluir sugestões de trilhas de capacitação, boas práticas e aprofundamento em temas específicos.
Trilhas de Capacitação e Recursos Adicionais
Esta seção apresenta trilhas de sugestões de materiais, frameworks e cursos organizados por nível de necessidade (básico, intermediário e avançado) em quatro esferas fundamentais para a implementação ética de sistemas de IA no setor público. As recomendações de quais trilhas utilizar aparecerão ao final do preenchimento do questionário principal.
Base Legal e Normativa
O Framework foi elaborado considerando o panorama normativo atual e em desenvolvimento no Brasil e internacionalmente, em especial as diretrizes do PL 2338/2023 (Apresentado em 03/05/2023), a Lei Geral de Proteção de Dados Pessoais (LGPD), as recomendações da UNESCO sobre Ética em IA e experiências internacionais como a Estratégia Pan-Canadense de IA e os preceitos da OCDE. As principais referências incluem:
Atualmente em discussão no Congresso Nacional, este projeto busca estabelecer os fundamentos e princípios para o desenvolvimento e uso da IA no Brasil. Embora ainda não aprovado, seus princípios e diretrizes foram considerados na elaboração deste framework, especialmente no que tange à classificação de sistemas e requisitos de transparência, explicabilidade e supervisão humana.
Estabelece regras sobre tratamento de dados pessoais, impondo diretrizes que afetam diretamente o desenvolvimento e uso de sistemas de IA que processam dados pessoais.
Instrumentos interconectados da UNESCO que estabelecem um referencial para a ética na Inteligência Artificial. As Recomendações de 2021 configuram o primeiro instrumento normativo global sobre o tema, adotado por 193 países, incluindo o Brasil, e estabelecem valores e princípios para orientar os Estados na formulação de legislações, políticas e outros instrumentos relativos à IA. O Ethical Impact Assessment, lançado em 2023 como uma ferramenta prática derivada dessas recomendações, visa auxiliar governos e desenvolvedores a avaliar riscos, benefícios e impactos éticos de sistemas de IA.
São instrumentos estratégicos e complementares que fundamentam e direcionam o desenvolvimento e a adoção da Inteligência Artificial no Brasil. A EBIA estabelece uma visão integrada e os princípios norteadores, com eixos que incluem legislação, regulação e o uso ético da IA. O PBIA, por sua vez, operacionaliza essa visão, além de estabelecer diretrizes de governança e regulação para a sua implementação prática.
Foram consideradas experiências e frameworks internacionais, como a Estratégia Pan-Canadense de IA, o Regulamento de IA da União Europeia (AI Act) e diretrizes da OCDE, bem como do IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems.