Transformação Digital e Governança Ética da IA no Setor Público: Inovação, Erro e Responsabilidade

A transformação digital no poder público tem avançado de forma expressiva com a adoção de sistemas de Inteligência Artificial (IA) e a automação de serviços. Essa tecnologia apresenta um potencial indiscutível para o aprimoramento das políticas públicas, permitindo maior eficiência na alocação de recursos e na prestação de serviços. Ao mesmo tempo, navegar na fronteira da inovação exige que os Estados adotem uma postura de cautela, buscando um equilíbrio entre o fomento à inovação, com vistas a amplificar a capacidade estatal, mas, ao mesmo tempo, fortalecendo, de forma contínua, a dignidade da pessoa humana, os direitos fundamentais, a proteção de dados e a confiança da sociedade.

Um fenômeno observado na administração pública em escala global é o descompasso natural entre o ritmo acelerado de adoção de novas tecnologias e o tempo necessário para a maturação de diretrizes éticas e regulatórias. A inovação tecnológica costuma avançar mais rapidamente do que a estruturação de medidas éticas de controle, caracterizando uma fase de transição pela qual diversos países estão passando.

Em face disso, para estabelecer balizas seguras na adoção de novas tecnologias, é importante observar diretrizes globais já amadurecidas em outros países. Em junho de 2018, a Comissão Europeia, por exemplo, formou o Grupo Independente de Peritos de Alto Nível sobre Inteligência Artificial. Este grupo foi pioneiro ao estabelecer diretrizes focadas no desenvolvimento de uma "IA de confiança", determinando que a tecnologia deve ser legal, tecnicamente robusta e eticamente alinhada ao respeito incondicional pela autonomia humana.

Paralelamente, a Organização para a Cooperação e Desenvolvimento Econômico (OCDE) consolidou princípios intergovernamentais que orientam o uso ético e responsável da IA. O documento da OCDE exige que os sistemas impulsionem o crescimento inclusivo e respeitem o estado de direito e os valores democráticos. Os princípios determinam que a IA deve ser transparente, robusta e segura ao longo de todo o seu ciclo de vida, garantindo que o cidadão possa sempre compreender as razões pelas quais uma decisão automatizada foi tomada a seu respeito.

No Brasil, a regulação desse tema ganha forma por meio do Projeto de Lei (PL) 2338/2023, atualmente em discussão no Congresso Nacional. O texto, que já foi aprovado pelo Senado e está em análise na Câmara dos Deputados, é estruturado com forte inspiração nas diretrizes da OCDE, buscando estabelecer um marco legal que confira segurança jurídica ao uso da inteligência artificial no país.

O projeto inicia definindo objetivamente o funcionamento da tecnologia. De acordo com o PL 2338/2023, um sistema de IA opera em um ciclo contínuo de três etapas: primeiro, ele recebe dados ou informações; em seguida, infere como gerar resultados operando com graus diferentes de autonomia; e, por fim, produz previsões, conteúdos, recomendações ou decisões. Essa cadeia tecnológica tem o poder de influenciar diretamente o ambiente virtual, físico ou real.

A espinha dorsal desse marco legal é a sua abordagem baseada em risco, estabelecendo a premissa de que quanto maior o risco imposto pelo sistema de IA, maior será a exigência regulatória sobre ele. Essa lógica possibilita que a administração pública adote medidas de governança em diferentes escalas por exemplo, para um assistente virtual de navegação em um site e para um sistema algoritmico que seleciona pacientes para procedimentos médicos. Importante ressaltar que sistemas que impactam direitos fundamentais são considerados de alto risco, exigindo governança máxima.

Para fins do presente artigo, pode-se resumir em seis os conjuntos de princípios éticos fundamentais de observância obrigatória na adoção de soluções de inteligência artificial : Direitos Humanos, Dignidade e Equidade; Transparência, Explicabilidade e Auditabilidade; Segurança, Robustez e Não Maleficência; Privacidade e Proteção de Dados; Supervisão Humana Efetiva e Responsabilização; e Sustentabilidade Socioambiental e Bem-Estar. Estes pilares devem orientar desde a concepção até a desativação de qualquer projeto tecnológico estatal, motivo pelo qual se passa a abordar, ainda que de forma resumida, cada um deles, a seguir:

1. Direitos Humanos, Dignidade e Equidade

O desenvolvimento de sistemas de IA deve ter como limite inegociável a dignidade da pessoa humana e a proteção dos direitos fundamentais. Do ponto de vista legal, o princípio da equidade, consagrado no art. 3º, inciso V, do PL 2338/2023, estabelece uma premissa clara: no setor público, tratar todos de forma matematicamente igual não basta. O sistema tem de ser proativamente desenhado para evitar a criação ou a perpetuação de vieses discriminatórios e garantir ao cidadão o direito à contestação. Se um algoritmo de alocação de recursos públicos reproduzir desigualdades históricas sob a capa da neutralidade tecnológica, ele falha no seu propósito mais básico e viola o estado de direito, tal como alertam as orientações da OCDE.

2. Transparência, Explicabilidade e Auditabilidade

A administração pública não pode operar através de "caixas-pretas". Os sistemas devem ser transparentes quanto ao seu propósito e funcionamento perante a sociedade. O art. 3º, inciso VI, do PL 2338/2023 traduz este conceito no princípio da explicabilidade: para o Estado, acertar não basta; é imperativo conseguir explicar o resultado a quem é diretamente afetado pela decisão. Isto significa que as decisões da máquina, especialmente aquelas com alto potencial de impacto adverso na vida dos cidadãos, devem ser compreensíveis e passíveis de auditoria. A explicabilidade garante que os órgãos de controle e o próprio cidadão possam avaliar o desempenho do sistema e atestar a sua conformidade legal.

3. Segurança, Robustez e Não Maleficência

Alinhado com as diretrizes do Grupo de Peritos da Comissão Europeia para uma "IA de confiança", este princípio determina que os sistemas governamentais devem ser tecnicamente robustos e seguros contra falhas ou ataques cibernéticos. O conceito de não maleficência impõe um dever de cuidado na concepção tecnológica: o sistema deve ser desenvolvido com salvaguardas que impeçam a ocorrência de danos às pessoas e à sociedade. Quando o poder público adota a IA, a fronteira da inovação requer extrema cautela e uma elevada capacidade de gestão de riscos tecnológicos e sociais.

4. Privacidade e Proteção de Dados

A matéria-prima da Inteligência Artificial são os dados. A adoção de IA no serviço público deve observar rigorosamente os princípios de proteção de dados e privacidade. Este pilar exige que a recolha, o processamento e o armazenamento de informações — pessoais ou não — respeitem a Lei Geral de Proteção de Dados (LGPD) em todas as fases do ciclo de vida do projeto. Uma governação ética assegura que a eficiência trazida pela IA não resulte num estado de vigilância desproporcional ou na exposição indevida da vida privada dos cidadãos.

5. Supervisão Humana Efetiva e Responsabilização

Este é, indiscutivelmente, o pilar que garante o controle democrático sobre a máquina. O art. 3º, inciso III, do PL 2338/2023 estipula o princípio da supervisão humana. Conforme a diretriz prevista no projeto, acompanhar passivamente a operação do sistema não basta; o ser humano tem de ter o poder efetivo de intervir, rever decisões e, em caso de risco ou anomalia, desligar o algoritmo. A responsabilização (accountability) nunca é do código ou do software, mas sempre do humano, do Estado e/ou dos gestores públicos que autorizaram a sua implementação. A automação não isenta a administração de responder pelos erros da máquina.

6. Sustentabilidade Socioambiental e Bem-Estar

O desenvolvimento e a aplicação da IA também devem ser escrutinados pelo seu impacto sistémico e ambiental. O processamento maciço de dados e o treino de algoritmos consomem vastas quantidades de energia e recursos computacionais. Este princípio orienta o poder público a considerar as externalidades da tecnologia, assegurando que o uso de IA contribua ativamente para o desenvolvimento sustentável, para o crescimento inclusivo promovido pela OCDE e para o bem-estar coletivo, sem comprometer as gerações futuras.

Portanto, para que a governação ética da Inteligência Artificial (IA) deixe de ser um conceito abstrato e se transforme numa prática diária na administração pública, é essencial a incorporação desses valores e princípios no planejamento de políticas públicas de implantação de sistemas de inteligência artificial, de forma a fomentar soluções que amplifiquem a capacidade de adoção tecnológica, mitigando riscos e valorizando princípios inalienáveis.

Pode-se ilustrar os riscos na implementação de sistemas de IA pelo Estado citando o que se passou a denominar de caso "Robodebt", ocorrido na Austrália entre 2016 e 2019. Nesse exemplo, o governo australiano implementou um sistema automatizado para fiscalizar e emitir cobranças contra cidadãos que, supostamente, haviam recebido pagamentos indevidos de assistência social. A promessa era modernizar a gestão pública e recuperar fundos por meio do cruzamento maciço de dados em tempo recorde.

A falha central do sistema residia em uma premissa matemática equivocada,  adotada pelo algoritmo: o cálculo de média de rendimentos. O sistema capturava a renda anual declarada no imposto de renda e a dividia igualmente por todas as quinzenas do ano. Porém, o público-alvo da assistência social frequentemente trabalha em empregos precários ou temporários. Se um cidadão ficou desempregado por seis meses — período em que precisou e teve direito ao benefício — e conseguiu um emprego estável nos seis meses seguintes, a IA distribuía a renda anual de forma linear. Assim, a máquina presumia que o cidadão tinha renda nos meses em que estava desempregado, acusando-o de fraude e gerando uma dívida milionária e inexistente.

O desastre assumiu proporções alarmantes. Conforme noticiado à época pela imprensa, estima-se que mais de 440 mil pessoas foram afetadas diretamente, aí incluídas pessoas vulneráveis econômica e socialmente, conduzindo famílias à ruína, provocando depressões profundas e resultando em casos documentados de suicídio provocados diretamente pela pressão do algoritmo estatal.

O caso Robodebt evidencia que a inovação tecnológica no setor público, não pode ser aplicada exclusivamente sob a ótica da redução de custos e sem avaliação rigorosa de impacto ético e governança, sob pena de transformar o aparato estatal em uma máquina de injustiça em escala industrial, o que não se coaduna com o regime democrático e a dignidade da pessoa humana.

No entanto, para evitar falhas sistêmicas e garantir que os princípios não fiquem restritos ao plano teórico, a transição do papel para a prática exige a criação de uma cultura institucional de monitoramento e avaliação para o uso ético e responsável da IA. Como premissa fundamental, a expansão do uso da IA pelo Estado tem que estar intrinsecamente relacionada com a expansão da governança dessa tecnologia. A regra de ouro dessa governança prática é a proporcionalidade: quanto maior o risco imposto pela tecnologia, maior deve ser a exigência técnica e regulatória sobre ela.

Como exemplo de como a administração pública tem tentado materializar essa governança, destaca-se a formulação de ferramentas de diagnóstico preventivo, a exemplo da Autoavaliação de Impacto Ético. Esse tipo de instrumento serve como um excelente estudo de caso de como metodologias de mitigação podem ser aplicadas no dia a dia da gestão pública. Em modelos como este, o processo estrutura-se em etapas para não engessar a inovação. Primeiramente, busca-se identificar o grau de risco do projeto de IA — classificando-o como baixo, médio, alto ou excessivo — por meio de questionamentos iniciais sobre o escopo da ferramenta.

Uma vez definido esse risco, o gestor público e os desenvolvedores passam a avaliar as práticas éticas de forma proporcional. A título de ilustração dessas metodologias, um sistema mapeado como de risco baixo pode demandar a avaliação de um questionário reduzido, com cerca de 11 questões fundamentais. Por outro lado, um sistema classificado como de alto risco exige um escrutínio muito mais profundo, podendo chegar a 44 questões estruturais que avaliam o impacto da ferramenta, enquanto um diagnóstico de risco excessivo impõe a reavaliação imediata de todo o projeto.

O propósito de incorporar metodologias de autoavaliação nas rotinas governamentais é gerar recomendações claras para o uso responsável, auxiliando o poder público a evitar discriminações algorítmicas, estabelecer mecanismos concretos de supervisão humana, saber explicar os resultados gerados, garantir a segurança do sistema e assegurar o respeito absoluto à dignidade da pessoa humana e aos direitos e garantias fundamentais. 

Nesse contexto de profunda transformação, a advocacia pública e os órgãos de controle assumem desafios sem precedentes. O foco da atuação estatal deixa de ser apenas a legalidade estrita dos contratos de tecnologia para abranger a arquitetura lógica e os impactos sociais dos algoritmos adquiridos. A adoção da inteligência artificial pode elevar a qualidade da prestação do serviço público a patamares inéditos e ajudar muito as pessoas. Contudo, adotar essas ferramentas exige uma rigorosa âncora ética. Assim espera-se que o Estado consiga continuar expandindo a utilização da tecnologia para o seu verdadeiro propósito: promover a justiça, proteger os direitos fundamentais e servir ao cidadão com excelência e responsabilidade.