O AI Act e a gestão de riscos

Os sistemas de IA classificados como de risco elevado estão sujeitos a obrigações específicas, que incluem a criação, implantação, manutenção e documentação de um sistema de gestão de riscos

Por Carolina Giovanini e Paulo Vidigal

Recentemente, a União Europeia aprovou o Artificial Intelligence Act (ou “AI Act”), uma regulamentação bastante abrangente, que traz regras para o desenvolvimento, comercialização e utilização de sistemas de inteligência artificial (IA) na União Europeia para assegurar a proteção da saúde, da segurança e dos direitos fundamentais.

O AI Act é baseado em uma abordagem de classificação dos riscos gerados por sistemas de IA e estabelece obrigações moduláveis a partir do risco de um determinado sistema, ou seja, as obrigações regulatórias aplicáveis a um determinado sistema de IA são adaptadas de acordo com o nível de risco associado ao sistema, trazendo novos contornos para o tema de gestão de riscos em organizações.

A classificação de riscos adotada pelo AI Act engloba (1) práticas de IA proibidas, a exemplo de sistemas manipulativos, sistemas que geram score social, entre outros; (2) sistemas de risco elevado, por exemplo, aplicados em processos de recrutamento e seleção, avaliações de crédito, elegibilidade para acesso a serviços essenciais etc.; (3) modelos de IA de propósito geral, que podem carregar “risco sistêmico”; (4) sistemas de risco limitado, como deepfakes e sistemas que interagem diretamente com pessoas naturais (como é o caso dos chatbots); e (5) sistemas de risco mínimo, que, por efeito residual, não são abrangidos pelas demais classificações.

Evidentemente, processos de gerenciamento de riscos já fazem parte de rotinas amplamente difundidas em programas de governança nas mais diversas organizações, inclusive em razão da existência de programas de privacidade e proteção de dados. Diante desse contexto, o que muda nas rotinas de gestão de riscos com a aprovação do AI Act?

Os sistemas de IA classificados como de risco elevado estão sujeitos a obrigações específicas, que incluem a criação, implantação, manutenção e documentação de um sistema de gestão de riscos. Isso significa que organizações que fornecem sistemas de IA devem desenvolver um processo de gestão de riscos contínuo e executável ao longo de todo o ciclo de vida de um sistema de IA de risco elevado.

Para muitas organizações esta obrigação apresenta nuances que podem afetar a forma como o mercado enxerga a gestão de riscos.

Em primeiro lugar, além da identificação e análise dos riscos conhecidos, organizações devem olhar para os riscos “razoavelmente previsíveis”. Assim, o AI Act coloca para as organizações o desafio de que, mesmo na ausência de evidências conclusivas sobre a materialização de um risco, este deverá ser considerado para fins de avaliação e mitigação. A ausência de confirmação e/ou certeza científica não é uma justificativa para adiar a tomada de medidas mitigatórias. Essa circunstância impõe que as organizações adotem posição conservadora, expandindo o espectro de riscos a serem considerados, o que tende a impactar consideravelmente a capacidade/vontade inovativa.

Além disso, não basta propor medidas mitigatórias, é necessário demonstrar que tais medidas são efetivas e resultam em um risco residual aceitável. Significa dizer que, possivelmente, riscos residuais altos não deverão ser assumidos pelas organizações, o que deve impactar a autonomia de que normalmente gozam tais organizações para calibrarem seus apetites de risco. Esse critério se mostra problemático, diante da provável discussão, a carregar tons de subjetividade, sobre o que significa “aceitável”.

Deve-se, ainda, avaliar os impactos do sistema de IA especificamente para grupos vulneráveis, uma vez que, nem sempre, a distribuição de riscos ocorrerá linearmente entre o público. Essa condição impõe a tarefa de se buscar perspectivas específicas distantes da realidade corporativa, provenientes de fontes externas. Colher perspectivas externas e diversas pode ser complexo, a começar pela dificuldade de se garantir que a participação pública seja inclusiva, representativa e significativa. Esse expediente pode trazer à tona uma variedade de opiniões, interesses e preocupações, o que pode levar a conflitos e divergências complicadas de solucionar de forma construtiva e eficaz.

Do ponto de vista de conformidade regulatória, é importante notar que essas obrigações são aplicáveis aos fornecedores de sistemas de IA de risco elevado, porém, podem influenciar a forma como as demais organizações enxergam suas rotinas de gestão de riscos associados aos usos de novas tecnologias.

Empresas preocupadas com a promoção da inovação responsável podem direcionar esforços para o desenvolvimento de matrizes de riscos específicas para IA e construção de procedimentos de ethics by design, que incorporam a gestão de riscos desde a fase inicial do desenvolvimento de projetos que envolvem aplicação de novas tecnologias.

Fato é que abordagens proativas para gestão de riscos podem auxiliar na promoção de confiança junto a stakeholders relevantes (como clientes, investidores e, até mesmo, autoridades regulatórias), impactando positivamente a reputação das organizações e, por isso, merecem atenção diante de novidades no cenário regulatório.

Carolina Giovanini e Paulo Vidigal são profissionais de privacidade certificados pela International Association of Privacy Professionals (CIPP/E) e, respectivamente, advogada e sócio no escritório Prado Vidigal Advogados.

https://valor.globo.com/legislacao/coluna/o-ai-act-e-a-gestao-de-riscos.ghtml