Os primeiros passos para o surgimento de maior controle no uso de IA (inteligência artificial) foram dados em 2019. Uma das principais entidades a lançar um documento foi a UE (União Europeia), com suas "Orientações éticas para uma IA de confiança".
O texto pede que o serviço tenha compromisso com a humanidade e com o bem comum e diz ser necessário garantir a confiabilidade e a transparência. Ressalta que, mesmo com boas intenções, sistemas de IA podem causar danos.
Um dos problemas mais comuns com a IA é ela funcionar como uma espécie de caixa-preta, algo debatido pela União Europeia.
Os sistemas chegam a uma conclusão a partir da análise de dados que lhes foram apresentados, mas nem sempre é possível verificar exatamente quais foram os fatores levados em consideração.
As orientações reforçam a importância de engenheiros e empresas criarem mecanismos que mostrem como uma IA tomou sua decisão. Com essa informação, uma pessoa poderia contestar o resultado de um exame, de um julgamento, de uma seleção de emprego etc.
A UE recomenda salvaguardas em relação ao tratamento de dados pessoais, bem como na aferição da fonte de dados usados para alimentar a inteligência artificial. É o chamado "viés": quando a informação do mundo real acaba pendendo para um lado e prejudicando grupos de pessoas.
Um sistema de IA alimentado com dados de uma empresa que nunca teve muitas mulheres na equipe tenderia a recomendar menos mulheres do que homens para contratação se esse viés não for corrigido.
Um caso clássico é o de Eric Loomis. Em 2013, ele foi condenado a seis anos de prisão por múltiplas acusações ligadas ao roubo de um carro. O juiz responsável pela sentença admitiu ter usado um sistema de IA chamado Compas para embasar o veredito.
A defesa de Loomis recorreu da decisão argumentando que não era possível saber quais critérios o sistema adotou ao definir a sentença. A Justiça negou o pedido dizendo que o resultado seria o mesmo caso o Compas não tivesse sido usado e o réu continuou preso.
Três anos mais tarde, uma análise do site ProPublica mostrou que o Compas era mais rigoroso com negros –mais frequentemente classificados como réus de "alto risco". Além disso, o sistema acertou apenas em 20% dos casos quando tentou prever quem cometeria crimes violentos no futuro.
Em casos sensíveis como o de Loomis ou em diagnósticos médicos, por exemplo, especialistas argumentam que os sistemas de IA têm que atuar como auxiliares dos humanos na tomada de decisões. Quem define, no fim, tem que ser alguém de carne e osso.