Diferente de um ser humano, uma tecnologia não tem a capacidade de tomar decisões por si só. Por mais que pareçam funcionar sozinhos, equipamentos autônomos precisam ser previamente programados para agir e, para isso, é necessário tomar uma série de decisões ainda no desenvolvimento dos produtos.
Essa escolha de como uma máquina vai reagir frente a desafios é um dos principais temas em debate sobre IA (inteligência artificial). E especialistas defendem que, quando a coisa ficar feia, melhor devolver o controle para um humano.
"Um risco evidente [da IA] é o excesso de confiança nesses sistemas", diz Konstantinos Karachalios, diretor-geral do IEEE-SA (associação de normatização técnica do Instituto de Engenheiros Eletricistas e Eletrônicos). "Temos que sempre manter um olhar crítico e poder remover os mecanismos de IA do controle quando necessário."
Karachalios cita um exemplo da Guerra Fria (1947-1991) para mostrar o quão importante pode ser um humano tomar as rédeas e não deixar tudo nas "mãos" de máquinas.
Em 1983, o oficial soviético Stanislav Petrov (1939-2017) optou por ignorar alarmes de um sistema que identificava, por satélite, mísseis nucleares disparados pelos americanos. A detecção estava equivocada. A atitude de Petrov impediu que seus superiores iniciassem ataques de retaliação e, com isso, uma possível guerra nuclear.
Para os dias atuais, um dos principais dilemas sobre sistemas que funcionam sozinhos está nos carros autônomos –que já circulam, em testes, por algumas cidades.
"Você está viajando por uma via de mão única numa montanha, dentro de um carro autônomo que está se aproximando rapidamente de um túnel estreito. Logo antes de entrar no túnel, uma criança tenta atravessar a rua, mas tropeça no meio da estrada, bloqueando a entrada. O carro tem duas opções: atingir e matar a criança, ou virar em direção a um dos lados do túnel, matando você. Como o carro deve reagir?"
O exemplo foi criado por Jason Millar, pesquisador da Universidade de Ottawa, no Canadá, e publicado no site Robohub.
Nesse caso, as duas saídas vão necessariamente resultar em um mal. Moralmente, não há opção certa.
De qualquer forma, carros autônomos precisam ser programados para agir nessas situações. Quem precisa tomar as decisões: o designer do carro, o usuário, legisladores?
Para Millar, a área médica, que lida com decisões de vida ou morte o tempo todo, pode ajudar na resposta. "Geralmente se deixa ao indivíduo a quem a questão tem implicações morais diretas decidir qual a melhor opção [fazer ou não um tratamento agressivo, por exemplo]." No caso, o próprio motorista.
"Um motorista mais velho pode preferir se sacrificar. Pode até ser que um defensor dos animais preferiria se chocar contra o muro mesmo que fosse um veado no caminho. Ou pode ser que a maioria de nós escolheria não virar o carro", escreve. "É nessa escolha que mantemos nossa autonomia pessoal."
Mesmo em casos menos extremos, máquinas podem dar problema. E se as coisas fugirem do controle? Para permanecer no exemplo do veículo autônomo: num acidente de trânsito, a culpa vai para o fabricante, para o motorista?
Segundo o filósofo Luciano Floridi, da Universidade Oxford, nessas situações, é necessário distribuir a responsabilidade entre todos os agentes, a menos que eles provem não ter culpa no acidente.
Se a pessoa está num carro autônomo que não permite dirigir, é como ser o passageiro de um trem, compara. Em caso de acidente, não há como culpá-lo. Caso exista a possibilidade de assumir o controle, a responsabilidade pode ser compartilhada.