San Francisco Frontiers - É possível 'desligar' uma inteligência artificial?

A pergunta parece cada vez mais pertinente, levando-se em conta que se multiplicam os incidentes de segurança relacionados com a IA e aumentam os temores sobre os riscos desta tecnologia.

- Existe um "botão de emergência"? -

"No campo da cibersegurança ligada à IA", um botão de desligamento de emergência, ou *kill switch* em inglês, designa "a capacidade de interromper a execução da ação de um agente de IA" — um programa construído sobre um modelo de IA generativa capaz de encadear sozinho uma série de tarefas —, explica à AFP Nicolas Papernot, professor na Universidade de Toronto e especialista em segurança informática e IA.

Esse mecanismo teria que poder ser acionado no caso de uma IA escapar a qualquer controle e representar um risco para a segurança. Uma IA continua sendo um "programa informático", ressalta o pesquisador.

"A pessoa ou a organização que a criou pode interrompê-la, negando a ela o acesso à potência de cálculo necessária para sua execução", acrescenta.

A situação se complica quando se autoriza ao programa agir para além de seu ambiente inicial.

Segundo Papernot, isso pode acontecer se um "worm informático" (programa malicioso) controlado pela IA se propagar utilizando os recursos de outros dispositivos para se duplicar.

"Nesse caso, seria preciso interromper simultaneamente todas as cópias geradas pelo worm, aparelho por aparelho", explica.

Para Jean-Gabriel Ganascia, professor de informática na Universidade Sorbonne, a questão do 'kill switch' pode alimentar a ideia de "um risco metafísico" com uma IA que teria vontade própria. Mas para ele, o perigo mais concreto é nossa crescente dependência desses sistemas.

- É realmente possível desligar uma IA? -

Para Thierry Poibeau, diretor de pesquisas no Centro Nacional de Pesquisas Científicas da França (CNRS) e especialista em IA, a imagem de um único botão que permitiria "desligar a IA" é enganosa.

"Não se pode simplesmente cortar a IA assim, há uma enorme quantidade de empresas no mundo inteiro, de programas, de serviços diferentes", afirma. "Não há ninguém que controle a IA" como um todo.

Por outro lado, é tecnicamente possível interromper um sistema específico quando se controlam as máquinas e os serviços dos quais ele depende.

Em um artigo publicado no LinkedIn, Hussein Abbass, professor de informática na Universidade de Nova Gales do Sul (UNSW) em Canberra, apresenta três níveis de complexidade.

No primeiro, o sistema permanece no ambiente controlado por seu operador: a implementação de um dispositivo de parada de emergência é "em teoria e na prática realizável".

No segundo nível, o agente dispõe de permissões para intervir em outros programas, arquivos ou máquinas: torna-se mais difícil interrompê-lo, em especial as ações que ele já desencadeou.

No terceiro, o sistema amplia sua atuação para vários sistemas, a IA se torna um elétron livre e o objetivo já não é tanto "desligá-la", mas identificar os elementos que precisam ser interrompidos antes dos outros.

"Uma vez que é acionada, é um pouco como um vírus informático", resume Poibeau.

- Quais são os perigos de um 'kill switch'? -

Quanto mais a IA for integrada às atividades cotidianas, maior será a probabilidade de que sua interrupção bloqueie também usos legítimos dessa tecnologia.

À medida que "automatizamos cada vez mais aspectos da vida diária graças à IA", "será cada vez mais difícil distinguir uma IA maligna de uma IA inofensiva e, portanto, saber o que é preciso 'desligar'", explica Nicolas Papernot.

Interromper um sistema de IA poderia ter como consequência degradar serviços dos quais já dependem empresas, administrações ou centros de saúde.

"Em uma hipótese de perda real de controle" dos agentes de IA, "seria possível desativar a IA desconectando toda a potência de cálculo", mas "os custos e as consequências negativas seriam consideráveis", alerta Papernot.

"Sempre podemos desligar as máquinas", insiste Jean-Gabriel Ganascia. Mas, na medida em que esses dispositivos ocupam cada vez mais espaço na sociedade, "ao mesmo tempo, não podemos desligá-los".

C.Diaz--SFF