San Francisco Frontiers - Pesquisadores querem criar IA que controle a IA

Bengio alerta há anos para os riscos associados ao desenvolvimento da IA, seja em termos de uso malicioso ou por falhas do próprio software. "Os sistemas mais avançados já mostram sinais de autopreservação e comportamento enganoso", destacou o pesquisador. "E isso vai acelerar, à medida que sua capacidade e autonomia aumentarem."

A LawZero, nova organização sem fins lucrativos de Bengio, pretende ser "uma resposta a esse desafios". Exemplos recentes, entre eles um estudo da start-up Anthropic, confirmaram que a IA atingiu novos níveis de sofisticação.

Em uma simulação, a nova interface de IA generativa da Anthropic, Claude 4, foi avisada por um engenheiro de software que seria substituída. Por iniciativa própria, ela tentou chantagear o engenheiro, para que ele mudasse de ideia.

Uma das missões da LawZero é "propor uma forma de supervisionar os agentes de IA", nova geração de modelos de IA generativa capazes de realizar infinitas tarefas de forma autônoma, desde fazer uma busca na internet até telefonar para um cliente ou escrever um programa em código.

"Um dos principais objetivos é desenvolver uma forma de IA que possa ser usada como proteção, para garantir que a IA se comporte bem", descreveu a empresa. "A IA pode ser extremamente benéfica se garantirmos que ela não vai prejudicar as pessoas, seja porque está nas mãos erradas ou de forma autônoma."

A LawZero também quer trabalhar em uma IA com autonomia limitada, para uso em pesquisas científicas. A organização conta com mais de 15 pesquisadores e recebeu diversas contribuições financeiras, uma delas da organização beneficente Schmidt Sciences, criada pelo ex-chefe do Google Eric Schmidt e por sua mulher, Wendy.

A LawZero foi lançada com o apoio do Instituto de Montreal para a Aprendizagem de Algoritmos (MIL), fundado em 1993 por Bengio.

U.Lee--SFF