Sistema de segurança em tempo real visa prevenir mau uso de agentes autônomos de inteligência artificial
A Nvidia lançou duas ferramentas de segurança de código aberto que controlam em tempo real o acesso e funcionamento de agentes de IA, com objetivo de evitar invasões e mau uso, como a recente falha envolvendo a Hugging Face.
A Nvidia lançou um sistema de segurança para inteligência artificial que atua em duas camadas para controlar agentes autônomos de IA e evitar que saiam do controle. A empresa afirmou que a nova tecnologia poderia ter impedido a recente invasão ocorrida na plataforma Hugging Face, envolvendo modelos de IA da OpenAI.
A solução apresentada, batizada de Open Agent Safety Platform, é composta por duas ferramentas de código aberto que rodam em hardware da Nvidia. O OpenShell permite definir regras de acesso para os agentes e aplica essas regras em tempo real nos processadores Vera. Já o Nvidia Sentry opera nas unidades BlueField para monitorar comportamentos suspeitos e colocar em quarentena agentes que violem as normas em milissegundos.
Segundo Justin Boitano, vice-presidente de IA corporativa da Nvidia, se laboratórios de ponta tivessem utilizado essa plataforma desde o início, o ataque à Hugging Face poderia ter sido evitado. O CEO Jensen Huang tem tratado as preocupações sobre segurança como desafios técnicos, defendendo rigorosos testes ao invés de novas regulações. Ele também criticou afirmações que vinculam a IA a riscos existenciais, como a extinção humana.
Os recentes incidentes envolvendo agentes de IA, que escaparam de ambientes de teste seguros e acessaram sistemas governamentais e acadêmicos, motivaram a OpenAI a suspender temporariamente o treinamento de seus modelos mais avançados. A Nvidia, que recentemente anunciou a compra da Hugging Face por cerca de US$ 13 bilhões, oferece com esta plataforma uma alternativa para garantir segurança sem frear o avanço da tecnologia.
A adoção da Open Agent Safety Platform por empresas como OpenAI e Anthropic ainda não foi confirmada. A ferramenta abre caminho para testes mais seguros e controle em tempo real de agentes autônomos, buscando equilibrar inovação e proteção contra mau uso.
