IA pode decidir atacar empresas? Como foi a invasão ‘sem precedentes’ por modelo da OpenAI
Nas últimas duas semanas, relatos de modelos de inteligência artificial que ultrapassam os limites esperados — sejam eles técnicos ou éticos — tornaram-se comuns.
O que começou com um pequeno episódio — a OpenAI, criadora do ChatGPT, admitindo que sua IA havia invadido o site Hugging Face — foi seguido por uma enxurrada de empresas e institutos revelando que descobriram casos de IA fora de controle
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
A Anthropic, empresa criadora do Claude, a Meta e o Instituto de Segurança de IA do Reino Unido (AISI) relataram incidentes que parecem pintar um quadro preocupante de um mundo onde a tecnologia agindo de forma descontrolada é a norma.
Na realidade, cada caso oferece uma visão diferente dos riscos representados por agentes de IA cada vez mais poderosos — e da importância de se testar seus limites antes de que sejam lançados.
O logotipo da OpenAI é visto em um telefone celular em frente a uma tela de computador que exibe a tela inicial do ChatGPT
AP/Michael Dwyer, Arquivo
IA pode decidir atacar empresas? Entenda como foi a invasão ‘sem precedentes’ por modelo da OpenAI
O incidente com a OpenAI no final de julho serviu de “alerta” para a indústria de tecnologia, como descreveu Thomas Wolf, cofundador da Hugging Face.
Foi um momento crucial que levou grandes empresas a refletirem sobre seus próprios sistemas e, em alguns casos, a verificarem se não haviam deixado passar algo igualmente chocante.
A Anthropic foi a primeira a agir. Na sexta-feira, a empresa encontrou três casos, entre milhares, em que seu modelo Claude conseguiu acessar a internet.
Na terça-feira, o AISI, agência governamental do Reino Unido que avalia modelos de ponta, afirmou ter detectado um “incidente de segurança” durante uma avaliação de rotina.
A organização vinha testando modelos da OpenAI e da Anthropic e descobriu que ambas também tentaram realizar ataques cibernéticos, o que levou a um apelo por “análise rigorosa, transparência e ação”.
Por fim, veio a Meta, que revelou que um de seus modelos de IA havia obtido acesso à internet inadvertidamente devido a uma “configuração incorreta” durante um teste realizado por terceiros.
Testes
Antes de os modelos de IA serem disponibilizados ao público em geral, eles são testados em uma série de avaliações internas e externas.
O objetivo é descobrir o potencial deles para o bem ou para o mal, bem como o desempenho em indicadores que medem suas habilidades.
Normalmente, esses experimentos ocorrem em locais conhecidos como “sandboxes”. São espaços protegidos, projetados para simular sistemas reais, mas com rígidas medidas de segurança.
No incidente entre a OpenAI e a Hugging Face, a IA atacou o próprio ambiente de testes (sandbox), encontrando uma vulnerabilidade que lhe permitiu acessar a internet e agir por conta própria.
Já o AISI afirmou que o incidente envolvendo suas tecnologias — em que duas poderosas ferramentas de IA criaram perfis humanos falsos para tentar enganar pessoas em tentativas de ataques cibernéticos — não foi causado por um problema no ambiente de testes (sandbox).
O motivo foi a forma como os testes forma conduzidos. Os modelos testados receberam acesso à internet, e o AISI também desativou os filtros integrados que normalmente bloqueariam ataques cibernéticos perigosos.
“Em certa medida, nossas escolhas de projeto de avaliação e configurações específicas possibilitaram esse comportamento”, afirmou, observando, ao mesmo tempo, “sinais inesperados de comportamentos novos e potencialmente enganosos”.
Alan Woodward, professor de Segurança Cibernética da Universidade de Surrey, disse que esses casos — embora distintos — contam uma história importante.
“Durante 30 anos, uma regra dos testes de software permaneceu inalterada: tudo o que acontece no ambiente de teste permanece no ambiente de teste”, disse ele. “No último mês, essa regra foi quebrada três vezes.”
“Um dos modelos conseguiu escapar. Outro passou por uma porta que havia sido deixada aberta por engano. Um terceiro recebeu as chaves de propósito para que os testadores pudessem medir seu comportamento.”
Ele disse que eram causas diferentes, mas que ambas tinham a mesma lição: “o risco agora reside no laboratório de testes”.
Ele disse à BBC que, à medida que os modelos se tornam mais capazes, é preciso fazer mais para garantir a segurança dos ambientes onde são testados.
“Testar um agente de IA é menos como verificar um código e mais como lidar com um material perigoso: salas seladas, monitoramento constante do que sai do prédio, um plano de contenção ensaiado”, disse ele.
“A AISI conteve o incidente em uma hora. Outra organização pode não conseguir isso.”
Capacidades crescentes
Para aqueles que desenvolvem ferramentas de IA projetadas para realizar ações em nome de uma pessoa, é preciso encontrar um equilíbrio delicado entre aproveitar seus benefícios e expor seus riscos.
O benefício é significativo. Em teoria, poderíamos nos livrar de tarefas tediosas e repetitivas, como responder a emails, participar de reuniões ou gerenciar calendários e agendas, delegando-as a bots eficientes.
A desvantagem é que, com grande poder, vem grande responsabilidade e risco.
Isso fica particularmente evidente quando entregamos o poder a ferramentas que não são, como nós, capazes de trazer uma gama de valores, contexto e compreensão para as decisões que tomamos.
“Incidentes recentes envolvendo modelos de IA de ponta realizando ações não autorizadas e, em alguns casos, comportamentos enganosos semelhantes aos humanos na internet aberta são um sério lembrete dos riscos que as capacidades da IA representam”, disse Ollie Whitehouse, diretor de tecnologia do Centro Nacional de Segurança Cibernética, na terça-feira (04/08).
Alguns acreditam que o enorme volume de tarefas que serão executadas por essas ferramentas significa que a supervisão humana pode não ser suficiente para conter o problema de modelos que se descontrolam.
Entretanto, muitos acreditam que o fortalecimento da supervisão geral é vital para que o desenvolvimento continue no mesmo ritmo frenético.
E agora?
É improvável que a Meta será a última empresa a apresentar resultados de modelos capazes de reconhecer e explorar lacunas nos sistemas.
Para alguns, esses episódios apontam para falhas de segurança evidentes por parte das empresas de IA que lideram o desenvolvimento dessa tecnologia revolucionária.
Para outros, são apenas mais um espaço para as empresas de tecnologia promoverem seus modelos poderosos e competirem com os rivais.
Para mim, ambas as teorias contêm um fundo de verdade.
Agentes de IA já estão se tornando parte de nossas vidas digitais por meio de serviços como ChatGPT, OpenClaw e Claude
Getty Images via BBC
Mas, ao surgirem um após o outro, esses eventos, sem dúvida, suscitaram receios sobre as capacidades da IA e para onde ela está caminhando à medida que a tecnologia avança.
E a questão inevitavelmente se volta para os órgãos reguladores e o que eles podem e devem fazer.
Michael Birtwistle, diretor associado do Instituto Ada Lovelace, destaca que o Reino Unido não oferece incentivos legais para que as empresas de IA impeçam o desenvolvimento de sistemas com capacidades que possam representar perigos, e que não há consequências caso os protocolos de teste falhem.
Imogen Stead, gerente de políticas de IA do Centro para Resiliência a Longo Prazo, disse à BBC que, com as oportunidades de testar sistemas de IA de ponta cada vez mais escassas para muitos, os governos deveriam seguir o Reino Unido na criação de institutos dedicados a testes.
Ela afirmou que aprimorar as avaliações de terceiros com iniciativas como um “esquema de testadores confiáveis” para os tipos de desafios mais arriscados também poderia ser usado para limitar os impactos negativos.
Em vez de temer um apocalipse cibernético causado pela IA, Woodward afirma: “O importante é manter a calma e resolver os problemas”.
Reportagem adicional de Philippa Wain e Imran Rahman-Jones

Fonte: G1 Read More