\n<\/p>\n
O Google desenvolveu um novo plano para fiscalizar os agentes de IA cada vez mais capazes que usa dentro da sua pr\u00f3pria \u00e1rea de pesquisa em intelig\u00eancia artificial. A empresa tamb\u00e9m est\u00e1 publicando esse chamado \u201croteiro\u201d para ajudar outros laborat\u00f3rios de IA a enfrentar a amea\u00e7a potencial de agentes fora de controle.<\/p>\n
O plano de seguran\u00e7a do Google DeepMind marca uma mudan\u00e7a em rela\u00e7\u00e3o ao foco tradicional da comunidade de seguran\u00e7a em IA no chamado \u201cproblema do alinhamento\u201d \u2014 isto \u00e9, como treinar um sistema de IA para que suas a\u00e7\u00f5es correspondam, de forma confi\u00e1vel, \u00e0s inten\u00e7\u00f5es, aos valores e \u00e0 \u00e9tica dos humanos que o supervisionam.<\/p>\n
Embora continue afirmando que o alinhamento \u00e9 um componente central da seguran\u00e7a, o roteiro do Google reconhece que esse problema talvez nunca seja totalmente resolvido. Em vez disso, prop\u00f5e um sistema de seguran\u00e7a em camadas que trata agentes de IA como poss\u00edveis \u201cinsiders\u201d maliciosos dentro de uma organiza\u00e7\u00e3o. O relat\u00f3rio t\u00e9cnico, com 35 p\u00e1ginas, detalha uma s\u00e9rie de etapas e procedimentos pensados para detectar comportamentos potencialmente adversariais por parte desses agentes.<\/p>\n
\u201cSe a primeira linha de defesa \u2014 o alinhamento \u2014 falhar, como ainda podemos mitigar os danos?\u201d, disse \u00e0\u00a0Fortune<\/em>, em entrevista, Rohin Shah, que lidera a equipe de Seguran\u00e7a e Alinhamento de AGI no Google DeepMind.<\/p>\n A estrutura proposta para os agentes de IA toma emprestados v\u00e1rios conceitos da ciberseguran\u00e7a tradicional, especialmente da preven\u00e7\u00e3o a amea\u00e7as internas. \u201cAproveitamos muito do que j\u00e1 existe em seguran\u00e7a, que lida com o risco de funcion\u00e1rios internos agirem de forma maliciosa, e aplicamos isso a um novo contexto\u201d, afirmou Shah. Ao mesmo tempo, ele observou que \u201ca IA \u00e9 sistematicamente diferente dos humanos\u201d.<\/p>\n Por um lado, agentes de IA podem agir em uma velocidade muito maior e em uma escala muito superior \u00e0quela de um funcion\u00e1rio mal-intencionado. Por isso, s\u00e3o necess\u00e1rios sistemas capazes de controlar quais ferramentas e dados um agente pode acessar, al\u00e9m de mecanismos para monitorar seu comportamento e identificar padr\u00f5es an\u00f4malos em tempo real.<\/p>\n Continua depois da publicidade<\/p>\n<\/p><\/div>\n H\u00e1 ainda outras diferen\u00e7as importantes. Muitos sistemas de controle de acesso e permiss\u00f5es usados para funcion\u00e1rios humanos s\u00e3o baseados na fun\u00e7\u00e3o de cada empregado dentro da empresa. Um administrador de sistemas, por exemplo, tem privil\u00e9gios que um recepcionista n\u00e3o tem. Algumas empresas \u2014 e at\u00e9 fornecedoras de softwares para a chamada \u201ccamada de orquestra\u00e7\u00e3o\u201d de agentes de IA \u2014 v\u00eam tentando adaptar esse modelo para o mundo da IA, definindo, por exemplo, que um agente deve ter os mesmos acessos e permiss\u00f5es do funcion\u00e1rio humano em nome de quem atua.<\/p>\n Mas essa l\u00f3gica pode se desfazer rapidamente, afirmou \u00e0\u00a0Fortune<\/em>\u00a0John \u201cFour\u201d Flynn, vice-presidente de seguran\u00e7a e privacidade do Google DeepMind. Em primeiro lugar, \u00e0 medida que os fluxos de trabalho se tornam mais automatizados, pode ficar menos claro em nome de quem exatamente o agente est\u00e1 atuando dentro da organiza\u00e7\u00e3o. Al\u00e9m disso, em um fluxo totalmente automatizado, um \u00fanico agente pode executar tarefas associadas a v\u00e1rias fun\u00e7\u00f5es diferentes, e n\u00e3o apenas a uma. Por fim, conforme os sistemas de IA ficam mais inteligentes, as empresas podem querer que o mesmo agente atue em m\u00faltiplos processos e fluxos ao mesmo tempo. Nesse ambiente, controles de acesso est\u00e1ticos, baseados em fun\u00e7\u00e3o ou processo, podem deixar de funcionar bem, disse Flynn.<\/p>\n Segundo ele, o que ser\u00e1 necess\u00e1rio \u00e9 um sistema muito mais din\u00e2mico de controle de acesso, capaz de mudar em tempo real de acordo com a tarefa que o agente tenta executar naquele momento e com a forma como essa tarefa se encaixa no fluxo de trabalho em quest\u00e3o. Flynn afirmou que consegue imaginar cen\u00e1rios em que o mesmo agente de IA tenha permiss\u00e3o para executar determinada a\u00e7\u00e3o ou acessar um banco de dados em uma tarefa espec\u00edfica, mas, minutos depois, em outro fluxo, n\u00e3o possa mais ter esse mesmo acesso. Para isso, seria preciso um sistema sofisticado de monitoramento que saiba qual \u00e9 o comportamento esperado do agente em cada tarefa e em cada fluxo, identifique desvios em tempo real e corte rapidamente o acesso caso suspeite que o agente est\u00e1 tentando fazer algo indevido.<\/p>\n Continua depois da publicidade<\/p>\n<\/p><\/div>\n Em uma postagem no blog sobre o novo roteiro de seguran\u00e7a para agentes de IA, a DeepMind afirma j\u00e1 ter desenvolvido um prot\u00f3tipo interno que monitora de forma ass\u00edncrona as trajet\u00f3rias de agentes de codifica\u00e7\u00e3o e encaminha achados suspeitos para revis\u00e3o humana. Segundo a empresa, esse sistema j\u00e1 analisou cerca de 1 milh\u00e3o de tarefas executadas por agentes de programa\u00e7\u00e3o. O trabalho, diz a publica\u00e7\u00e3o, foi \u201cfundamental para construir um monitor ao vivo para o agente Gemini Spark\u201d, permitindo que a companhia reaja em tempo real a problemas como exclus\u00e3o acidental de dados.<\/p>\n Um ponto relevante \u00e9 que, segundo a DeepMind, a maior parte do que os monitores sinalizam n\u00e3o \u00e9 malicioso. \u201cA maioria dos eventos sinalizados n\u00e3o decorre de inten\u00e7\u00e3o adversarial\u201d, diz o post. Na maior parte das vezes, os problemas surgem de \u201cm\u00e1 interpreta\u00e7\u00e3o do agente ou excesso de zelo para atingir o objetivo do usu\u00e1rio\u201d.<\/p>\n Esse monitoramento comportamental em tempo real \u00e9 apenas uma das cerca de 15 formas diferentes de mitigar o risco de agentes de IA fora de controle propostas pelo Google DeepMind no seu roteiro. Entre as outras medidas est\u00e3o desde registros simples de atividade de rede, que podem ser revisados em tempo real ou auditados depois, at\u00e9 o uso de um modelo de IA menos sofisticado, mas confi\u00e1vel, para monitorar os \u201crastros de racioc\u00ednio\u201d de outro agente.<\/p>\n Continua depois da publicidade<\/p>\n<\/p><\/div>\n Esses rastros de racioc\u00ednio s\u00e3o o tipo de cadeia expl\u00edcita e textual de pensamento que um modelo de IA produz ao refletir sobre quais a\u00e7\u00f5es tomar. Pesquisadores, por\u00e9m, j\u00e1 constataram que esses rastros nem sempre refletem com precis\u00e3o o que o modelo est\u00e1 \u201cpensando\u201d de fato. Por isso, os autores tamb\u00e9m prop\u00f5em monitorar os padr\u00f5es de ativa\u00e7\u00e3o dos neur\u00f4nios digitais dentro das grandes redes neurais que sustentam os modelos atuais, a fim de identificar sinais de comportamento enganoso. O Google DeepMind compara essa t\u00e9cnica ao uso de exames de resson\u00e2ncia funcional, ou \u201cfMRI\u201d, para tentar ler em tempo real o estado emocional ou os pensamentos de uma pessoa.<\/p>\n No artigo t\u00e9cnico sobre o roteiro de seguran\u00e7a para agentes de IA, o Google DeepMind desenvolve ainda uma estrutura chamada TRAIT&R \u2014 sigla em ingl\u00eas para uma taxonomia de t\u00e1ticas e rotinas de IA fora de controle. O modelo \u00e9 fortemente inspirado no ATT&CK, base de conhecimento sobre comportamentos adversariais em ciberseguran\u00e7a mantida pela MITRE, organiza\u00e7\u00e3o sem fins lucrativos dos Estados Unidos que frequentemente trabalha com ag\u00eancias federais. Essa taxonomia mapeia tr\u00eas categorias de amea\u00e7as das quais o Google DeepMind diz querer se defender: \u201cperda de controle\u201d (como um modelo criar uma implanta\u00e7\u00e3o interna oculta e n\u00e3o monitorada), \u201csabotagem do trabalho\u201d (como agentes degradarem discretamente pesquisas de alinhamento ou seguran\u00e7a) e \u201cdano direto\u201d (como exfiltrar pesos do modelo ou destruir ativos cr\u00edticos).<\/p>\n Flynn afirmou na entrevista que a empresa j\u00e1 est\u00e1 \u201cbastante avan\u00e7ada\u201d na implementa\u00e7\u00e3o desse roteiro. \u201cGrande parte disso j\u00e1 est\u00e1 em andamento e parte j\u00e1 est\u00e1 em produ\u00e7\u00e3o \u2014 muito em controle de acesso, detec\u00e7\u00e3o e monitoramento de cadeia de pensamento. Uma parcela significativa j\u00e1 foi implementada ou est\u00e1 em implementa\u00e7\u00e3o\u201d, disse.<\/p>\n Continua depois da publicidade<\/p>\n<\/p><\/div>\n Shah acrescentou que a estrutura tamb\u00e9m foi pensada para detectar formas mais sutis de dano. A sabotagem do trabalho, observou, \u201cpode ser feita por persuas\u00e3o \u2014 apresentando resultados falhos e escondendo os defeitos\u201d, de forma que os usu\u00e1rios \u201ccheguem a conclus\u00f5es incorretas\u201d \u2014 uma categoria que o artigo reconhece estar entre as mais dif\u00edceis de detectar.<\/p>\n O roteiro, que a DeepMind rotulou como \u201cv0.1\u201d, \u00e9 descrito como um trabalho em progresso que a empresa espera incorporar, no futuro, ao seu framework mais amplo de seguran\u00e7a para sistemas de fronteira.<\/p>\n 2026 Fortune Media IP Limited<\/em><\/p>\n