Tom Kellermann: Então, entender como eles estão mantendo a persistência através da IA, entender quando as ferramentas de IA são sequestradas e/ou quebradas e agora se transformam em agentes maliciosos é imperativo. Conseguir isso é a parte complicada. Mas eu acho que um dos calcanhares de Aquiles da inteligência artificial é o fato de que realmente não resolvemos os ataques de API. E uma maneira fácil de fazer jailbreak é através de ataques de API. Então, esse é um dos desafios singulares de defender esses guardrails.
Johnny Hand: Bem-vindo ao AI Security Brief, onde estamos desvendando ameaças emergentes de IA, pesquisa de vulnerabilidades e as decisões estratégicas que os líderes de segurança estão tomando agora. Eu sou Johnny Hand.
Dustin Childs: E eu sou Dustin Childs. O convidado de hoje é Tom Kellermann, que lidera a pesquisa de segurança e ameaças de IA na TrendAI e acaba de autorizar o novo relatório Modern Bank Heist 2026. Agora, a cada ano, este relatório toma o pulso dos CISOs do setor financeiro, e a edição deste ano é um ponto de virada.
Johnny Hand: Sim, exatamente. E a TrendAI realmente pesquisou 46 CISOs do setor financeiro, e a manchete agora é uma mudança de roubo de dados para realmente interromper os próprios defensores. Mais de 60% desses CISOs experimentaram o que chamaríamos de resposta contra-incidente. Isso significa que os atacantes estão ativamente lutando de volta durante uma investigação ao vivo. E tudo isso está acontecendo em velocidade de máquina, o que é interessante porque mais de 89% ou quase 90% relataram mais ataques habilitados por IA ano após ano. E então o argumento central de Tom é que o cibercrime também se tornou agente. Então, agentes de IA especializados orquestrando phishing, fraude e exploração em paralelo durante esses incidentes.
Dustin Childs: Sim, acho que esta é realmente uma conversa curta para todos, mesmo que você não esteja no setor financeiro, porque o que atinge os bancos primeiro tende a atingir tudo o mais em seguida. E como Willie Sutton disse, atinge os bancos primeiro porque os ladrões de bancos fazem isso porque é onde todo o dinheiro está. Então, é interessante ver o que os bancos estão vendo. E há um caminho através disso também. Tom expõe como os defensores podem responder da mesma forma em velocidade de máquina e por que a voz independente de um CISO nunca foi tão importante. Então, vamos mergulhar na conversa.
Johnny Hand: Eu sei que o setor financeiro sempre foi, você sabe, um alvo principal para atacantes, embora eu ache que a maioria dos consumidores pense que o setor financeiro é bastante seguro. Do seu relatório, como a IA está movendo tanto a sofisticação quanto a escala dos ataques?
Tom Kellermann: Sim, então esta é a oitava vez que escrevo este relatório. Eu escrevi para uma miríade de organizações diferentes, mas este eu estou muito orgulhoso, aqui obviamente na TrendAI. Você sabe, 67% dos entrevistados notaram que sofreram de resposta contra-incidente, novamente para aquele ponto que estávamos levantando lá. E então, quando essa resposta contra-incidente escala, realmente escala, onde o ladrão por assim dizer, a invasão domiciliar está agora a um ponto onde eles querem cometer incêndio criminoso, eles notaram que 41% sofreram ataques destrutivos. Isso é um grande problema. Cinquenta e cinco por cento disseram que não sabiam como resolver ataques baseados em API e que os ataques de API estavam aumentando. E acho que o mais interessante aqui é, como todos falamos sobre mercados de previsão, 46% viram que o adversário estava tentando roubar informações de mercado não públicas ou estratégias de investimento da instituição para conduzir, você sabe, front-running digital ou negociação com informações privilegiadas. Então, você está lidando com adversários agora que reconhecem que não é apenas sobre o dinheiro. Você sabe, dinheiro é uma coisa. Mover transferências bancárias, obter acesso a contas, você sabe, isso é lucrativo. Claro. Mas a informação mais valiosa que uma instituição tem é realmente suas informações de mercado não públicas e suas estratégias de mercado.
Johnny Hand: E você disse que esses ataques estão sendo orquestrados usando múltiplos agentes de IA. Como é um ataque agente de ponta a ponta? Quero dizer, onde ele se desvia de um manual tradicional? Ou é o mesmo, apenas mais automatizado com IA?
Tom Kellermann: Então, duas coisas. Acho que todos devemos reconhecer e apreciar que a IA não governada deve ser vista como um C2. Quero dizer, se não é governada e está operando em uma organização, basicamente será uma porta de entrada para qualquer adversário se mover lateralmente, viver do terreno em seu ambiente. E você tem ferramentas de IA que podem ser basicamente sequestradas. Os russos se especializam em fazer jailbreak em uma miríade de LLMs por aí e capacidades de IA, e eles transformam essas funcionalidades contra você por causa do fato de que o modelo tem acesso livre a serviços e ferramentas uma vez implantado no ambiente. Então, para os defensores por aí, você tem que ver a IA não governada como C2. Ponto. Uma vez que você a governa, você precisa realmente ser capaz de entender, está quebrada? Quando será quebrada? Aplicar regras como privilégio mínimo. Quero dizer, John, você tem muitos pensamentos sobre isso. Quero dizer, você está protegendo nossa organização enquanto falamos, então eu adoraria ouvir seus pensamentos sobre isso.
Johnny Hand: Sim. Não, acho que vemos a IA como uma nova superfície de ataque também. Tanto quanto a inovação que está acontecendo, esse é o tipo de desafio agradável disso. A intenção por trás da IA é importante, e as empresas estão se transformando, mas também é uma superfície de ataque para muitos atores de ameaça. Então, você vê que com a IA, a intenção do atacante realmente mudou, e se você vê, o que os CISOs e líderes de segurança devem fazer de diferente por causa disso?
Tom Kellermann: Sim, quero dizer, olhe, nem todos -- nem todos os modelos são iguais. Alguns modelos prestam muito mais atenção à segurança e à segurança de seus guardrails. Mas dito isso, você sabe, você realmente precisa implementar princípios como privilégio mínimo, eliminar IA sombra. Mas respeite o fato de que, você sabe, novamente, a IA não governada será um C2 natural e uma capacidade ou plataforma natural de viver do terreno para adversários uma vez que eles estejam em seu ambiente. Isso melhora sua capacidade de conduzir reconhecimento, entrega, movimento lateral, mas mais importante, persistência. Então, acho que entender como a IA permite a persistência, quero dizer, a TrendAI acabou de lançar um ótimo relatório sobre bandcampro, um ator russo que basicamente fez jailbreak no Gemini e então criou dinamicamente C2s dentro de seis minutos e moveu -- moveu e mudou dinamicamente seu C2 em uma infraestrutura. Então, entender como eles estão mantendo a persistência através da IA, entender quando as ferramentas de IA são sequestradas e/ou quebradas e agora se transformam em agentes maliciosos é imperativo. Conseguir isso é a parte complicada, mas eu acho que um dos calcanhares de Aquiles da inteligência artificial é o fato de que realmente não resolvemos os ataques de API. E uma maneira fácil de fazer jailbreak é através de ataques de API. Então, se vocês tiverem alguma sugestão sobre melhores práticas para segurança de API, eu adoraria ouvi-las. Mas de qualquer forma, você sabe, esse é um dos desafios singulares de defender esses guardrails.
Johnny Hand: Não, eu realmente não tenho isso. E se eu tivesse, eu patentearia e venderia para todos, porque todos estamos procurando por isso. Mas eu quero dar uma olhada em como esses ataques estão realmente acontecendo, porque acho que você mencionou antes de realmente começarmos a gravar que o Business Email Compromise ainda é, tipo, uma das maiores maneiras de esses atacantes entrarem. Como a IA está ajudando? Isso ainda é verdade no mundo da IA agente, e como a IA agente está afetando essa primeira violação?
Tom Kellermann: Então, de uma perspectiva de fraude, para o seu ponto, o Business Email Compromise foi uma das maiores preocupações das instituições. Mas eles também estão muito preocupados com o que é chamado de Business Email Compromise reverso. Então, quando você pensa em Business Email Compromise para o movimento de fundos, certo, é uma abordagem de fora para dentro. Mas se você pode sequestrar as contas de, digamos, Johnny, ou você, Dustin, e então ter dinheiro transferido ou ter uma ordem para dinheiro ser transferido, e então contornar a autorização através da IA criando um vídeo deepfake e/ou mensagens deepfake que se alinham com tudo, mas está vindo da sua verdadeira conta, certo? Como seu gêmeo digital de funcionário, essencialmente, isso é altamente problemático. E então eles estão muito preocupados com a evolução do RBEC, Business Email Compromise reverso, e tomadas de conta de uma perspectiva de fraude. E então a outra parte é que eles estão muito preocupados com o fato de que suas estratégias de mercado e informações de mercado não públicas estão sendo roubadas para conduzir front-running digital e negociação com informações privilegiadas, porque esse é seu ativo mais valioso.
Johnny Hand: No Pwn2Own Berlin, tivemos múltiplas categorias de IA. E para mim, acho que a mais interessante foi realmente uma exploração do Exchange, Microsoft Exchange. E o pesquisador que atende pelo nome Orange, ele disse que disse à IA o que fazer, e então a IA escreveu a exploração. Mas foi o conhecimento dele sobre o Exchange -- ele é um pesquisador muito talentoso e já explorou o Exchange em múltiplas ocasiões. Então, isso realmente mostrou que a IA pode realmente fazer isso e realmente pode criar essas explorações viáveis, mas é preciso um pesquisador treinado para guiá-la e levá-la adiante. Uma das coisas que temos no ZDI contra a qual estamos lutando agora é que estamos tentando analisar esses relatórios. Estamos usando IA para fazer isso. E a IA está surgindo e dizendo: "Não, isso parece que você vai fazer algo ruim, e eu não vou deixar você fazer isso mais." Então, temos um desafio de treinar a IA para, tipo, "Não, nós somos os mocinhos, e precisamos fazer isso." Mas sim, para mim, isso foi a coisa mais impressionante, porque foi uma exploração muito, muito complicada, que até esta data, a Microsoft ainda não corrigiu. Então, é muito interessante ver.
Tom Kellermann: Uau. Então, uma das coisas que foi notável no relatório que se conecta à conversa sobre IA e ataques habilitados por IA é esse ressurgimento de RATs. Trojans de Acesso Remoto e rootkits estão realmente florescendo, e as instituições financeiras estão realmente lutando com eles porque permite a persistência por razões óbvias. Mas uma das partes notáveis disso é que RATs estão implantando esteganografia para manter a persistência. A esteganografia é facilmente criada agora por causa da IA. E a esteganografia costumava ser uma, você sabe, uma forma de arte que levaria tempo e muitos recursos para criar o estego perfeito. Então, estou fascinado por alguns desses RATs como XWorm, capacidade modular. É um RAT que realmente realiza uma miríade de diferentes funções de ataque. Ele automatiza completamente a cadeia de eliminação, e usa estego para manter a persistência. Então, apenas um exemplo do relatório.
Johnny Hand: Você sente que -- eu estava pensando sobre o ponto de vista da esteganografia e, você sabe, até mesmo como -- eu não sei. Eu me lembro de 15, 20 anos atrás, você sabe, escondendo mensagens estéreo dentro das imagens, tipo, brincando como uma espécie de capacidade de criptografia de baixo nível. Mas agora com a IA, é tão rápido. Estou pensando do ponto de vista de um CISO, certo? Tipo, como eu ganho visibilidade, você sabe, entendendo que meu pessoal está carregando imagens e, você sabe, capturas de tela o dia todo em seus diferentes modelos para processamento, certo? E o fato de que os guardrails nativos realmente não são projetados para esse nível, temos algumas capacidades dentro do nosso AI Guard que cobrem esses tipos de coisas, mas é um grande desafio. Você vê isso como uma superfície de ataque crescente para a IA? Você está vendo isso cada vez mais? Há sinal lá que devemos realmente começar a olhar para ofertas orientadas para soluções?
Tom Kellermann: Eu vejo. Eu vejo. E acho que a primeira empresa a trazer essa solução para o mercado realmente fará chover. E na mesma linha com a segurança de API, esses são dois grandes gaps, e dado o ambiente em que vivemos e a cultura em que vivemos, ambos devem ser resolvidos. Mas acho que volta ao ponto original de, você sabe, realmente -- temos focado tanto na armação habilitada por IA, reconhecimento de IA. Realmente precisamos começar a focar em toda essa persistência. Como eles estão mantendo a persistência através da IA, como a IA pode agir como comando e controle, ou como a IA pode precipitar ou manifestar esses, você sabe, C2s que são dinâmicos e/ou estego que é persistente. Isso é realmente o que os defensores devem estar focando, particularmente se você é uma Fortune 1000, ou está fazendo negócios com uma Fortune 1000, e eles querem sequestrar seu ambiente para atacar essa entidade.
Johnny Hand: Sim. Sim. Isso faz muito sentido. Se pudermos voltar ao tópico de restrições de recursos, eu sei que cerca de metade dos líderes de segurança não viu aumento de orçamento para suas equipes de segurança, e eles ainda reportam ao CIO. O que precisa mudar estruturalmente para as instituições configurarem-se em termos de luta para que possam ser bem-sucedidas em defender contra tanto os ataques iniciais quanto os persistentes?
Tom Kellermann: E isso é enfurecedor para mim. Absolutamente enfurecedor para mim, você sabe. Se você é uma instituição financeira, seu CISO deve estar reportando ao seu CEO, assim como Johnny faz aqui. É assim que deve ser. Você deve ter acesso direto. Você não deve estar lutando por recursos com seu CIO. Mas também, acho que como -- vou fazer a palestra principal no Summit Regulatório do FFIEC em DC em breve. Deve haver requisitos de relatório para saber se sua infraestrutura está sendo usada para pular de ilha. O que quero dizer com isso é se sua infraestrutura foi sequestrada para ser usada para atacar outras partes. E deve haver requisitos de relatório em torno de ataques destrutivos. "Você sofreu um ataque destrutivo?" não "Você pagou por ransomware ou sofreu um ataque de ransomware?" Acho que há gaps nos relatórios, e deve haver mudanças e níveis mais altos de mandatos para resolver alguns dos problemas que lidamos hoje. Tipo, você sabe, você tem muitos zero days por aí. Patching virtual, proteção de vulnerabilidade deve ser um mandato, etc., etc., etc.
Johnny Hand: Sim, era meio onde eu estava indo em seguida, porque as instituições financeiras são fortemente reguladas, vamos começar a ver mais regulamentos surgirem que são focados na IA, ou pelo menos resposta a explorações de IA agente?
Tom Kellermann: Nós veremos. Os EUA provavelmente vão arrastar os pés por causa do lobby da K Street, e a diluição da regulamentação proativa quando se trata de cibersegurança no setor financeiro. Acho que a Autoridade Monetária de Cingapura será um primeiro movimento porque eles sempre foram muito mais, como eu digo, draconianos e/ou avessos ao risco. E acho que os europeus seguirão o exemplo, e então o FFIEC, espero, seguirá em sintonia. Mas, no mínimo, acho que deve haver maior -- menos negação plausível e muito mais transparência na dualidade de utilidade da IA e/ou os ataques de hoje.
Johnny Hand: Isso é interessante. Vou dizer, voltando à sua declaração sobre alinhar a organização de segurança através do CEO, provavelmente há muitos líderes de segurança que estão ouvindo este podcast e torcendo, principalmente porque acho que eles querem trazer essa voz mais alta para as salas de reunião, e muitos CISOs estão reportando ao conselho, mas não são membros do conselho. Eles não têm esse nível de CEO. E eu sempre -- eu sempre vi a relação com o CIO como muito complementar e sempre, você sabe, um bom alinhamento na maioria das vezes, mas à medida que avançamos para a era da IA, isso cria muitos desafios porque você está encarregado de proteger algo que está, você sabe, sendo impulsionado pelo negócio, e se você está competindo com recursos, alinhamento e essas coisas, eu definitivamente posso ver isso sendo um grande desafio. Então, você provavelmente terá tanto aplausos quanto um pouco de, você sabe, espero que não muito desafio da nossa comunidade de CIO também.
Tom Kellermann: Bem, e quanto -- e quanto ao poder de veto? No mínimo, um CISO deve ser capaz de vetar qualquer projeto iniciado pelo CIO ou CTO que crie risco sistêmico em toda a organização. Ou desacelerar algo porque os exercícios de equipe vermelha que suas equipes conduziram, Johnny, provam que havia, você sabe, uma incrível superfície de ataque lá.
Johnny Hand: Sim, eu concordo. Acho que há um nível de maturidade em uma organização que precisa acontecer, centrando a segurança como um parceiro de negócios realmente próximo em tudo isso. Acho que o alinhamento disso é interessante. Certamente acho que há -- você sabe, e vimos isso por anos, certo? Vimos isso com o CIO, o crescimento do movimento CIO e CTO dentro das organizações na última década, onde eles meio que passaram de, você sabe, posições secundárias de C-suite para uma mais primária e então, você sabe, reportando diretamente ao CEO. Então, acho que é a progressão natural. A IA está acelerando isso porque há uma necessidade de transparência e visibilidade em toda a organização, e não é uma capacidade de adição. Então, definitivamente em acordo com muito do que você está dizendo.
Dustin Childs: Bem, rapidamente, quero dizer, a única coisa que eu estava interessado é que estamos falando sobre o uso ofensivo de IA agente. As instituições financeiras estão, em suas pesquisas e conversas com elas, usando IA agente para soluções defensivas? E se sim, o que acontece quando você fica sem tokens no meio de uma resposta a incidentes?
Tom Kellermann: Sim, as instituições financeiras estão usando para medidas defensivas, principalmente para caça de ameaças, mapeamento de caminhos de ataque, resposta a incidentes, você sabe, automação. Acho que eles estão desafiados em si mesmos com a quantidade de informação e volume de dados que está vindo para eles e a persistência do adversário dentro dos sistemas. Acho que um dos desafios -- voltando aos pontos sobre adversários aproveitando a resposta contra-incidente e se tornando mais punitivos contra os defensores é que realmente precisamos mudar a maneira como defendemos. Por exemplo, como, no mundo de hoje, você não quer necessariamente terminar o comando e controle que você encontrou porque pode desencadear uma sucessão de eventos ou um impacto em cascata de, tipo, C2s dinâmicos lançando wipers em seu sistema ou um adversário essencialmente indo nuclear. Então, acho que é importante notar que -- eu acho que eles estão enfrentando desafios maiores no sentido de que eles entendem que suas estratégias de mercado são realmente seu santo graal, e que se seu adversário está agora trabalhando para um banco sancionado estrangeiro que pode tomar posições de mercado à frente de sua instituição, eles estão tomando um grande golpe na natureza de suas transações enquanto trabalham nos mercados, especialmente nos mercados de commodities.
Johnny Hand: Então, Tom, no interesse do tempo e enquanto encerramos a entrevista aqui, eu queria ter certeza de que não perdemos a oportunidade de obter seu ponto de vista sobre o tópico de hoje. Então, há uma peça de sabedoria duramente conquistada sobre segurança de IA que você gostaria que os líderes de segurança soubessem, ou talvez uma ou duas conclusões principais da conversa de hoje que o líder de segurança poderia sair e dizer, "Eu preciso olhar para isso"?
Tom Kellermann: Então, de uma perspectiva de segurança de IA, trate a IA, a IA não governada, como um canal C2. Quando você começa a governá-la, acho que, como você disse anteriormente, visibilidade, observabilidade e privilégio mínimo são essencialmente importantes, como passos iniciais para protegê-la. Eu acho que se você padronizar em um modelo versus outro, talvez usando tecnologia de engano para entender quando os guardrails estão sendo manipulados poderia ser muito benéfico para você, dado que, você sabe, proteger os próprios guardrails ainda é uma forma de arte. Para mim, pelo menos. E então, por último, mas não menos importante, não subestime o adversário. Você tem cartéis de cibercrime que estão sendo protegidos por quatro estados-nação desonestos que estão ativamente perseguindo você. E vimos evidências de colaboração agora, colaboração real entre esses quatro estados-nação desonestos, ou eu os chamo de Eixo do Ciber, e eles estão propositalmente alvejando instituições financeiras por aí agora para compensar sanções econômicas.
Johnny Hand: Então, Tom, obrigado pela ótima conversa hoje. Eu não sei se vamos animar as pessoas ou aterrorizá-las com isso, mas realmente apreciamos você compartilhar seus insights sobre velocidade de máquina, as ameaças que estão enfrentando as instituições financeiras, e mal podemos esperar para tê-lo de volta no programa no futuro.
Tom Kellermann: Muito obrigado.
Johnny Hand: Uau. Dustin, esse foi um episódio incrível, e eu senti que poderíamos ter conversado com Tom para sempre, especialmente enquanto começamos a desvendar como a indústria financeira é impactada, como a IA agente no caminho de ataque está surgindo, e então também como estamos vendo esses paralelos onde estamos mudando de apenas roubar dados para realmente interromper essas operações onde os atacantes estão lutando com você ao vivo enquanto você está tentando fazer sua investigação.
Dustin Childs: Sim, e porque o cibercrime agora está industrializado e agente, a defesa em ritmo humano simplesmente não consegue acompanhar. E a resposta de Tom é detecção e resposta impulsionadas por IA, o que libera seus analistas para fazer o trabalho de maior valor em vez de substituí-los.
Johnny Hand: Sim, esse é um bom ponto, e vou ser honesto, como um CISO, eu gostei de outra peça que ele falou, que foi muito estrutural. Você tem que elevar o CISO e reequilibrar o gasto em direção a pessoas e detecção gerenciada, não apenas as ferramentas. Então, essa estrutura realmente é uma boa estratégia.
Dustin Childs: Você sabe, este episódio me lembrou do nosso primeiro episódio com Robert McArdle, também, onde ele falou sobre crime de vibração e como a IA agente está sendo usada para criminosos como serviço. E isso pode ser algo que você queira ouvir também se tiver tempo depois que este episódio terminar. Queremos agradecer a Tom Kellermann por se juntar a nós e compartilhar sua pesquisa conosco. Confira as notas do programa para seu relatório, Modern Bank Heist 2026, e como se conectar com Tom.
Johnny Hand: E isso encerra mais um episódio do AI Security Brief. Queremos agradecer por se juntar a nós, e nosso objetivo é sempre hospedar conversas que façam você pensar de forma diferente sobre segurança. E se isso acontecer, por favor, inscreva-se para não perder o que vem a seguir.
Dustin Childs: AI Security Brief é mixado e produzido por Elliott Peltzman, com música original de Amneajynx. Produtora executiva é Jennifer Eiben, com estratégia de conteúdo por Ma'ayan Plaut e Melany Gallant. Ajuda adicional de produção de Liz Stokes. Edição de vídeo por Sarelle Joppy e Brigitte Criqui-Wild.
Johnny Hand: Muito obrigado por ouvir, e nos vemos na próxima vez no AI Security Brief. [ Música ]
