Dr. Grace Trinidad: Além da higiene de token da sua organização, eu acho que AI FinOps, vamos ver muita energia de AI FinOps nos próximos 12 meses. Vamos ver uma série de jogadores emergirem como uma camada de segurança, até mesmo, porque uma maneira de atacar uma organização é atacar seu consumo de token, certo? Então, se eles estourarem seu orçamento em uma quarta-feira, o que fazem nesse ponto? Então essa é outra camada de segurança. [ Música ]
Johnny Hand: Bem-vindo ao AI Security Brief, onde estamos desvendando ameaças emergentes, pesquisa de vulnerabilidades e as decisões estratégicas que os líderes de segurança estão tomando agora. Eu sou Johnny Hand.
Dustin Childs: E eu sou Dustin Childs. Agora, Johnny, para este episódio, nós dois estávamos na estrada. Eu estava em Berlim para o Pwn2Own, e você estava em Phoenix, onde teve a oportunidade de se sentar com a Dra. Grace Trinidad da IDC. Eu adoraria ouvir mais sobre sua conversa.
Johnny Hand: Sim, foi honestamente uma conversa dinâmica. Então estávamos no nosso evento SPARK, que é nosso evento focado no cliente, e Grace pôde participar. E mergulhamos direto em algumas conversas realmente interessantes sobre adoção de IA. Ela tem algumas teorias muito boas que está publicando em sua pesquisa. Mas uma das coisas que mais se destacou, e provavelmente ressoou mais rápido comigo, foi que ela usou um termo que eu frequentemente uso nas Forças Armadas, que é, "Você tem que abraçar o sofrimento."
Dustin Childs: Sim, esse é um termo que eu também usei nas Forças Armadas. Então eu adoraria ouvir como ela aplica isso à inteligência artificial. Então vamos mergulhar na conversa. [ Música ]
Johnny Hand: Então, Grace, vamos ter otimização realizada, benefício realizado da IA?
Dr. Grace Trinidad: Sim. Estou otimista de que teremos benefícios realizados da IA. Mas eu acho que os estágios iniciais de expectativas provavelmente deveriam ser mais moderados. E então não perca a paciência com seus chatbots. Não perca a paciência com suas ferramentas de sumarização. Não perca a paciência com o tipo de frutos baixos que temos agora. Parte do que você está fazendo é construir o músculo, o músculo de IA em sua organização. Você está construindo conforto. Você está construindo confiança com o produto. Então é por isso que alucinações são um grande problema agora. Há deteriorações de confiança quando elas acontecem. Então, à medida que suavizamos essas coisas, ainda mais ganhos de eficiência e produtividade virão à tona. Mas agora, isso é como aprendizado nascente, todos juntos na primeira série, sala de aula do jardim de infância.
Johnny Hand: Eu adoro que você tenha dito, "Estamos construindo nossos músculos." Acho que é uma analogia tão boa porque um dos desafios -- eu queria dizer, como, o que você deveria gritar do telhado é realmente para os membros do conselho, que, "Ei, não vamos perceber o verdadeiro ROI. Não vamos ter esses benefícios líquidos que são tão fáceis de documentar porque estamos em um início muito, você sabe, fundamental deste processo," certo? Então vamos mergulhar nisso um pouco. Você sabe, mais cedo estávamos conversando, e eu tenho a sensação quando falo com muitas pessoas que estão fazendo adoção muito individualista, mas acham que estão fazendo crescimento organizacional. Você pode falar um pouco sobre isso, o que você está vendo?
Dr. Grace Trinidad: Sim. Não ignore o uso em nível individual. Vamos precisar deles para nossa construção de ontologia, então incentive isso. Há recompensas mais tarde se você continuar nesse caminho. Mas estamos -- então a experimentação individual -- você está -- parte do problema é que precisamos de nossa equipe, precisamos de usuários de IA para saber quando confiar na IA e quando descartá-la.
Johnny Hand: Sim.
Dr. Grace Trinidad: Certo? E então, enquanto este é um período de experimentação individual e tentando seus próprios prompts, desenvolvendo seus próprios prompts, desenvolvendo suas próprias ferramentas, desenvolvendo seu próprio código, isso é tudo apenas parte de descobrir o quão errado pode ser e quão certo também pode ser, e essa calibração de confiança, que precisaremos quando as empresas estiverem totalmente dependentes da IA. Então isso está acontecendo lentamente, e sob alguma crítica e pressão. Eu não acho que seja uma coisa terrível, mas não perca de vista o fato de que isso é tudo parte do processo de aprendizado para chegar a coisas realmente boas no futuro. E eu acho que finalmente estamos, neste ponto, onde a abordagem de segurança de IA é madura o suficiente para que possamos falar sobre isso em, tipo, frases completas e com, você sabe, ideação compartilhada.
Johnny Hand: Sim. Estou tão feliz que você trouxe o tópico de segurança de IA porque, quando nós -- quando eu falo com as pessoas, eu realmente, tipo, fiz essa espécie de equação há um tempo atrás, e você me desafiou nisso, o que eu amo, aliás. E foi que eu realmente vi a adoção de IA, mesmo que estivesse se movendo mais rápido, como meio que a maneira como fizemos a adoção de nuvem. Você sabe, nessa ideia que tivemos, a nuvem surgiu, você teve alguns primeiros adotantes, você começou a construir na nuvem. Principalmente, era como desenvolvedores e, você sabe, administradores de sistemas e arquitetos. E não havia realmente uma presença de segurança. Então não tínhamos realmente visibilidade nesse plano. E foi provavelmente três ou quatro anos depois que realmente começamos a construir e ter uma voz em torno de proteger a infraestrutura de nuvem. Então, quando olho para a jornada da IA, meio que olhei para ela através dessa lente. Mas você realmente me desafiou a olhar para ela através de uma lente diferente, e eu adoraria que você compartilhasse isso.
Dr. Grace Trinidad: Sim. Bem, porque enquanto eu concordo completamente que a história de segurança na nuvem espelha muito a história de segurança de IA, eu acho que a IA -- esta era de IA que estamos entrando tem muito mais em comum com 1996. É 2026. É incrível. Tem muito mais em comum com 1996 do que eu acho que a maioria de nós lembra. Estamos mais velhos.
Johnny Hand: Então estamos falando sobre o início da internet.
Dr. Grace Trinidad: O início da internet. Então, você sabe, um dos meus colegas me enviou uma mensagem dizendo que eles ficaram sem token em seu modelo de fundação de escolha. E ele está tipo, "É como 100 horas de AOL. Onde está o resto do meu uso de internet?" E isso é uma -- é uma coisa tão engraçada de conceituar agora, como 100 horas de acesso à internet. E, de fato, AOL, se você olhar para a história desse acesso de 100 horas, as pessoas realmente se queimaram porque rapidamente estouraram suas 100 horas de acesso à internet como se faz. E estamos meio que experimentando a mesma coisa com a IA, certo? Então os paralelos são realmente limpos. Então, em 1996, tínhamos uso que as pessoas não podiam planejar. Não tínhamos ideia de como as pessoas iam usar a internet. E então esse disco de 100 horas foi fornecido às pessoas em suas casas. Todo mundo estourou seus orçamentos. Algumas pessoas receberam contas realmente, realmente ruins. E então todo o modelo de preços mudou com AT&T Net, certo? E então essa competição introduziu um novo paradigma, e agora temos a internet que temos hoje. Meu Deus, você pode imaginar se fôssemos cobrados por hora? Terrível.
Johnny Hand: Loucura. Loucura. Sim.
Dr. Grace Trinidad: Mas então o outro paralelo em '96 foi o pânico em torno do consumo de energia.
Johnny Hand: Ah.
Dr. Grace Trinidad: Então é aqui que, tipo, é como IA tudo de novo. Houve tanta preocupação em torno de quanto uso de internet ia simplesmente explodir a rede.
Johnny Hand: Sim.
Dr. Grace Trinidad: E rapidamente, na verdade, havia, tipo, todas essas citações de que ia levar oito vezes a energia. Tipo, simplesmente não tínhamos a infraestrutura porque não podíamos -- não éramos capazes, como um globo, de suportar oito vezes o uso de energia, que era -- isso era o -- isso era o que foi previsto no início. Mas, semelhante aos modelos de IA, à medida que o tempo passa, o computação fica mais barato. E assim também o token. Os tokens também -- o consumo de token também está se tornando mais eficiente com modelos de IA. Então estamos vendo esses custos, essas preocupações originais sobre consumo de energia e custo, estamos vendo essas coisas meio que seguir a mesma trajetória de 1996.
Johnny Hand: Sim, eu honestamente não estava -- Então, Grace, vamos falar um pouco sobre isso, você sabe, realmente em torno dessa higiene de token e, tipo, com o que as organizações estão realmente lutando hoje. Porque você mencionou, especialmente das pequenas a médias empresas, que queremos capacitar nossos funcionários e nosso pessoal para inovar e realmente idealizar e usar essas ferramentas, mas há um custo real por trás disso. E é quase como dizer, "Ei, vá brincar, mas a que custo?" E como você está vendo o uso de token, a higiene disso, e talvez como as organizações podem ajudar a gerenciar isso um pouco?
Dr. Grace Trinidad: Sim. Então isso é algo que usuários pesados de IA estão enfrentando, especialmente usuários pesados de agentes. Então os agentes que são capazes de implantar seus próprios fluxos de trabalho e, em alguns casos, seus próprios agentes, eles realmente trabalham muito em seu nome, para seu detrimento também. Então, como exemplo, às vezes o que acontece é que um agente será definido em uma tarefa, você dará suas instruções, e ele será definido em uma tarefa, e então ele encontrará um obstáculo. Talvez você não tenha acesso a esse conjunto de dados específico, ou há algo -- algo foi configurado errado, esse agente tentará em todas as permutações passar por sua organização para chegar a esse recurso. Abençoe seu coração. Mas o que acaba acontecendo é que o custo desse esforço ou desse -- seja o que for que você queria fazer, esse custo -- agora custa 14 vezes o que você havia previsto, certo? Porque agora ele se roteou por toda a empresa procurando o que precisa para fornecer a você para executar suas instruções, e não pode.
Johnny Hand: Sim, é um bom paralelo porque você vê isso onde é tipo, "Oh, eu posso ter uma alocação de mil tokens," e então, você sabe, antes que você perceba, eles gastaram $15,000 em algo que não valia um quarto disso.
Dr. Grace Trinidad: E então, onde estou vendo alguma pressão se acumular nas empresas agora não é tanto em segurança de IA, mas em consumo de token. E então, nisso, você sabe, as organizações vão querer olhar para a higiene de seus modelos. Então ele exclui palavras desnecessárias? Ou, você sabe, muitos dos modelos de fundação já estão otimizados para não gastar tokens quando estão dizendo, "Obrigado," ou "De nada," certo? Mas os modelos de linguagem menores podem não ter isso. Então, na adoção empresarial, o que não percebemos enquanto estamos usando Claude ou enquanto estamos usando OpenAI é que esses modelos de fundação realmente vêm com restrições para reduzir o consumo de token. E então, as organizações que estão usando em breve usarão modelos específicos de domínio, modelos de linguagem pequenos, essa é uma área onde você vai querer investigar. Qual é a higiene de token desse modelo em si, certo? Então, além da higiene de token da sua organização, eu acho que AI FinOps, vamos ver muita energia de AI FinOps nos próximos 12 meses. Vamos ver uma série de jogadores emergirem como uma camada de segurança, até mesmo, porque uma maneira de atacar uma organização é atacar seu consumo de token, certo? Então, se eles estourarem seu orçamento em uma quarta-feira, o que fazem nesse ponto? Então essa é outra camada de segurança.
Johnny Hand: Então, Grace, mais cedo estávamos falando sobre disrupção e reconhecendo que estamos nesta fase de disrupção, não estamos na fase de transformação. E eu acho que há provavelmente indústrias que mostram isso melhor do que outras. O que você está encontrando em sua pesquisa?
Dr. Grace Trinidad: Então, eu não inventei as fases de experimentação, disrupção, estabilização e então transformação. Vimos isso através de outros projetos de transformação digital, então meu histórico é realmente em garantia de informação em saúde. E uma das -- uma das maiores transformações é a introdução de registros eletrônicos de saúde em hospitais e sistemas de saúde. E essa transição, na esteira do HITECH Act, ocorreu -- o quê? -- 2010 a 2015. E tivemos uma série de aposentadorias porque isso é uma coisa realmente, realmente difícil de introduzir no fluxo de trabalho de um médico. Agora, você tem EHRs com os quais você tem que interagir. As pessoas simplesmente saíram. Mas mais tragicamente, a mortalidade também aumentou. Então há pesquisas que mostram que a mortalidade pediátrica em unidades de terapia intensiva aumentou 136% uma vez que os registros eletrônicos de saúde foram introduzidos. Sim, esse não é um ótimo número. E você pode imaginar se eu viesse a um líder empresarial com esse número e dissesse, "Se você implementar isso, a mortalidade vai aumentar 136%, mas vai ser ótimo"? Ninguém teria implementado. No entanto, veja onde -- onde chegamos como resultado da implementação de EHR. Temos -- é mais fácil enviar seus registros. É mais fácil examinar seus registros. Temos melhor vigilância como resultado disso, melhor rastreamento de dados.
Johnny Hand: Correlação, certo?
Dr. Grace Trinidad: Temos -- sim, exatamente.
Johnny Hand: Melhor correlação.
Dr. Grace Trinidad: Melhor correlação. Isso é, novamente, se você quiser voltar às ontologias de saúde. Então essa não é a única transformação digital que ocorreu. A saúde é um exemplo realmente, realmente ótimo de uma. É uma muito disruptiva que pagou no final. Muito dolorosa, mas muito transformadora. A outra transição que ocorreu -- há várias, mas a outra transição que eu realmente gosto de falar é a aviação.
Johnny Hand: Sim.
Dr. Grace Trinidad: Então, acabei de sair de um avião hoje. Você saiu de um avião ontem. Nós entramos em aviões todos os dias, e confiamos que vamos chegar ao nosso destino. Muito disso é fly-by-wire agora. Então isso é automação que nós, como cultura, viemos a confiar. Mas nem sempre foi confiável. Você sabe, perdemos de vista isso. A aviação passou de pilotos sendo o principal motorista para pilotos sendo um supervisor da automação do avião, com treinamento para intervir quando a expertise era necessária.
Johnny Hand: É o paralelo para IA.
Dr. Grace Trinidad: Meio incrível.
Johnny Hand: Tão louco. Sim.
Dr. Grace Trinidad: Certo? Então nossos pilotos hoje não são apenas treinados em como pilotar um avião. Eles são treinados em pesquisa de fatores humanos. Eles são treinados em um conceito chamado surpresa de automação, e isso é quando um sistema automatizado faz algo que você está tipo, "O que é isso?"
Johnny Hand: "Por que fez isso?"
Dr. Grace Trinidad: Você tem as ferramentas, o conjunto de ferramentas cognitivas para classificar o que pode estar acontecendo, para que você possa quebrar o problema, certo? Então é assim que os pilotos estão sendo treinados agora. Fatores humanos, surpresa de automação, e como manter a supervisão sobre um sistema automatizado enquanto ainda está engajado com esse sistema, certo? Essa é a parte difícil. Tipo, como você não apenas adormece ao volante?
Johnny Hand: Sim.
Dr. Grace Trinidad: E então, é nisso que muito do treinamento de pilotos está agora. E eu quero enfatizar, tipo, não perdemos pilotos. Não começamos apenas a entregar controles para mim, qualquer um, você sabe, alguma pessoa aleatória, e dizer, tipo, "Isso é automação agora, você pode pilotar." Nós absolutamente não fizemos isso. Ainda temos pilotos altamente treinados, que devem operar esta maquinaria muito, muito técnica que, na maior parte, se dirige sozinha. E o mesmo vai acontecer com a IA. Precisamos treinar pilotos para permanecerem no loop, mas fora dos detalhes.
Johnny Hand: Sim. [ Música ] Então, enquanto meio que encerramos por hoje, se você tivesse que dar três ou quatro principais conclusões para nosso público e aqueles líderes de segurança que estão olhando para, "Bem, como eu navego por esta fase de disrupção, entendendo que preciso proteger minha organização?" Há alguma conclusão chave que você gostaria de compartilhar com eles?
Dr. Grace Trinidad: Sim, absolutamente. Então, se formos para essas transformações digitais históricas, elas realmente oferecem conselhos muito, muito bons. Na automação industrial, a pesquisa foi tão clara. As empresas que desfrutaram dos melhores aumentos de produtividade e da melhor eficiência foram as empresas que reestruturaram todo o seu fluxo de trabalho em torno dessa tecnologia de automação, em vez de inserir essa tecnologia de automação nas operações de linha industrial existentes. Elas reestruturaram tudo.
Johnny Hand: Então sem complementos.
Dr. Grace Trinidad: Então sem complementos. Então o paralelo aqui é, se você está habilitando IA em sua empresa, onde você acha que ela realmente se encaixa melhor? Então onde há realmente um problema a ser resolvido? E como você realmente reformularia isso para melhor aproveitar essa tecnologia? Então essa seria minha primeira coisa, é tipo, procure -- procure lugares onde a tecnologia faz sentido, ou mude sistemas, ou mude sua organização para fazer a tecnologia fazer sentido. Isso é uma tarefa difícil, mas é parte de como as transformações digitais se desenrolam. E então, próximos passos, apenas para voltar à higiene de token e então à ontologia que estamos falando. Para criação de ontologia -- e eu acho que este é o próximo decisor -- ou este é o próximo diferenciador de negócios. Eu realmente acredito que ontologias serão o próximo diferenciador de negócios. Mas eu realmente quero que cada CTO ou cientista de dados em uma empresa pense sobre qual estrutura ontológica essa empresa pode realmente se beneficiar mais. Há várias que existem no mundo. Ontologia Formal Básica é uma, e então há OWL. Então há vários lugares para começar. Então, para este ano, eu acho que o verdadeiro calor nesta indústria será em torno de ontologias de intenção semântica, e então, consumo de token e AI FinOps. E eu acho que estamos chegando a um lugar onde as empresas realmente têm que equilibrar esse custo com o que são capazes de alcançar.
Johnny Hand: E isso apenas volta ao que falamos, é a necessidade de líderes de segurança se associarem mais estreitamente, se tornarem melhores entendedores do negócio.
Dr. Grace Trinidad: Sim, absolutamente.
Johnny Hand: E realmente impulsionar, você sabe, um relacionamento que se torna um facilitador de negócios.
Dr. Grace Trinidad: Sim. Sim. E então pense sobre, tipo, estruturar uma ontologia. Você tem que estar bem familiarizado com -- ou você tem que ter alguma maneira de se familiarizar bem com cada área do negócio para construir esse verdadeiro diferenciador.
Johnny Hand: Sim, e eu adoro o fato de que -- Eu acho, fizemos isso com segurança e percebemos que não era ótimo, e meio que reestruturamos, mas que não pode ser um complemento. Temos que construir nativamente com essas tecnologias para que possamos protegê-las nativamente.
Dr. Grace Trinidad: Sim. Sim. E isso apenas tem sido -- isso é parte do ciclo de disrupção de experimentação, certo? Estamos resolvendo isso, e estamos apenas -- estamos firmemente nessa disrupção.
Johnny Hand: Bem, muito obrigado por se juntar a nós no podcast AI Security Brief. Foi um verdadeiro prazer tê-la, e espero que possamos tê-la de volta no programa. [ Música ] Certo, Dustin, estamos de volta. Eu te disse que ia ser dinâmico. O que você achou da Dra. Grace?
Dustin Childs: Eu achei que ela fez muitos pontos realmente bons, e foi realmente interessante obter sua perspectiva, especialmente quando se trata da fase de disrupção das organizações implementando IA. E realmente, ainda estamos todos na fase de experimentação, e é bagunçado, e isso é normal. E é ótimo para ela descrever dessa maneira.
Johnny Hand: Sim, eu adorei. Foi bagunçado. É doloroso. Temos que abraçar o sofrimento e seguir em frente. Você sabe, outra coisa que ela falou, que realmente se destacou, é, você sabe, o fato de que as organizações simplesmente não estão nesta área madura de transformação, que na verdade estamos nos estágios muito iniciais dessas disrupções, e isso é totalmente ok. Eu adoro que quando entramos nesta conversa, eu acho -- provavelmente, se estou sendo honesto, atribuí a fase de adoção de IA em que estamos a ser mais como a fase de nuvem e segurança de nuvem de, você sabe, 10 anos atrás. E ela realmente mudou minha perspectiva sobre isso com seu ponto sobre como isso é mais como 1996 e os primórdios da internet.
Dustin Childs: Sim, eu achei isso realmente interessante também, e realmente -- eu não quero dizer que me fez sentir velho, mas definitivamente trouxe algumas memórias de ir a livrarias para discos da AOL para mais 100 horas, e dizer às pessoas que eu teria que ligar para elas depois das 21h porque é quando meus minutos eram gratuitos. Mas sim, quero dizer, isso -- olhar para a tokenização e seguir isso é muito interessante e muito comparável ao início disso. Eu também gosto da maneira como ela realmente falou sobre os ângulos de parceria de líderes empresariais. A segurança de IA requer participação de todos em cada linha de negócios, e não apenas da equipe de segurança. E eu achei que isso foi uma conclusão realmente importante também.
Johnny Hand: Sim, e então ela teve aquela conclusão final de líder de segurança, que é, isso não é sobre adicionar novas ferramentas em sua empresa. É uma transformação de modelo operacional para permitir que você se mova rapidamente.
Dustin Childs: Sim. E eu concordo completamente com ela nesses pontos.
Johnny Hand: Certo. Então, obrigado, Dra. Grace, por se juntar a nós e compartilhar seus insights. Se você quiser se conectar com ela em sua pesquisa ou aprender mais sobre a Dra. Grace, você pode ver nossas notas do programa para mais informações sobre como se conectar. E isso encerra mais um episódio do AI Security Brief. Queremos agradecer por se juntar a nós. Nosso objetivo é hospedar conversas que façam você pensar de forma diferente sobre segurança. E se isso acontecer, considere se inscrever para não perder o que vem a seguir.
Dustin Childs: AI Security Brief é mixado e produzido por Elliott Peltzman, com música original de Amneajynx. Nossa produtora executiva é Jennifer Eiben, com estratégia de conteúdo por Ma'ayan Plaut e Melany Gallant. Ajuda adicional de produção por Liz Stokes, Kasia Ferguson, e a equipe Black Rabbit. Edição de vídeo por Sarelle Joppy e Brigitte Criqui-Wild.
Johnny Hand: Muito obrigado por ouvir. Nos vemos na próxima vez no AI Security Brief. [ Música ]
