Zach Evans: Não dá para colocar o gênio de volta na garrafa. Eu não acho que devamos colocar o gênio de volta na garrafa. Mas nossas práticas de segurança e a forma como construímos soluções terão que mudar um pouco para levar em conta os novos riscos que estão sendo introduzidos por causa dessa tecnologia. [ Música ]
Johnny Hand: Bem-vindo ao AI Security Brief, onde estamos desvendando ameaças emergentes de IA, pesquisa de vulnerabilidades e as decisões estratégicas que os líderes de segurança estão tomando agora. Eu sou Johnny Hand.
Dustin Childs: E eu sou Dustin Childs. O convidado de hoje é Zach Evans, CTO da Xsolis, uma empresa de dados de saúde que está construindo modelos preditivos impulsionados por IA há mais de uma década, muito antes de IA nativa se tornar apenas um termo de marketing. A equipe de Zach produziu mais de 6,5 bilhões de previsões clínicas a partir de um único modelo, e a empresa foi construída desde o primeiro dia para eliminar silos de dados entre hospitais e seguradoras. O nome da empresa é literalmente silos escrito ao contrário.
Johnny Hand: Sim, é uma ótima conversa. E realmente começamos a mergulhar no termo IA nativa e o que isso realmente significa e como não é apenas adicionar IA à sua organização. Zack tem um teste simples que discutimos onde dizemos, essencialmente, se você retirar a IA do produto, ele para de funcionar? E se parar, provavelmente não é IA nativa. Então, aprofundamos em IA agente, especialmente em ambientes de saúde de alto risco, e como você precisa integrar seus agentes da mesma forma que integra um novo funcionário em sua empresa com acesso de menor privilégio. Também falamos sobre por que o incidente Hugging Face e OpenAI foi um grande alerta para todos nós.
Dustin Childs: Se você está executando agentes em um ambiente altamente regulado e de alto risco, seja financeiro, de saúde, infraestrutura crítica, esta conversa é sobre o que muda no momento em que um agente erra. E Zach não evitou a pergunta mais difícil também. O que acontece com as habilidades da sua equipe quando o agente é quem está fazendo o trabalho? Vamos entrar nisso.
Johnny Hand: Então eu tenho que perguntar porque tenho certeza de que nossos ouvintes, eu sei que eu tenho, foram inundados com este termo, especialmente um termo de marketing que ouvimos o tempo todo, que é "IA nativa". Estamos ouvindo isso sendo jogado por aí. Então, quando você diz que Xsolis é uma empresa de IA nativa, o que isso significa para sua empresa, a forma como ela é realmente construída? E então como a maioria das empresas está usando esse termo que talvez seja diferente da sua empresa?
Zach Evans: Não, eu acho que é uma ótima pergunta. E, você sabe, realmente, quando penso sobre o que significa ser IA nativa, é realmente sobre, se você é IA nativa, não é apenas uma capacidade que você adicionou a um processo existente. É realmente algo que tem que ser central para o que você está construindo e o que você construiu e o que você vai construir no futuro. E então, para Xsolis, o que isso significa é -- você sabe, lançamos nosso primeiro modelo preditivo impulsionado por inteligência artificial há mais de uma década. Ele produziu mais de 6,5 bilhões de previsões em nome de nossos clientes. E então realmente construímos toda a nossa infraestrutura, nosso modelo de dados inteiro, realmente a forma como vamos ao mercado em torno da ideia de que queremos que tudo o que trazemos ao mercado seja tocado e impulsionado por inteligência artificial. Agora, há todos os tipos de diferentes aplicações de inteligência artificial. Você me ouviu falar sobre aprendizado de máquina e algumas dessas primeiras aplicações de inteligência artificial até IA generativa e agora em IA agente. Mas quando penso em ser IA nativa, novamente, é realmente sobre, não é apenas um complemento, é algo que realmente permeia tudo o que você faz como empresa e a forma como você constrói tudo para o seu negócio.
Johnny Hand: Agora, o nome, eu notei, tenho certeza de que isso foi intencional, Xsolis é "silos" ao contrário. Quebrar silos de dados entre hospitais e seguradoras foi a tese fundadora, ou isso ficou claro ao longo do tempo?
Zach Evans: Não, isso absolutamente foi parte de nossa tese fundadora desde o início. Então você está certo, o nome Xsolis é a palavra "silos" escrita ao contrário com um X na frente, porque é exatamente isso que queríamos fazer. Como organização, um de nossos princípios fundamentais é que realmente acreditamos na simetria de dados. Você sabe, muitas vezes, dentro de qualquer número de relacionamentos, não apenas dentro da saúde, mas dentro das indústrias em geral, certo, onde você tem, você sabe, dois componentes de um mercado, não é que eles estejam em desacordo um com o outro, mas que eles têm motivações ligeiramente diferentes, certo? Na indústria da saúde, onde você tem hospitais que estão fornecendo cuidados e merecem ser compensados por esses cuidados, mas esses cuidados estão sendo pagos por um terceiro, uma companhia de seguros que tem suas próprias motivações. Bem, o que esse tipo de dinâmica de relacionamento pode levar é a uma espécie de acumulação de informações, certo? Você sabe, uma parte ou outra, você sabe, constrói ou recebe ou de alguma forma desenvolve dados ou informações que lhes dão uma espécie de, você sabe, vantagem sobre a outra parte dentro desse mercado. E nós apenas pensamos que isso era uma maneira realmente não ideal de pensar sobre esse relacionamento. Porque às vezes, pode realmente levar a um resultado ruim para o cliente final, que é o paciente que está sendo tratado.
Dustin Childs: A realidade é que, você sabe, fluxos de trabalho de aprendizado de máquina e IA estão em vigor há muitos, muitos anos. Mesmo na TrendAI, temos usado eles como parte de nossos modelos de detecção por muitos anos. Então não está apenas começando, mas vimos uma transição maciça. Então, como isso se parece para vocês? Vocês estão vendo essa pontuação agora sendo gerada usando IA ou agentes de uma maneira que é diferente de quando vocês começaram?
Zach Evans: Sim, não, é uma ótima pergunta. Então, a forma como estamos pensando, especialmente com o surgimento de novas aplicações para inteligência artificial, especificamente IA agente, realmente onde estamos vendo isso acontecer é, você sabe, essa pontuação de nível de cuidado será, você sabe, computada por um agente? Talvez. Você sabe, um dos casos de uso que eu poderia ver lá é, eu mencionei, você sabe, nós recebemos aquele registro médico uma mensagem de cada vez e estamos constantemente atualizando essas previsões. Um caso de uso interessante para um agente seria um agente que decide, ok, qual é uma informação clínica material onde precisamos atualizar essa previsão versus, ok, isso é uma atualização imaterial para o modelo clínico e não precisamos atualizá-lo. Como esse é um caso de uso realmente interessante para um agente. Onde achamos que você pode gerar valor real com agentes de IA é o que você faz com esses dados. Então, você sabe, hoje, atualizamos nosso modelo, fazemos uma previsão, você sabe, disparamos uma notificação, ou atribuímos uma tarefa de fluxo de trabalho a uma pessoa no hospital para responder. E isso funciona muito bem. Mas um dos problemas é que todos esses hospitais estão sob restrições de recursos. Eles não podem contratar, eles literalmente não conseguem encontrar pessoas qualificadas suficientes para fazer esses trabalhos. Então você acaba com alto estresse, alta rotatividade. Você tem poucas pessoas fazendo muito trabalho. E então onde vemos muitos casos de uso para IA agente é automatizando certos componentes do que vem a seguir. >> Isso é interessante. Você sabe, muitas equipes ainda tratam agentes como coelhos de tarefas, que é apenas automação mais inteligente. Onde está a linha entre automação, orquestração e comportamento geral de agente, e por que errar nisso importa para a segurança? Você sabe, o mundo realmente acordou para uma nova realidade com o hacking do Hugging Face pela OpenAI, certo? E realmente expôs muitos dos desafios com agentes de IA, certo? Você sabe, quando você está apenas tentando automatizar uma tarefa discreta, você sabe, mover a caixa do ponto A para o ponto B, esse é um ótimo caso para automação, e você pode ter um agente realmente pequeno que faz isso. Você sabe, da mesma forma com orquestração, certo? Você sabe, você constrói esses agentes realmente pequenos e específicos que então são orquestrados através dessas séries de etapas. Você sabe, há absolutamente preocupações de segurança em torno disso. Mas quando você tem essas cargas de trabalho realmente bem amarradas, você sabe, pode definir esse raio de explosão, esse risco, um pouco mais fácil. Quando você entra em pensamento autônomo completo, certo, de onde, você sabe, você deu a um agente um objetivo e está dizendo, eu quero que você encontre o melhor caminho para alcançar esse objetivo, você realmente tem que projetar segurança desde o início e desde o zero. Você sabe, eu digo às pessoas com bastante frequência, eu digo, olhe, eu digo, quando as pessoas estão começando, mesmo com IA generativa, certo, você sabe, você está escrevendo seu primeiro prompt no Claude. Tipicamente onde você começa é você está dizendo, bem, eu quero fazer X, Y e Z. E você está dizendo ao agente o que você quer que ele faça, mas há um enorme ponto cego em você não está dizendo ao agente exatamente o que ele não tem permissão para fazer. E então essas guardrails e essas restrições, à medida que você se torna mais maduro e mais experiente em engenharia de prompts, você começa a aprender a definir esse espaço negativo um pouco mais. Bem, quando você está lidando com agentes, o risco e a necessidade desse tipo de segurança cuidadosa em torno tanto do que você quer que o agente realize, mas também explicitamente o que você não quer que ele realize se torna muito mais crítico. E novamente, o hack do ChatGPT do Hugging Face é um ótimo exemplo disso, certo? O agente decidiu que o próximo melhor curso de ação era que precisava de acesso à internet pública e descobriu que o Hugging Face tinha a resposta que precisava. Você sabe, como você projeta em torno disso de uma perspectiva de segurança é crítico para garantir que o agente não seja capaz de fazer essa escolha. Embora, você sabe, em um vácuo, essa seja a próxima melhor escolha, ele não entende as consequências das escolhas que está prestes a fazer. E você tem que garantir que está construindo segurança proativa em torno disso. >> Então eu também vejo servidores MCP como uma verdadeira superfície de ataque que a maioria das equipes de segurança ainda não alcançou. Como é na prática um agente bem guardado conectando-se a um servidor MCP mal protegido? Você sabe, é, cara, é uma questão com a qual eu luto todos os dias. Porque, você sabe, MCP é, é uma ótima, é uma ótima construção, é uma ótima ideia de como ter esses agentes capazes de acessar e acessar, você sabe, outras ferramentas e soluções de maneira contínua. Eu ouvi isso descrito desta forma, no entanto, você sabe, o que realmente precisamos que aconteça com os servidores MCP é que, você sabe, servidores MCP e algo como um gateway de API se juntem e tenham um bebê, onde você tem, você sabe, essas permissões e controles de acesso muito finos que são baseados em funções e são credenciados. E dessa forma, quando um agente acessa um servidor MCP, não é apenas o oeste selvagem de tudo o que aquele servidor MCP tem acesso, mas você tem esse controle credenciado muito fino com guardrails muito fortes sobre o que aquele agente é capaz de fazer quando passa pelo servidor MCP. Eu acho que é absolutamente onde precisamos chegar. E então a outra coisa que você tem que focar é que você tem que tratar um servidor MCP como um novo fornecedor que você está revisando. Você tem que fazer basicamente uma revisão completa de segurança para entender, você sabe, o que os agentes podem fazer enquanto acessam aquele servidor MCP. Você sabe, como os dados que você está enviando através do servidor MCP, como eles são tratados? Eles são controlados? Que tipo de acesso baseado em funções existe. Você sabe, você tem que tratá-lo como qualquer outro fornecedor de software para entender o risco que você está tentando gerenciar. Porque a promessa dos MCPs e a conectividade que eles prometem é absolutamente crucial para o crescimento da IA agente, mas também é muitas vezes um risco não gerenciado que pode realmente apresentar desafios para os profissionais de segurança. >> Eu quero mudar um pouco de marcha para trás, você sabe, muitas vezes quando você olha para indústrias como saúde, você olha para indústrias como, você sabe, com indústrias de OT e infraestrutura crítica e essas coisas onde há um impacto real quando erros acontecem. Como você está equilibrando o risco enquanto constrói esses agentes e como é essa redundância e backup para você? Você sabe, é -- Eu passei algum tempo como diretor de TI dentro de um hospital, ok, e então eu sei como é um evento de tempo de inatividade dentro de um hospital, quando os clínicos têm que voltar ao papel porque o registro médico eletrônico saiu do ar, por qualquer motivo que seja. E então eu vi isso na linha de frente de onde, você sabe, você está entregando a um médico ou você está entregando a uma enfermeira um gráfico de papel para registrar. E a realidade era que havia alguns clínicos que, você sabe, apenas com base em quando foram treinados, nunca tinham escrito em um gráfico de papel. E então você tinha que fazer, você sabe, muitas vezes algum treinamento intensivo sobre exatamente como preencher um gráfico de papel. Não era porque eles não eram, você sabe, inteligentes o suficiente para fazer isso. Esses eram clínicos incrivelmente inteligentes. Eles apenas nunca tinham trabalhado nesse tipo de ambiente. E esse é um risco muito real. À medida que tiramos quantidades crescentes de trabalho das mãos dos indivíduos e colocamos nas mãos dos agentes, você tem que ser capaz de planejar o que acontece quando o agente não está disponível. Um sistema não pode simplesmente cair porque um agente não está mais automatizando uma parte da funcionalidade. Então você tem que ter soluções manuais dentro de um sistema para fornecer redundância. Essa é a solução técnica. Mas você também tem que ter uma solução de pessoas. Que mesmo enquanto você automatiza o trabalho, ainda há pessoas que entendem qual é o processo subjacente em caso e quando aquele agente sai do ar. >> Então isso é muito interessante, porque tenho certeza de que você está familiarizado com o programa de TV The Pit? Eu estou. >> Na segunda temporada, algo como o que você descreveu aconteceu onde eles tiveram que voltar para caneta e papel versus seus computadores. Estou apenas curioso, qual é a sua opinião? Eles acertaram, ou chegaram perto? Foi estranhamente próximo, ok? Sim, o exemplo do mundo real que eu vivi quando eu era o diretor de TI e houve um evento de tempo de inatividade -- agora isso é, isso é mais de uma década atrás -- mas parecia muito com isso. De, você sabe, até, você sabe, como parte de nossos procedimentos de tempo de inatividade, você sabe, se você se lembra em The Pit, certo, eles puxaram, era como este carrinho rolante que tinha essas folhas sobre ele que as pessoas podiam documentar. Você tinha que planejar, ok, olhe, é ótimo que você tenha formulários de tempo de inatividade. Mas e se a rede estiver fora do ar e todas as impressoras estiverem fora do ar e você não puder imprimir novas cópias? E então, você sabe, você tinha que pensar em coisas assim e estar preparado para, você sabe, como você continuaria a fornecer cuidados. Então sim, The Pit, eu vou dizer, tendo vivido isso, foi -- meu coração começou a acelerar um pouco quando assistimos aquele episódio porque eu estive lá, e eles não estão errados com a forma como o retrataram. >> Tivemos uma conversa realmente ótima até agora e o que eu queria fazer é, com base no que falamos hoje e meio que nossos destaques, há uma coisa que você quer que nosso público pense ou talvez faça quando ouvir esta conversa? Sim, eu acho que a maior coisa que eu quero que o público pense é realmente como você traz esses princípios de segurança por design desde o início, certo, especialmente com agentes. Isso não é mais, ok, você sabe, engenharia de software tradicional onde talvez, você sabe, uma equipe de engenharia de aplicativos sai e constrói algo e então há um portão de segurança em algum lugar antes de ir para produção. Isso simplesmente não vai ser suficiente. A segurança terá que ter um lugar à mesa desde a primeira sessão de design e realmente, novamente, aplicar alguns desses princípios em torno de confiança zero e outros tipos de melhores práticas de segurança desde a primeira vez que o agente está sendo projetado para que você possa realmente controlar e gerenciar o risco que está sendo criado quando você entrega a tomada de decisão a um pedaço de código de computador. Você sabe, não podemos colocar o gênio de volta na garrafa. Eu não acho que devamos colocar o gênio de volta na garrafa. Mas nossas práticas de segurança e a forma como construímos soluções terão que mudar um pouco para levar em conta os novos riscos que estão sendo introduzidos por causa dessa tecnologia. >> Sim, bem, Zach, muito obrigado por falar conosco hoje. Foi uma ótima discussão e eu realmente gostei. E espero que você possa voltar novamente no futuro em algum momento e nos dar uma atualização sobre você e o que a Xsolis está fazendo. Mas até lá, apenas muito obrigado por estar aqui. Não, muito obrigado pela oportunidade. Eu realmente aprecio isso. E sim, eu adoraria me juntar a vocês novamente em algum momento. >> Ótimo. Obrigado.
Johnny Hand: Dustin, que ótimo episódio com Zach. E ele traz tantos pontos valiosos, especialmente da indústria de saúde e o que ele está fazendo com IA agente. Eu acho que a única coisa que realmente podemos abraçar é que você tem que tratar cada agente de IA como se fosse uma nova contratação, certo? Você quer dar acesso de menor privilégio no primeiro dia, e então você só dá permissões mais amplas à medida que ele prova que pode ser confiável. E esse é o mesmo modelo de integração que usamos por décadas com nossas próprias pessoas.
Dustin Childs: Sim, isso mesmo, Johnny. Eu realmente apreciei isso também e foi uma boa analogia. Outra coisa que ele disse que realmente ficou comigo é sobre como os servidores MCP realmente são um ponto cego agora. E a forma como ele enquadrou isso realmente ficou comigo também. Ele disse, até que MCP se pareça com um gateway de API com acesso credenciado baseado em funções reais, você precisa tratar cada servidor ao qual se conecta como um novo fornecedor. Também vale lembrar que a própria pesquisa da TrendAI encontrou defeitos reais em cerca de 19.000 repositórios MCP escaneados.
Johnny Hand: Sim, e é uma boa chamada também, que as equipes de segurança precisam de um lugar na primeira sessão de design para agentes, não apenas como uma verificação antes de você se preparar para lançá-los. E o incidente OpenAI Hugging Face realmente mostrou que uma vez que um agente tem um objetivo, ele encontrará seu próprio caminho em torno de qualquer guardrail que você não projetou. Então eu também sei que nós dois somos grandes fãs de The Pit. Eu amo que você fez uma referência lá. E eu também amo o paralelo com o show e como as experiências reais de Zach no hospital se desenrolaram.
Dustin Childs: Sim, sem dar nenhum spoiler para a segunda temporada, quero dizer, o hospital teve algum tempo de inatividade de computador e realmente destaca seu ponto de que automatizar o trabalho não significa que você pare de precisar de pessoas que ainda podem fazê-lo manualmente. Por exemplo, o Dr. Robby foi capaz de lidar com isso, mas o Dr. Whitaker era novo e essencialmente foi desqualificado ao ponto de não poder mais fazer seu trabalho. Então, você sabe, o paralelo funciona muito bem e é muito interessante ver que sua experiência no hospital realmente correspondeu ao que o show fez. E é um lembrete para planejar quando o agente cai, não apenas quando o agente funciona. Gostaríamos de agradecer a Zach Evans por se juntar a nós hoje. Confira as Notas do Show para saber como se conectar com ele e aprender mais sobre a Xsolis.
Johnny Hand: E isso encerra mais um episódio do AI Security Brief. Queremos agradecer por se juntar a nós. E como sempre, nosso objetivo é hospedar conversas para fazer você pensar de forma diferente sobre segurança. E se isso acontecer, considere se inscrever para não perder o que vem a seguir. >> AI Security Brief é mixado e produzido por Elliott Peltzman, com música original de Amneajynx. Nossa produtora executiva é Jennifer Eiben, com estratégia de conteúdo por Ma'ayan Plaut e Melanie Galant. Ajuda adicional de produção por Liz Stokes. Edição de vídeo por Sarelle Joppy e Bridgitte Criqui Wild. >> Muito obrigado por ouvir, e nos vemos na próxima vez no AI Security Brief.
