Zach Evans: No se puede volver a meter al genio en la botella. No creo que debamos volver a meter al genio en la botella. Pero nuestras prácticas de seguridad y la forma en que construimos soluciones tendrán que cambiar un poco para tener en cuenta los nuevos riesgos que se están introduciendo debido a esta tecnología. [ Música ]
Johnny Hand: Bienvenidos a AI Security Brief, donde estamos desglosando amenazas emergentes de IA, investigación de vulnerabilidades y las decisiones estratégicas que los líderes de seguridad están tomando ahora mismo. Soy Johnny Hand.
Dustin Childs: Y yo soy Dustin Childs. El invitado de hoy es Zach Evans, CTO de Xsolis, una empresa de datos de salud que ha estado construyendo modelos predictivos impulsados por IA durante más de una década, mucho antes de que IA nativa se convirtiera en solo un término de marketing. El equipo de Zach ha producido más de 6.5 mil millones de predicciones clínicas a partir de un solo modelo, y la empresa se construyó desde el primer día para eliminar los silos de datos entre hospitales y aseguradoras. El nombre de la empresa es literalmente silos escrito al revés.
Johnny Hand: Sí, es una gran conversación. Y realmente comenzamos a profundizar en el término IA nativa y lo que realmente significa y cómo no es solo agregar IA a tu organización. Zack tiene una prueba simple de la que hablamos donde decimos, esencialmente, si quitas la IA del producto, ¿deja de funcionar? Y si lo hace, probablemente no sea IA nativa. Luego profundizamos en la IA agentica, especialmente en esos entornos de atención médica de alto riesgo, y cómo necesitas integrar a tus agentes de la misma manera que integras a un nuevo empleado en tu empresa con acceso de privilegio mínimo. También hablamos sobre por qué el incidente de Hugging Face y OpenAI fue un gran llamado de atención para todos nosotros.
Dustin Childs: Si estás ejecutando agentes cerca de un entorno altamente regulado y de alto riesgo, ya sea financiero, de atención médica, infraestructura crítica, esta conversación trata sobre lo que cambia en el momento en que un agente se equivoca. Y Zach tampoco esquivó la pregunta más difícil. ¿Qué sucede con las habilidades de tu equipo cuando el agente es el que hace el trabajo? Vamos a entrar en ello.
Johnny Hand: Así que tengo que preguntar porque estoy seguro de que nuestros oyentes, sé que yo he estado, han sido inundados con este término, especialmente un término de marketing que escuchamos todo el tiempo, que es "IA nativa". Estamos escuchando que se usa mucho. Entonces, cuando dices que Xsolis es una empresa de IA nativa, ¿qué significa eso para tu empresa, la forma en que realmente está construida? Y luego, ¿cómo están usando la mayoría de las empresas ese término que tal vez sea diferente de tu empresa?
Zach Evans: No, creo que es una gran pregunta. Y, sabes, realmente, cuando pienso en lo que significa ser IA nativa, realmente se trata de, si eres IA nativa, no es solo una capacidad que has agregado a un proceso existente. Realmente es algo que tiene que ser fundamental para lo que estás construyendo y lo que has construido y lo que vas a construir en el futuro. Y entonces, para Xsolis, lo que eso significa es -- sabes, lanzamos nuestro primer modelo predictivo impulsado por inteligencia artificial hace más de una década. Ha producido más de 6.5 mil millones de predicciones en nombre de nuestros clientes. Y realmente hemos construido toda nuestra infraestructura, todo nuestro modelo de datos, realmente la forma en que salimos al mercado alrededor de la idea de que queremos que todo lo que llevamos al mercado sea tocado e impulsado por inteligencia artificial. Ahora, hay todo tipo de aplicaciones diferentes de inteligencia artificial. Me escuchaste hablar sobre aprendizaje automático y algunas de esas primeras aplicaciones de inteligencia artificial hasta llegar a la IA generativa y ahora a la IA agentica. Pero cuando pienso en ser IA nativa, nuevamente, realmente se trata de, no es solo un agregado, es algo que realmente permea todo lo que haces como negocio y la forma en que construyes todo para tu negocio.
Johnny Hand: Ahora, el nombre, me di cuenta, estoy seguro de que esto fue intencional, Xsolis es "silos" al revés. ¿Fue romper los silos de datos entre hospitales y aseguradoras la tesis fundacional, o eso se aclaró con el tiempo?
Zach Evans: No, absolutamente fue parte de nuestra tesis fundacional desde el principio. Así que tienes razón, el nombre Xsolis es la palabra "silos" escrita al revés con una X al frente, porque eso es exactamente lo que queríamos hacer. Como organización, uno de nuestros principios fundamentales es que realmente creemos en la simetría de datos. Sabes, muy a menudo, dentro de cualquier número de relaciones, no solo dentro de la atención médica, sino dentro de las industrias en general, ¿verdad?, donde tienes, sabes, dos componentes de un mercado, que no es que estén en desacuerdo entre sí, sino que tienen motivaciones ligeramente diferentes, ¿verdad? En la industria de la atención médica, donde tienes hospitales que están proporcionando atención y merecen ser compensados por esa atención, pero esa atención está siendo pagada por un tercero, una compañía de seguros que tiene sus propias motivaciones. Bueno, lo que ese tipo de dinámica de relación puede llevar es a la acumulación de información, ¿verdad? Sabes, una parte u otra, sabes, construye o recibe o de alguna manera desarrolla datos o información que les da una especie de ventaja sobre la otra parte dentro de ese mercado. Y simplemente pensamos que eso era una forma realmente no óptima de pensar sobre esa relación. Porque a veces, puede llevar a un mal resultado para el cliente final, que es el paciente que está siendo tratado.
Dustin Childs: La realidad es que, sabes, los flujos de trabajo de aprendizaje automático e IA han estado en funcionamiento durante muchos, muchos años. Incluso en TrendAI, los hemos estado utilizando como parte de nuestros modelos de detección durante muchos años. Así que no es solo que esté comenzando, pero hemos visto una transición masiva. Entonces, ¿cómo se ve eso para ustedes? ¿Están viendo que esa puntuación ahora se genera utilizando IA o agentes de una manera que es diferente a cuando comenzaron?
Zach Evans: Sí, no, es una gran pregunta. Entonces, la forma en que estamos pensando, especialmente con la aparición de nuevas aplicaciones para inteligencia artificial, específicamente IA agentica, realmente donde estamos viendo que eso sucede es, sabes, ¿alguna vez se calculará esta puntuación de nivel de atención por un agente? Tal vez. Sabes, uno de los casos de uso que podría ver allí es, mencioné, sabes, tomamos ese registro médico un mensaje a la vez y estamos constantemente actualizando esas predicciones. Un caso de uso interesante para un agente sería un agente que decide, de acuerdo, ¿cuál es un fragmento material de información clínica donde necesitamos actualizar esa predicción frente a, de acuerdo, esa es una actualización inmaterial para el modelo clínico y no necesitamos actualizarlo? Como ese es un caso de uso realmente interesante para un agente. Donde creemos que puedes generar un valor real con agentes de IA es lo que haces con esos datos. Entonces, sabes, hoy, actualizamos nuestro modelo, hacemos una predicción, sabes, enviamos una notificación, o asignamos una tarea de flujo de trabajo a una persona en el hospital para que responda. Y eso funciona muy bien. Pero uno de los problemas es que todos estos hospitales están bajo restricciones de recursos. No pueden contratar, literalmente no pueden encontrar suficientes personas calificadas para hacer estos trabajos. Entonces terminas con alto estrés, alta rotación. Tienes muy pocas personas haciendo demasiado trabajo. Y entonces donde vemos muchos casos de uso para IA agentica es automatizando ciertos componentes de lo que viene después. >> Eso es interesante. Sabes, muchos equipos todavía tratan a los agentes como conejos de tareas, que es solo una automatización más inteligente. ¿Dónde está la línea entre automatización, orquestación y comportamiento agentico general, y por qué importa equivocarse en eso para la seguridad? Sabes, el mundo realmente despertó a una nueva realidad con el hackeo de OpenAI a Hugging Face, ¿verdad? Y realmente puso al descubierto muchos de los desafíos con los agentes de IA, ¿verdad? Sabes, cuando solo estás tratando de automatizar una tarea discreta, sabes, mover la caja de punto A a punto B, ese es un gran caso para la automatización, y puedes tener un agente realmente pequeño que haga eso. Sabes, de manera similar con la orquestación, ¿verdad? Sabes, construyes estos agentes realmente pequeños y específicos que luego se orquestan a través de una serie de pasos. Sabes, hay absolutamente preocupaciones de seguridad alrededor de eso. Pero cuando tienes estos flujos de trabajo realmente estrechamente vinculados, sabes, puedes definir ese radio de explosión, ese riesgo, un poco más fácil. Cuando entras en el pensamiento autónomo completo, ¿verdad?, de donde, sabes, le has dado a un agente un objetivo y estás diciendo, quiero que encuentres el mejor camino para lograr ese objetivo, realmente tienes que diseñar la seguridad desde el principio y desde cero. Sabes, le digo a la gente con bastante frecuencia, digo, mira, digo, cuando las personas están comenzando, incluso con IA generativa, ¿verdad?, estás escribiendo tu primer mensaje en Claude. Típicamente donde comienzas es diciendo, bueno, quiero hacer X, Y y Z. Y le estás diciendo a ese agente lo que quieres que haga, pero hay un enorme punto ciego en que no le estás diciendo al agente exactamente lo que no se le permite hacer. Y entonces esos límites y esas restricciones, a medida que te vuelves más maduro y más experimentado en la ingeniería de mensajes, comienzas a aprender a definir ese espacio negativo bastante más. Bueno, cuando estás tratando con agentes, el riesgo y la necesidad de ese tipo de seguridad reflexiva alrededor de tanto lo que quieres que el agente logre como también explícitamente lo que no quieres que logre se vuelve mucho más crítico. Y nuevamente, el hackeo de ChatGPT a Hugging Face es un gran ejemplo de eso, ¿verdad? El agente decidió que el siguiente mejor curso de acción era que necesitaba acceso a Internet público y descubrió que Hugging Face tenía la respuesta que necesitaba. Sabes, cómo diseñas alrededor de eso desde una perspectiva de seguridad es crítico para asegurar que el agente no pueda tomar esa decisión. Aunque, sabes, en un vacío, esa es la siguiente mejor opción, no entiende las consecuencias de las decisiones que está a punto de tomar. Y tienes que asegurarte de que estás construyendo seguridad proactiva alrededor de eso. >> Así que también veo los servidores MCP como una verdadera superficie de ataque que la mayoría de los equipos de seguridad no han alcanzado. ¿Cómo se ve en la práctica un agente bien protegido que se conecta a un servidor MCP mal asegurado? Sabes, es, hombre, es una pregunta con la que lucho todos los días. Porque, sabes, MCP es, es una gran, es una gran construcción, es una gran idea de cómo hacer que estos agentes puedan acceder a y acceder, sabes, a otras herramientas y soluciones de manera fluida. Lo escuché descrito de esta manera, sin embargo, sabes, lo que realmente necesitamos que suceda con los servidores MCP es que, sabes, los servidores MCP y algo como una puerta de enlace API se junten y tengan un bebé, donde tienes, sabes, estos permisos y controles de acceso muy finos que son basados en roles y están acreditados. Y de esa manera, cuando un agente accede a un servidor MCP, no es solo el salvaje oeste de todo lo que ese servidor MCP tiene acceso, sino que tienes este control acreditado muy fino con límites muy fuertes sobre lo que ese agente puede hacer cuando pasa por el servidor MCP. Creo que eso es absolutamente donde necesitamos llegar. Y luego la otra cosa en la que tienes que enfocarte es que tienes que tratar un servidor MCP como un nuevo proveedor que estás revisando. Tienes que hacer básicamente una revisión completa de seguridad para entender, sabes, qué pueden hacer los agentes cuando acceden a ese servidor MCP. Sabes, cómo se trata los datos que estás enviando a través del servidor MCP, cómo se controla. Qué tipo de acceso basado en roles existe. Sabes, tienes que tratarlo como cualquier otro proveedor de software para entender el riesgo que estás tratando de gestionar. Porque la promesa de los MCP y la conectividad que prometen es absolutamente crucial para el crecimiento de la IA agentica, pero también es a menudo un riesgo no gestionado que puede presentar desafíos para los profesionales de seguridad. >> Quiero cambiar de marcha un poco hacia atrás, sabes, muchas veces cuando miras industrias como la atención médica, miras industrias como, sabes, con industrias de OT e infraestructura crítica y estas cosas donde hay un impacto real cuando ocurren errores. ¿Cómo estás equilibrando el riesgo mientras construyes estos agentes y cómo se ve esa redundancia y respaldo para ti? Sabes, es -- Pasé algún tiempo como director de TI dentro de un hospital, de acuerdo, y así sé cómo se ve un evento de tiempo de inactividad dentro de un hospital, cuando los clínicos tienen que volver al papel porque el registro médico electrónico se ha caído, por cualquier razón que sea. Y así lo vi en las líneas del frente de donde, sabes, le estás entregando a un médico o le estás entregando a una enfermera un gráfico de papel para documentar. Y la realidad era que había algunos clínicos que, sabes, simplemente basado en cuándo fueron entrenados, nunca habían escrito en un gráfico de papel. Y así tenías que hacer, sabes, a menudo algún entrenamiento de curso intensivo sobre exactamente cómo llenar un gráfico de papel. No era porque no fueran, sabes, lo suficientemente inteligentes para hacerlo. Estos eran clínicos increíblemente inteligentes. Simplemente nunca habían trabajado en ese tipo de entorno. Y ese es un riesgo muy real. A medida que sacamos cantidades crecientes de trabajo de las manos de los individuos y lo ponemos en manos de los agentes, tienes que poder planificar qué sucede cuando el agente no está disponible. Un sistema no puede simplemente caer porque un agente ya no está automatizando una parte de la funcionalidad. Así que tienes que tener soluciones manuales dentro de un sistema para proporcionar redundancia. Esa es la solución técnica. Pero también tienes que tener una solución de personas. Que incluso mientras automatizas el trabajo, todavía hay personas que entienden cuál tiene que ser el proceso subyacente en caso de que y cuando ese agente se desconecte. >> Así que eso es muy interesante, porque estoy seguro de que estás familiarizado con el programa de televisión The Pit? Lo estoy. >> En la temporada dos, sucedió algo como lo que describiste donde tuvieron que volver a usar lápiz y papel en lugar de sus computadoras. Solo tengo curiosidad, ¿cuál es tu opinión? ¿Lo hicieron bien, o lo hicieron cerca? Fue inquietantemente cercano, de acuerdo? Sí, el ejemplo del mundo real que viví cuando era el director de TI y hubo un evento de tiempo de inactividad -- ahora esto es, esto es hace más de una década -- pero se sintió muy parecido a eso. De, sabes, hasta el punto de que, sabes, como parte de nuestros procedimientos de tiempo de inactividad, sabes, si recuerdas en The Pit, ¿verdad?, sacaron, era como este carrito rodante que tenía estas hojas en las que las personas podían documentar. Tenías que planificar, de acuerdo, mira, es genial que tengas formularios de tiempo de inactividad. Pero ¿qué pasa si la red está caída y todas las impresoras están caídas y no puedes imprimir nuevas copias? Y así, sabes, tenías que pensar en cosas como esa y estar preparado para, sabes, cómo continuarías proporcionando atención. Así que sí, The Pit, diré, habiendo vivido eso, fue -- mi corazón comenzó a acelerarse un poco cuando vimos ese episodio porque había estado allí, y no están equivocados con cómo lo representaron. >> Hemos tenido una conversación realmente genial hasta ahora y lo que quería hacer es, basado en lo que hemos hablado hoy y nuestros puntos destacados, ¿hay algo que quieras que nuestra audiencia piense o tal vez haga cuando escuchen esta conversación? Sí, creo que lo más importante que quiero que la audiencia piense es realmente cómo incorporas esos principios de seguridad por diseño desde el principio, ¿verdad?, especialmente con los agentes. Esto ya no es, de acuerdo, sabes, ingeniería de software tradicional donde tal vez, sabes, un equipo de ingeniería de aplicaciones sale y construye algo y luego hay una puerta de seguridad en algún lugar antes de que entre en producción. Eso simplemente no va a ser suficiente. La seguridad va a tener que tener un asiento en la mesa desde la primera sesión de diseño y realmente, nuevamente, aplicar algunos de esos principios alrededor de la confianza cero y otros tipos de mejores prácticas de seguridad desde la primera vez que se está diseñando ese agente para que realmente puedas controlar y gestionar el riesgo que se está creando cuando entregas la toma de decisiones a un pedazo de código de computadora. Sabes, no podemos volver a meter al genio en la botella. No creo que debamos volver a meter al genio en la botella. Pero nuestras prácticas de seguridad y la forma en que construimos soluciones tendrán que cambiar un poco para tener en cuenta los nuevos riesgos que se están introduciendo debido a esta tecnología. >> Sí, bueno, Zach, muchas gracias por hablar con nosotros hoy. Ha sido una gran discusión y realmente la disfruté. Y espero que puedas volver en el futuro en algún momento y darnos una actualización sobre ti y lo que Xsolis está haciendo. Pero hasta entonces, solo gracias por estar aquí. No, muchas gracias por la oportunidad. Realmente lo aprecio. Y sí, me encantaría unirme a ustedes nuevamente en algún momento. >> Genial. Gracias.
Johnny Hand: Dustin, qué gran episodio con Zach. Y trae tantos puntos valiosos, especialmente de la industria de la atención médica y lo que está haciendo con la IA agentica. Creo que lo único que realmente podemos abrazar es que tienes que tratar a cada agente de IA como si fuera un nuevo empleado, ¿verdad? Quieres dar acceso de privilegio mínimo el primer día, y luego solo le das permisos más amplios a medida que demuestra que puede ser confiable. Y ese es el mismo modelo de integración que hemos usado durante décadas con nuestra propia gente.
Dustin Childs: Sí, eso es correcto, Johnny. Realmente aprecié eso también y fue una buena analogía. Otra cosa que dijo que realmente se quedó conmigo es sobre cómo los servidores MCP realmente son un punto ciego en este momento. Y la forma en que lo enmarcó realmente se quedó conmigo también. Dijo, hasta que MCP se parezca a una puerta de enlace API con acceso acreditado basado en roles, necesitas tratar cada servidor al que te conectas como un nuevo proveedor. También vale la pena recordar que la propia investigación de TrendAI encontró defectos reales en aproximadamente 19,000 repositorios MCP escaneados.
Johnny Hand: Sí, y es un buen llamado también, que los equipos de seguridad necesitan un asiento en la primera sesión de diseño para los agentes, no solo como un chequeo antes de que te prepares para lanzarlos. Y el incidente de OpenAI Hugging Face realmente mostró que una vez que un agente tiene un objetivo, encontrará su propio camino alrededor de cualquier límite que no hayas diseñado. Así que también sé que ambos somos grandes fanáticos de The Pit. Me encanta que hayas hecho una referencia allí. Y también me encanta el paralelo con el programa y cómo las experiencias de la vida real de Zach en el hospital se desarrollaron.
Dustin Childs: Sí, sin dar ningún spoiler para la temporada dos, quiero decir, el hospital tuvo algún tiempo de inactividad de computadoras y realmente destaca su punto de que automatizar el trabajo no significa que dejes de necesitar personas que aún puedan hacerlo manualmente. Por ejemplo, el Dr. Robby pudo manejarlo, pero el Dr. Whitaker era nuevo y esencialmente fue descalificado hasta el punto en que ya no podía hacer su trabajo. Entonces, sabes, el paralelo funciona muy bien y es muy interesante ver que su experiencia en el hospital realmente coincidió con lo que hizo el programa. Y es un recordatorio para planificar cuando el agente se cae, no solo cuando el agente funciona. Nos gustaría agradecer a Zach Evans por unirse a nosotros hoy. Consulta las notas del programa para saber cómo conectarte con él y aprender más sobre Xsolis.
Johnny Hand: Y eso es todo para otro episodio de AI Security Brief. Queremos agradecerte por unirte a nosotros. Y como siempre, nuestro objetivo es albergar conversaciones para hacerte pensar de manera diferente sobre la seguridad. Y si lo hace, considera suscribirte para que no te pierdas lo que sigue. >> AI Security Brief es mezclado y producido por Elliott Peltzman, con música original de Amneajynx. Nuestra productora ejecutiva es Jennifer Eiben, con estrategia de contenido de Ma'ayan Plaut y Melanie Galant. Ayuda adicional en producción por Liz Stokes. Edición de video por Sarelle Joppy y Bridgitte Criqui Wild. >> Muchas gracias por escuchar, y nos vemos la próxima vez en el AI Security Brief.
