Dra. Grace Trinidad: Además de la higiene de tokens de su organización, creo que AI FinOps, vamos a ver mucha energía de AI FinOps en los próximos 12 meses. Vamos a ver una serie de jugadores emerger como una capa de seguridad, incluso, porque una forma de atacar una organización es atacar su consumo de tokens, ¿verdad? Entonces, si agotan su presupuesto un miércoles, ¿qué hacen en ese punto? Así que esa es otra capa de seguridad. [ Música ]
Johnny Hand: Bienvenidos a AI Security Brief, donde estamos desglosando amenazas emergentes, investigación de vulnerabilidades y las decisiones estratégicas que los líderes de seguridad están tomando ahora mismo. Soy Johnny Hand.
Dustin Childs: Y yo soy Dustin Childs. Ahora, Johnny, para este episodio, ambos estuvimos de viaje. Yo estuve en Berlín para Pwn2Own, y tú estuviste en Phoenix, donde tuviste la oportunidad de sentarte con la Dra. Grace Trinidad de IDC. Me encantaría escuchar más sobre tu conversación.
Johnny Hand: Sí, fue sinceramente una conversación dinámica. Estábamos en nuestro evento SPARK, que es nuestro evento enfocado en el cliente, y Grace pudo asistir. Y nos sumergimos de inmediato en algunas conversaciones realmente interesantes sobre la adopción de IA. Ella tiene algunas teorías muy buenas que está publicando en su investigación. Pero una de las cosas que más destacó, y probablemente resonó más rápido conmigo, fue que usó un término que a menudo uso en el ejército, que es, "Tienes que aceptar lo difícil".
Dustin Childs: Sí, ese es un término que también usé en el ejército. Así que me encantaría escuchar cómo lo aplica a la inteligencia artificial. Así que vamos a sumergirnos en la conversación. [ Música ]
Johnny Hand: Entonces, Grace, ¿vamos a tener optimización realizada, beneficios realizados de la IA?
Dra. Grace Trinidad: Sí. Soy optimista de que tendremos beneficios realizados de la IA. Pero creo que las etapas iniciales de expectativas probablemente deberían ser más moderadas. Así que no pierdan la paciencia con sus chatbots. No pierdan la paciencia con sus herramientas de resumen. No pierdan la paciencia con el tipo de frutos fáciles que tenemos en este momento. Parte de lo que están haciendo es construir el músculo, el músculo de IA en su organización. Están construyendo comodidad. Están construyendo confianza con el producto. Por eso las alucinaciones son un gran problema en este momento. Hay tales deterioros de confianza cuando ocurren. Así que a medida que suavizamos estas cosas, entonces aún más eficiencia y ganancias de productividad saldrán a la luz. Pero ahora mismo, esto es como un aprendizaje incipiente, todos juntos en primer grado, aula de jardín de infantes.
Johnny Hand: Me encanta que hayas dicho, "Estamos construyendo nuestros músculos". Creo que es una analogía tan buena porque uno de los desafíos -- Quería decir, como, lo que deberías gritar desde la azotea es realmente a los miembros de la junta, que, "Oye, no vamos a realizar un verdadero ROI. No vamos a tener estos beneficios netos que son tan fáciles de documentar porque estamos en un muy, ya sabes, comienzo fundamental de este proceso," ¿verdad? Así que vamos a profundizar un poco en eso. Sabes, antes estábamos hablando, y tengo la sensación cuando hablo con mucha gente que están haciendo una adopción muy individualista, pero piensan que están haciendo un crecimiento organizacional. ¿Puedes hablar un poco sobre eso, lo que estás viendo?
Dra. Grace Trinidad: Sí. No ignoren el uso a nivel individual. Vamos a necesitarlos para nuestra construcción de ontologías, así que fomenten eso. Hay recompensas más adelante si continúan en ese camino. Pero estamos -- así que la experimentación individual -- tú -- parte del problema es que necesitamos que nuestro personal, necesitamos usuarios de IA para saber cuándo confiar en la IA y cuándo dejarla de lado.
Johnny Hand: Sí.
Dra. Grace Trinidad: ¿Verdad? Y así, mientras este es un período de experimentación individual y probando tus propios comandos, desarrollando tus propios comandos, desarrollando tus propias herramientas, desarrollando tu propio código, eso es solo parte de averiguar cuán equivocado puede estar y cuán correcto también puede estar, y esa calibración de confianza, que necesitaremos cuando las empresas dependan completamente de la IA. Así que esto está sucediendo lentamente, y bajo cierta crítica y presión. No creo que sea algo terrible, pero no pierdan de vista el hecho de que todo esto es parte del proceso de aprendizaje para llegar a cosas realmente buenas en el futuro. Y creo que finalmente estamos, en este punto, donde el enfoque de seguridad de IA es lo suficientemente maduro como para que podamos hablar de ello en, como, oraciones completas y con, ya sabes, ideación compartida.
Johnny Hand: Sí. Me alegra mucho que hayas mencionado el tema de la seguridad de IA porque, cuando -- cuando hablo con la gente, en realidad, como, hice esta especie de ecuación hace un tiempo, y me desafiaste en esto, lo cual me encanta, por cierto. Y fue que realmente vi la adopción de IA, aunque se estaba moviendo más rápido, como algo similar a la forma en que hicimos la adopción de la nube. Sabes, en esta idea que teníamos, la nube surgió, tenías algunos adoptantes tempranos, comenzaste a construir en la nube. Principalmente, eran como desarrolladores y, ya sabes, administradores de sistemas y arquitectos. Y realmente no había una presencia de seguridad. Así que realmente no teníamos visibilidad en ese plano. Y probablemente fue tres o cuatro años después cuando realmente comenzamos a construir y tener una voz en torno a asegurar la infraestructura de la nube. Así que cuando miro el viaje de la IA, lo miré a través de esa lente. Pero en realidad me desafiaste a mirarlo a través de una lente diferente, y me encantaría que lo compartieras.
Dra. Grace Trinidad: Sí. Bueno, porque aunque estoy completamente de acuerdo en que la historia de seguridad en la nube refleja mucho la historia de seguridad de la IA, creo que la IA -- esta era de IA en la que estamos entrando tiene mucho más en común con 1996. Es 2026. Es asombroso. Tiene mucho más en común con 1996 de lo que creo que la mayoría de nosotros recordamos. Somos mayores.
Johnny Hand: Así que estamos hablando del inicio de internet.
Dra. Grace Trinidad: El inicio de internet. Así que, ya sabes, uno de mis colegas me envió un mensaje diciendo que se quedaron sin tokens en su modelo de base de elección. Y él dice, "Es como 100 horas de AOL. ¿Dónde está el resto de mi uso de internet?" Y eso es algo -- es algo tan gracioso de conceptualizar ahora, como 100 horas de acceso a internet. Y, de hecho, AOL, si miras la historia de esas 100 horas de acceso, la gente realmente se quemó porque rápidamente agotaron sus 100 horas de acceso a internet como uno lo hace. Y estamos experimentando algo similar con la IA, ¿verdad? Así que los paralelismos son realmente claros. Así que en 1996, teníamos un uso que la gente no podía planificar. No teníamos idea de cómo la gente iba a usar internet. Y así, este disco de 100 horas fue proporcionado a la gente en sus hogares. Todos agotaron sus presupuestos. Algunas personas recibieron facturas realmente, realmente malas. Y luego todo el modelo de precios cambió con AT&T Net, ¿verdad? Y luego esa competencia introdujo un nuevo paradigma, y ahora tenemos el internet que tenemos hoy. Dios mío, ¿puedes imaginar si nos cobraran por hora? Terrible.
Johnny Hand: Loco. Loco. Sí.
Dra. Grace Trinidad: Pero luego el otro paralelo en el '96 fue el pánico alrededor del consumo de energía.
Johnny Hand: Ah.
Dra. Grace Trinidad: Así que aquí es donde, como, simplemente -- es como la IA de nuevo. Hubo tanta preocupación sobre cuánto uso de internet iba a simplemente sobrecargar la red.
Johnny Hand: Sí.
Dra. Grace Trinidad: Y rápidamente, en realidad, hubo, como, todas estas citas de que iba a tomar ocho veces la energía. Como, simplemente no teníamos la infraestructura porque no podíamos -- no éramos capaces, como globo, de soportar ocho veces el uso de energía, que era -- eso era lo que se pronosticaba al principio. Pero, similar a los modelos de IA, a medida que pasa el tiempo, el cómputo se vuelve más barato. Y también lo hacen los tokens. Los tokens también -- el consumo de tokens también se está volviendo más eficiente con los modelos de IA. Así que estamos viendo estos costos, esas preocupaciones originales sobre el consumo de energía y el costo, estamos viendo que estas cosas siguen la misma trayectoria que en 1996.
Johnny Hand: Sí, honestamente no estaba -- Entonces, Grace, hablemos un poco sobre eso, ya sabes, realmente alrededor de esa higiene de tokens y, como, con qué están realmente luchando las organizaciones hoy. Porque mencionaste, especialmente desde la pequeña a mediana empresa, que queremos empoderar a nuestros empleados y a nuestra gente para innovar y realmente idear y usar estas herramientas, pero hay un costo real detrás de eso. Y es casi como decir, "Oye, ve a jugar, pero ¿a qué costo?" Y ¿cómo estás viendo el uso de tokens, la higiene de eso, y tal vez cómo las organizaciones pueden ayudar a manejar eso un poco?
Dra. Grace Trinidad: Sí. Así que esto es algo que los usuarios intensivos de IA están encontrando, especialmente los usuarios intensivos de agentes. Así que los agentes que son capaces de desplegar sus propios flujos de trabajo y, en algunos casos, sus propios agentes, en realidad trabajan muy duro en su nombre, para su detrimento también. Así que, como ejemplo, a veces lo que sucede es que un agente se establece en una tarea, le das tus instrucciones, y se establece en una tarea, y luego se encuentra con un obstáculo. Tal vez no tienes acceso a ese conjunto de datos en particular, o hay algo -- algo se configuró mal, ese agente intentará en cada permutación atravesar tu organización para llegar a ese recurso. Bendito sea su corazón. Pero lo que termina sucediendo es que el costo de ese esfuerzo o eso -- lo que sea que quisieras hacer, ese costo -- eso ahora cuesta 14 veces lo que habías anticipado, ¿verdad? Porque ahora se ha enrutado a través de toda la empresa buscando lo que necesita para proporcionarte para ejecutar tus instrucciones, y no puede.
Johnny Hand: Sí, es un buen paralelo porque ves esto donde es como, "Oh, podría tener una asignación de mil tokens," y luego, ya sabes, antes de que te des cuenta, han gastado $15,000 en algo que no valía ni una cuarta parte de eso.
Dra. Grace Trinidad: Y así, donde estoy viendo que se acumula presión en las empresas en este momento no es tanto en la seguridad de IA, sino en el consumo de tokens. Y así, en eso, ya sabes, las organizaciones van a querer mirar la higiene de sus modelos. Entonces, ¿excluye palabras innecesarias? O, ya sabes, muchos de los modelos de base ya están optimizados para no gastar tokens cuando están diciendo, "Gracias," o "De nada," ¿verdad? Pero los modelos de lenguaje más pequeños pueden no tener esos. Así que, en la adopción empresarial, lo que no nos damos cuenta mientras usamos Claude o mientras usamos OpenAI es que esos modelos de base en realidad vienen con restricciones para reducir el consumo de tokens. Y así, las organizaciones que están usando pronto usarán modelos específicos de dominio, modelos de lenguaje pequeños, esa es un área donde querrás investigar. ¿Cuál es la higiene de tokens de ese modelo en sí, verdad? Así que, además de la higiene de tokens de su organización, creo que AI FinOps, vamos a ver mucha energía de AI FinOps en los próximos 12 meses. Vamos a ver una serie de jugadores emerger como una capa de seguridad, incluso, porque una forma de atacar una organización es atacar su consumo de tokens, ¿verdad? Entonces, si agotan su presupuesto un miércoles, ¿qué hacen en ese punto? Así que esa es otra capa de seguridad.
Johnny Hand: Entonces, Grace, antes estábamos hablando sobre la disrupción y reconociendo que estamos en esta fase de disrupción, no estamos en la fase de transformación. Y creo que probablemente hay industrias que muestran esto mejor que otras. ¿Qué estás encontrando en tu investigación?
Dra. Grace Trinidad: Entonces, no inventé la experimentación, disrupción, estabilización y luego fases de transformación. Hemos visto esto a través de otros proyectos de transformación digital, así que mi experiencia es en realidad en la garantía de información en salud. Y una de las -- una de las mayores transformaciones es la introducción de registros de salud electrónicos en hospitales y sistemas de salud. Y esa transición, a raíz de la Ley HITECH, ocurrió -- ¿qué? -- 2010 a 2015. Y tuvimos una serie de jubilaciones porque eso es algo realmente, realmente difícil de introducir en el flujo de trabajo de un médico. Ahora, tienes EHRs con los que tienes que interactuar. La gente simplemente se fue. Pero más trágicamente, la mortalidad también aumentó. Así que hay investigaciones que muestran que la mortalidad pediátrica en unidades de cuidados intensivos aumentó un 136% una vez que se introdujeron los registros de salud electrónicos. Sí, ese no es un gran número. Y ¿puedes imaginar si viniera a un líder empresarial con ese número y dijera, "Si implementas esto, la mortalidad va a aumentar un 136%, pero va a ser genial"? Nadie lo habría implementado. Sin embargo, mira a dónde hemos llegado como resultado de la implementación de EHR. Tenemos -- es más fácil enviar tus registros. Es más fácil examinar tus registros. Tenemos mejor vigilancia como resultado de ello, mejor seguimiento de datos.
Johnny Hand: Correlación, ¿verdad?
Dra. Grace Trinidad: Tenemos -- sí, exactamente.
Johnny Hand: Mejor correlación.
Dra. Grace Trinidad: Mejor correlación. Esto es, de nuevo, si quieres volver a las ontologías de salud. Así que esa no es la única transformación digital que ocurrió. La salud es un gran ejemplo de una. Es una muy disruptiva que sí pagó al final. Muy dolorosa, pero muy transformadora. La otra transición que ocurrió -- hay varias, pero la otra transición de la que realmente me gusta hablar es la aviación.
Johnny Hand: Sí.
Dra. Grace Trinidad: Así que, acabo de bajar de un avión hoy. Tú bajaste de un avión ayer. Nos subimos a aviones todos los días, y confiamos en que vamos a llegar a nuestro destino. Mucho de eso es fly-by-wire ahora. Así que eso es automatización que nosotros, como cultura, hemos llegado a confiar. Pero no siempre fue confiable. Sabes, perdemos de vista esto. La aviación pasó de que los pilotos fueran el conductor principal a que los pilotos fueran un supervisor de la automatización del avión, con entrenamiento para intervenir cuando se necesitaba experiencia.
Johnny Hand: Es el paralelo a la IA.
Dra. Grace Trinidad: Algo asombroso.
Johnny Hand: Tan loco. Sí.
Dra. Grace Trinidad: ¿Verdad? Así que nuestros pilotos hoy no solo están entrenados en cómo volar un avión. Están entrenados en investigación de factores humanos. Están entrenados en un concepto llamado sorpresa de automatización, y eso es cuando un sistema automatizado hace algo que te hace decir, "¿Qué es esto?"
Johnny Hand: "¿Por qué hizo eso?"
Dra. Grace Trinidad: Tienes las herramientas, el conjunto de herramientas cognitivas para clasificar lo que podría estar sucediendo, para que puedas desglosar el problema, ¿verdad? Así que así es como se están entrenando ahora los pilotos. Factores humanos, sorpresa de automatización, y cómo mantener la supervisión sobre un sistema automatizado mientras aún estás comprometido con ese sistema, ¿verdad? Esa es la parte difícil. Como, ¿cómo no te quedas dormido al volante?
Johnny Hand: Sí.
Dra. Grace Trinidad: Y así, eso es en lo que se basa mucho el entrenamiento de los pilotos ahora. Y quiero enfatizar, como, no perdimos pilotos. No simplemente comenzamos a entregar controles a mí, a cualquiera, ya sabes, a alguna persona al azar, y decir, como, "Esto es automatización ahora, puedes volarlo." Absolutamente no hicimos eso. Todavía tenemos pilotos altamente entrenados, que deben operar esta maquinaria muy, muy técnica que, en su mayor parte, se maneja sola. Y lo mismo va a suceder con la IA. Necesitamos entrenar a los pilotos para que se mantengan en el circuito, pero fuera de los detalles.
Johnny Hand: Sí. [ Música ] Así que, mientras terminamos por hoy, si tuvieras que dar tres o cuatro puntos clave para nuestra audiencia y esos líderes de seguridad que están mirando, "Bueno, ¿cómo navego a través de esta fase disruptiva, entendiendo que necesito asegurar mi organización?" ¿Hay algún punto clave que simplemente, ya sabes, quisieras impartirles?
Dra. Grace Trinidad: Sí, absolutamente. Así que si vamos a esas transformaciones digitales históricas, en realidad ofrecen muy, muy buenos consejos. En la automatización industrial, la investigación fue tan clara. Las empresas que disfrutaron de los mejores aumentos de productividad y la mejor eficiencia fueron las empresas que reestructuraron todo su flujo de trabajo alrededor de esa tecnología de automatización, en lugar de insertar esa tecnología de automatización en las operaciones de línea industrial existentes. Rehicieron todo.
Johnny Hand: Así que no hay complementos.
Dra. Grace Trinidad: Así que no hay complementos. Así que el paralelo aquí es, si estás habilitando IA en tu empresa, ¿dónde crees que realmente encaja mejor? Entonces, ¿dónde hay realmente un problema por resolver? Y ¿cómo lo reformatearías para aprovechar mejor esa tecnología? Así que ese sería mi primer consejo, es como, busca -- busca lugares donde la tecnología tenga sentido, o cambia sistemas, o cambia tu organización para que la tecnología tenga sentido. Eso es un gran desafío, pero es parte de cómo se desarrollan las transformaciones digitales. Y luego, los siguientes pasos, solo para volver a la higiene de tokens y luego a la ontología de la que estamos hablando. Para la creación de ontologías -- y creo que este es el próximo decisor -- o este es el próximo diferenciador de negocios. Realmente creo que las ontologías serán el próximo diferenciador de negocios. Pero realmente quiero que cada CTO o científico de datos en una empresa piense en qué estructura ontológica podría beneficiarse más esa empresa. Hay varias que existen en el mundo. La Ontología Formal Básica es una, y luego está OWL. Así que hay varios lugares para comenzar. Así que, para este año, creo que el verdadero calor en esta industria estará alrededor de las ontologías de intención semántica, y luego, el consumo de tokens y AI FinOps. Y creo que estamos llegando a un lugar donde las empresas realmente tienen que cuadrar ese costo con lo que son capaces de lograr.
Johnny Hand: Y eso solo vuelve a lo que hablamos, es la necesidad de que los líderes de seguridad se asocien más estrechamente, se conviertan en mejores entendidos del negocio.
Dra. Grace Trinidad: Sí, absolutamente.
Johnny Hand: Y realmente impulsen, ya sabes, una relación que se convierta en un habilitador de negocios.
Dra. Grace Trinidad: Sí. Sí. Y luego piensa en, como, estructurar una ontología. Tienes que estar bien familiarizado con -- o tienes que tener alguna manera de familiarizarte bien con cada área del negocio para construir ese verdadero diferenciador.
Johnny Hand: Sí, y me encanta el hecho de que -- Creo que, hicimos esto con la seguridad y nos dimos cuenta de que no era genial, y lo reestructuramos, pero que no puede ser un complemento. Tenemos que construir nativamente con estas tecnologías para que podamos asegurarlas nativamente.
Dra. Grace Trinidad: Sí. Sí. Y eso ha sido -- eso es parte del ciclo de experimentación y disrupción, ¿verdad? Lo estamos resolviendo, y estamos -- estamos firmemente en esa disrupción.
Johnny Hand: Bueno, muchas gracias por unirte a nosotros en el podcast AI Security Brief. Fue un verdadero placer tenerte, y con suerte, podemos tenerte de nuevo en el programa. [ Música ] Bien, Dustin, estamos de vuelta. Te dije que iba a ser dinámico. ¿Qué pensaste sobre la Dra. Grace?
Dustin Childs: Pensé que hizo muchos puntos realmente buenos, y fue realmente interesante obtener su perspectiva, especialmente cuando se trata de la fase de disrupción de las organizaciones que implementan IA. Y realmente, todavía estamos todos en la fase de experimentación, y es desordenado, y eso es normal. Y es genial que lo describa de esa manera.
Johnny Hand: Sí, me encantó. Fue desordenado. Es doloroso. Tenemos que aceptar lo difícil y seguir adelante. Sabes, otra cosa de la que habló, que realmente destacó, es, ya sabes, el hecho de que las organizaciones simplemente no están en esta área madura de transformación, que en realidad estamos en las etapas muy tempranas de esas disrupciones, y eso está totalmente bien. Me encanta que cuando entramos en esta conversación, creo -- probablemente, si soy honesto, atribuí la fase de adopción de IA en la que estamos a ser más como la fase de seguridad en la nube y la nube de hace, ya sabes, 10 años. Y realmente cambió mi perspectiva sobre eso con su punto sobre cómo esto es más como 1996 y los inicios de internet.
Dustin Childs: Sí, pensé que eso era realmente interesante también, y realmente -- no quiero decir que me hizo sentir viejo, pero definitivamente trajo algunos recuerdos de ir a librerías por discos de AOL para otras 100 horas, y decirle a la gente que tendría que llamarlos después de las 9 PM porque es cuando mis minutos eran gratis. Pero sí, quiero decir, eso -- mirar la tokenización y seguir eso es muy interesante y muy comparable al comienzo de eso. También me gustó la forma en que realmente habló sobre los ángulos de asociación de líderes empresariales. La seguridad de IA requiere la participación de todos en cada línea de negocio, y no solo del equipo de seguridad. Y pensé que eso era un punto de vista realmente importante también.
Johnny Hand: Sí, y luego tuvo ese último consejo para los líderes de seguridad, que es, esto no se trata de agregar nuevas herramientas en tu empresa. Es una transformación del modelo operativo para permitirte moverte rápido.
Dustin Childs: Sí. Y estoy completamente de acuerdo con ella en esos puntos.
Johnny Hand: Bien. Así que gracias, Dra. Grace, por unirte a nosotros y compartir tus ideas. Si quieres conectarte con ella en su investigación o aprender más sobre la Dra. Grace, puedes ver nuestras notas del programa para más información sobre cómo conectarte. Y eso es todo para otro episodio de AI Security Brief. Queremos agradecerte por unirte a nosotros. Nuestro objetivo es albergar conversaciones que te hagan pensar de manera diferente sobre la seguridad. Y si lo hace, considera suscribirte para que no te pierdas lo que sigue.
Dustin Childs: AI Security Brief es mezclado y producido por Elliott Peltzman, con música original de Amneajynx. Nuestra productora ejecutiva es Jennifer Eiben, con estrategia de contenido de Ma'ayan Plaut y Melany Gallant. Ayuda adicional en producción por Liz Stokes, Kasia Ferguson, y el equipo de Black Rabbit. Edición de video por Sarelle Joppy y Brigitte Criqui-Wild.
Johnny Hand: Muchas gracias por escuchar. Nos vemos la próxima vez en AI Security Brief. [ Música ]
