«Vamos a pasar unos años bastante jodid*s»

0:00Creo que nunca vamos a poder estar al nivel de alguien con agentes intentando entrar en tu empresa. Creo que vamos a pasar unos años bastante jodidos. Al menos uno o dos años las cosas se van a poner muy muy mal. OpenAI que ha encontrado casi mil formas de elevar privilegios a root en el kernel de Linux.

0:20¡Mil tenemos un workflow que todas las semanas le mandamos al bicho que se ponga a intentar escapar. Hay una de las cosas que está totalmente rota en internet en cuanto al tema de la seguridad, que es el SOC 2. Es totalmente inútil.

0:43Hola, hola y bienvenidos a Tierra de Hackers, la tertulia. He publicado un episodio en medio de lo que iba a ser esta tertulia, o sea vamos con un episodio de retraso, pero esta tertulia vamos a estar hablando con una persona que viene como anillo al dedo para hablar del incidente sobre el hackeo a Hugging Face, que cubrimos en el episodio 146, si no recuerdo.

1:11Como sabéis, en el pasado hemos tenido a gente ya con la que hemos estado hablando de la parte ofensiva, del hacking, pero a mí me interesa mucho lo que está pasando últimamente con los LLM es que se nos escapan. ¿Cómo securizarlos? Me parece algo súper interesante. Y para eso está conmigo Alberto García.

1:30Hola Alberto, ¿qué tal? ¿Cómo estamos, Martín? Muy bien, muchas gracias por estar aquí. Ya sabes que es tradición este podcast, dado que vamos a hacer la tertulia sobre ese episodio en concreto sobre el incidente de Hugging Face y todo lo que hemos hablado. ¿Por qué crees tú que eres la persona adecuada para venir aquí a charlar conmigo sobre ello?

1:50Bueno, pues la experiencia que tengo más reciente es sobre trabajar en un laboratorio de AI donde estamos entrenando nuestro propio modelo.

2:02Yes. Y parte de esa secuencia, no solo de la empresa, también es sobre los agentes y sobre Reinforced Learning, que es esa etapa en la que en el incidente de Hugging Face los agentes empezaron a comunicarse y consiguieron escaparse. Así que, en cuanto a eso, tengo un poco de contexto en el que puedo contar cómo lo hacemos aquí para evitar que eso nos pase a nosotros.

2:29Eso está muy bien. Aparte, bueno, me consta que trabajas para una empresa que tiene parte muy importante de la propiedad intelectual, entonces hay ciertas cosas que no vas a poder contar, pero por lo que hemos estado hablando, hay muchos temas que quiero tocar que van a ser súper interesantes para los oyentes, porque sobre todo yo escucho muchos podcasts sobre IA, se suele centrar en la parte de se utiliza la IA para hackear, pero aquí vamos a hablar de algo mucho más interesante desde mi punto de vista y más profundo, y que no se cubre tanto, que es cómo securizarlo y evitar que esto pase.

3:03Pero yo sé que tú, antes de. De este empleo, has tenido otros muchos en seguridad ofensiva que son muy relevantes para tú como persona para poder cubrir esto. Cuéntanos sobre eso, y lo sé, porque yo considero a Alberto uno de mis mentores. De hecho, Alberto me enseñó en su día entre sushi y sushi a hackear, lo cual aprecio un montón.

3:25Es algo que quería mencionar. Alberto y yo somos muy muy amigos de hace muchos años, y él fue una de las personas que me ayudó muchísimo cuando llegué a Estados Unidos, que por cierto. Estás en Estados Unidos porque yo tengo que estar aquí con esta luz terrible, la calidad de la imagen es terrible, porque aquí es de noche y ahí es de día.

3:42Pero bueno, cuéntanos también tua tu experiencia que tienes antes de dedicarte a lo que estás ahora, que es el tema más de IA, ¿no? Que es más reciente. Sí. Bueno, mi experiencia es normalmente en seguridad ofensiva. Empecé en España trabajando haciendo. Pentesting a aplicaciones web. Eso me dio como el primer la toma de contacto para entender un poquito mejor cómo funcionan las empresas, qué es lo que piensa la persona que está desarrollando código, para ponerte un poco en su cabeza y entender en qué se le ha podido olvidar.

4:19Después de estar en España haciendo pentesting de aplicaciones web, me fui a Estados Unidos en 2013. Ahí es donde te conocí, si mal no recuerdo. Ese año empecé a trabajar para Salesforce y fui la segunda persona del Red Team. Yo, la verdad, ni sabía lo que era el Red Team cuando llegué a Estados Unidos. Pensaba que era algo que solo se hacía un poquito en la zona gris del hacking, de la seguridad, pero resulta que había empresas que te pagaban por hackear empresas.

4:49Y básicamente venían: «Alberto, tienes que hackear, yo qué sé, Salesforce. Tienes que robar la base de datos de clientes, el código fuente y los métodos de pago, yo qué sé. Tienes dos meses». Te dan una palmadita en la espalda y apáñatelas. Y podías hacer lo que quisieras, por cualquier método. A mí esto me voló la cabeza en aquella época, que esto fuese posible.

5:12Y nada, estuve trabajando ahí cinco años. Cuando tú viniste a Salesforce, te conseguimos reclutar, e hice algo de fuzzing también, symbolic execution, para encontrar fallos, corrupciones de memoria, en aplicaciones de terceros que utilizábamos en Salesforce. Y luego pasé a trabajar para Cruise. Que sí, que tuviste la oportunidad de probar uno de nuestros coches autónomos.

5:38Ese vídeo se hizo viral. Ese vídeo. Como fui así, yo creo, de los primeros vídeos de alguien en España subiéndose un coche completamente autónomo. Me empezó a llegar de familiares, de amigos por toda España, en plan que la gente estaba pasándose en mi vídeo de WhatsApp. A ver, también tiene que ver que eres muy divertido comentando las cosas, Martin.

5:57Sí, ahí me pasé. Fue como en real life, ¿no? Que dicen el IRL. Yo no paraba de decir palabras mal sonantes y todo esto, porque digo, si esto se lo voy a enviar a colegas.

6:09Pues sí, ahí estuve, fui ahí la primera persona que empezó el Red Team en Cruise. Y estuve otros cinco añitos, y bueno, pues montando las operaciones ofensivas que teníamos en Cruise, que era parte de General Motors, entonces pues hacíamos seguridad ofensiva, no solo para contra Llámalo X Cruise, pero también para General Motors o General Motors Financial y pues otras empresas de la dicen aquí, de la umbrella que están debajo de General Motors.

6:40Y nada, y después de estar no sé cuántos años en el lado divertido, lo que yo pensaba de las cosas, que es hackear y romper temas. Me surgió la oportunidad de trabajar para la empresa en la que trabajo ahora, que es un laboratorio de AI en el que estamos entrenando nuestro propio modelo.

6:57Para que cualquiera lo entienda, pues al igual que. Opus o Códex. Claro, no es tanto. No quiero confundir a la gente. No estáis entrenando vuestro modelo. Estáis creando vuestro propio LLM. La gente conoce ChatGPT y Cloud. Pues vosotros estáis haciendo otro. Estamos haciendo otro. Que como puedes imaginar, pues no es muy fácil competir cuando tienes enfrente unos titanes como esos.

7:25Pero si nosotros entrenamos o estamos creando este modelo desde cero, hacemos todas las partes que requieren para entrenar un modelo, desde pre-training, post-training, que es enforced learning. Y tenemos que tener en cuenta la parte de la seguridad. Al fin y al cabo para entrenar a un modelo. La parte de pre-training tienes que utilizar datos masivos que descarras de internet o de distintas fuentes.

7:50Pero la parte de post-training requieres que el modelo, que es como un neonato que no sabe mucho, juegue en un entorno, en una sandbox. Y empieza a probar cosas. Y lo que vas haciendo es que le vas dando una galletita cuando hace las cosas bien y le das un golpecito en la mano si lo hace mal.

8:10En el episodio hablábamos del reward hacking cuando comentábamos las pruebas que, bueno, supuestamente no, que Open YA ya estaba haciendo y con el Exploit Gym, y que es así un poco como se salieron, ¿no? Esa galletita que dices es precisamente esto del. Reward hacking, pero yo quería hacer ese matiz de que estáis creando vuestro propio LLM porque ahí es donde me resulta súper interesante traer a una persona como tú, porque hoy día está el cliché de que todas las empresas son rappers, ¿no?

8:41Envoltorios de ChatGPT o de Anthropic. Pero no, no, no. Vosotros desde cero estáis creando vuestro propio LLM con todas las consecuencias que ello requiere, con todo lo que necesitáis hacer para que no suceda lo mismo que sucedió con Gemini hackeando empresas, con el de OpenAI hackeando Hugging Face, con el de Anthropic, que también ha reportado hackeos.

9:03Y ahí es donde entras tú con un papel muy importante. ¿Qué es exactamente lo que haces tú para esta empresa? Yo fui el primer ingeniero de seguridad, y como en cualquier ingeniero de seguridad en cualquier empresa, ya sea fruterías pack o telefónica. Hay cierta hay cierto trabajo que tienes que hacer de infraestructura, de hardening, de detection and response.

9:24Al fin y al cabo, todas las empresas tienen ciertos sistemas de seguridad que generan alertas. Esas alertas hay que analizarlas. Obviamente, como me han mencionado, la infraestructura. Nosotros tenemos un montón de GPUs, de tarjetas gráficas, que son necesarias para entrenar a los modelos. Si os sobra alguna, eso alguna es anticuada y tenéis en el almacén.

9:43Nada, tenemos las últimas solamente. Así que de momento no te puedo nada. Pero estaré al ojo, estaré al ojo. Y bueno, pues al fin y al cabo, todo el stack de seguridad que tiene que haber. Uno de los puses que hemos hecho, uno de los que nos ha llevado bastante trabajo, uno de los temas es supply chain.

10:02Ha habido un montón de ciberataques. Yeah. Con NPM o PyPy en los ecosistemas de repositories de package repository de estos ecosistemas, pues la gente, los malos ponían y subían versiones backdoreadas. Entonces, eso ha sido un push, por ejemplo, muy importante que hemos tenido que hacer para estar seguros que absolutamente todos los paquetes que estamos consumiendo, que todas las empresas utilizan package managers, ¿vale?

10:33NPM o lo que fuere, que fuesen seguros. Pues es eso. Claro, es de este tema, tenemos la parte de AI, ¿vale? Cómo digamos que la empresa se protege de una forma y luego cómo hacemos que los agentes no se bovan locos y hagan un Hardingface. Antes de que vayas a segunda parte, lo del supply chain me parece un tema súper relevante, porque para los oyentes menos técnicos, o sea, tú si vas a fabricar un coche, tú no inventas las tuercas, ni los tornillos, ni las aleaciones de metal.

11:05Tú las compras ya y luego diseñas y fábricas tu coche. Pero hay ciertas piezas que tú consumes que ya están creadas por otras empresas. Entonces, esos proveedores de esas piezas, tú estás confiando en ellos. Y alguien en vez de hacer los tornillos utiliza materiales mucho más baratos o los compra de China y luego hay un accidente, pues claro, el problema lo tienes tú, ¿no?

11:26Entonces vosotros lo que comentas es que no escribís absolutamente todo el código de cero, igual que cualquier otra empresa, utiliza librerías open source o que están disponibles, y por ahí vamos, en tierra de hackers hemos cubierto el problema de supply chain attack. Episodio tras episodio. Entonces, claro, tú mencionas que ese es uno de los grandes problemas, porque estáis delegando parte de vuestra confianza a esas terceras partes que es inevitable.

11:54Ojalá no tuvierais que hacerlo, ¿no? Pero es que toda empresa tiene que hacer eso. Sí, sí, sí, sí. Qué bien lo cuentas, la verdad que da gusto contigo, Mario. Sí, en efecto, tenemos que utilizar librerías. Esas librerías pues tienen distintas versiones y tenemos que estar seguros que todas las versiones que vamos consumiendo que se van actualizando de forma automática, que esas nuevas versiones están que no tienen una backdoor, que no son maliciosas.

12:20Pues para eso se pueden hacer un par de temas. Algo que funciona muy bien es simplemente no actualizar, dejar un par de días. Cuidado, cuidado, a ver que la gente se queda con eso. Bueno, al final toda la vida. No actualizéis. Nunca vuestro ordenador. No, no, tenemos un cooldown de 48 horas. Que creo que es bastante estándar.

12:41En el cual dejamos que durante dos días nos instalen las últimísimas versiones que hayan salido. Hay ciertas estrategias. Hay opciones. Tenemos otra herramienta que auto auto auto actualiza los paquetes, las librerías, que hayan tenido algún C. Entonces esto también lo tenemos automático, porque si no, si ves la cantidad de V que se han creado en el último año, creo que es equivalente a todos los creados desde los últimos 20.

13:09Entonces, manualmente, yo es una cosa que cada vez estoy más seguro, hay que dejar a agentes y automatizaciones que se encarguen de hacer la mayoría del trabajo que antes era mucho más manual y hacíamos los ingenieros de seguridad. La estrategia es la misma que cuando sale el nuevo iPhone como el iPhone Du o no, te esperas un par de semanas a ver si hay el Bend Gate, o el Antena Gate, o el cómo sale de fábrica, ¿no?

13:34Y eso es bueno, porque si la última actualización y aquí hemos tenido un episodio. Súperinteres sobre la librería XZ, te acuerdas que la backdooraron. Claro, con vuestro cooldown period, es decir, en cuanto salga, nosotros nos esperamos a ver qué hacen los demás y si alguien reporta algo y ya luego lo usamos, me parece interesante.

13:55Que de hecho, yo escribiendo cierto software veía que eso se puede hacer con hashes, por ejemplo, aparte de la parte de configuración, pero para que no se pueda modificar, ¿no? O sea, tú coges. É, tu parafuso. Para, digamos forzar que la librería no se actualice, hay varios mecanismos, pero bueno, por destacar la de la cabecera.

14:15Puedes pinar lo que llaman que es pinear, que es añadir el hash de la librería que estás utilizando para que solamente vayas a utilizar ese hash y alguien modifica un solo bit de esa librería ya automáticamente no se va a instalar. Eso, desde luego, que lo hacemos con todas las librerías que utilizamos en nuestro codebase, en nuestro código.

14:37Y luego otra cosa mayores de este cooldown es utilizar un registro, en vez de directamente preguntar a NPM o a PyPy, que son los que proveen de estas librerías, a estos repositorios, pues tener un repositorio nosotros entre medias, que es por el que una especie de proxy en el que podemos tomar decisiones.

14:54Ah, esta librería es maliciosa, porque tenemos una base de datos de librerías maliciosas, no vamos a dejar instalarla a nadie, a pesar de que sea una versión de hace tres años. Entonces, Esa son un par de estrategias que puedes utilizar y bloquear a la gente que directamente utilice en PM, porque si tú pones esas restricciones y la gente puede luego forzar a utilizar los los paquetes los package manager públicos, pues estás en las mismas.

15:21Pues me parece, me parece muy buena. Yo creo que para lo de idea le va a gustar mucho esos dos puntos, esas dos estrategias. Cur down period, o sea, no ser el primero en actualizar, y lo segundo es que no te lo descargues directamente del repositorio, sino que tú tengas un punto intermedio donde puedas escanear el código, donde puedas hacer el due diligence para asegurarte que antes que lo incorporas a tu software.

15:43Pues ha habido ciertas verificaciones. Y hay empresas que te lo hacen, ¿no? Tienes tú que hacer ese due diligence, ese socket o Step Security, que a mí me gusta personalmente, y te hacen ese análisis. Y mencionabas. dijiste que esta era una parte muy importante, y comentabas otra que fue cuando yo te paré para indagar en esto del supply chain.

16:08No, parte de tus responsabilidades. no, no, no, no, no. Sí, una de las cosas que mencionaba era detection and response, ¿no? Cómo estamos analizando todas las alertas que nos están llegando y cómo respondemos a ellas. Yo seguro que ahora mismo en lo que he estado hablando contigo habrá alguna alerta que habrá salido ya.

16:27Si yo no tuviese una forma automática de poder analizar todas esas alertas que nos llegan. Estaría sería miserable, básicamente. No podría dar abasto, no podríamos dar abasto. En nuestro caso, lo que hacemos y mencionaba también antes es automatizar todo lo posible. Tenemos un investigator agent, le llamamos Investigator, literal, que es el que coge la alerta, según llega, es un compendio de agentes que empiezan a hablar entre ellos para decidir que aumentar la información de esa alerta, porque a lo mejor tienen que preguntar en GitHub si ha habido un PR que se acaba de emergear, en un pull request que se acaba de emergear y que ha podido generar eso, o ver cuáles son los últimos prompts que ha metido el usuario, que es algo que nosotros recolectamos, cuál es cada uno de los prompts y cada una de las tool calls, de las llamadas a la terminal que cada uno de esos prompts ha generado.

17:21Porque hoy día, como todo se hace a través de modelos, casi siempre se puede contestar qué es lo que ha pasado mirando. eh, las los prompts y las tulcos que un usuario le ha intercambiado con el modelo. Entonces, básicamente, este investigador coge todo lo que necesita, hace un análisis. En caso de que detecte que es malicioso, nos llega a nosotros, o inconcluso, si es benigno, directamente lo marca como benigno.

17:51Obviamente hay cierto hay un nivel grande de confianza que tienes que poner en ese investigador. Pero vamos, yo soy de los que piensa que hay que confiar, honestamente. Creo que una gente cada vez es mejor que yo hoy día, y creo que mañana va a ser más, va a ser bastante mejor que yo, y dentro de tres días va a ser la leche, y yo voy a ser nada comparado con ello.

18:16Entonces, creo que hay que optimizar optimizar ese tipo de automatizaciones con ciertos evals. Que si quieres, luego llamamos hablamos de los evals, las evaluar. Sí, comenta un poco. Pues los Evals, al fin y al cabo, es dado que un modelo es totalmente. Bueno, totalmente. Se puede decir no es determinista. Cada vez que al modelo le preguntas algo, te puede contestar de una forma diferente, a pesar de que el fondo sea lo mismo.

18:43No es como un algoritmo, que es uno más uno van a ser siempre dos. Y el caso es que con los Evals lo que lo que te facilitan, o para lo que se usan, es para poder verificar que la respuesta dada por un agente, por un modelo. Está dentro de unas expectativas que tú tienes.

19:01Y dado que esa respuesta no tiene un formato predefinido, ni va a contener exactamente estas palabras que a lo mejor estás buscando. Este IVA, al fin y al cabo, es otro pequeño prompt que tú le pasas a otro agente que se llama el juez, el Large Language Model Juez, que es el que dice: Ah, mira, la respuesta tendría que tener este tipo de estas cosas.

19:27Voy a revisar si contiene todas ellas. Y este juez es el que te dice, Ah, pues mira, este IVA ha pasado. O de las cinco cosas que tenía que satisfacer, solo se han cumplido tres. Por tanto, Le doy solamente tres puntos en vez de cinco. De esa forma, cuando tú modifiques tu prompt que le has pasado al investigador para hacer su trabajo, puedes saber si ha habido algún tipo de regresión, porque imagínate que esta versión del prompt para el investigador te ha funcionado para unas alertas de hace dos días, pero luego lo modificas para que funcione mejor en una siguiente, y eso está haciendo que las de los primeros días no funcionen.

20:03¿Cómo puedes verificar y estar seguro de que no tienes regresiones en tu modelo? Que va a ser bueno pillando esta alerta, pero no la otra, y te van a pillar ahí los malos, pues utilizando Ibals. Que es algo que también se usa, en este caso lo pongo para investigación de alertas de seguridad, pero se utiliza para cualquier tipo de modelo.

20:23Pero a mí me está sonando que desarrolláis mucha de la tecnología, que claro, esto es un campo tan nuevo que es normal. Pero, ostras, podríais ser múltiples empresas, o sea, varias de ciberseguridad, porque vosotros desarrolláis agentes, entrenáis agentes también para proteger vuestro propio agente que estáis desarrollando. Y me imagino que eso es un poco ahora el paradigma, ¿no?

20:48Las empresas, como tú bien narrabas o comentabas. Te ahogarías en alertas si no utilizas si no utilizas algún tipo de automatización y todos al final tenemos cierto grado de confianza. Yo utilizo IA todos los días y estoy confiando ciertos datos míos, ciertos tal, o sea, todos tenemos un grado de confianza. El tema es, o sea, ¿tú qué crees para que no os pase lo que pasó con todos los grandes, insisto.

21:19¿Qué es lo que se tiene que hacer? ¿Qué crees tú que se hizo ahí? Porque tú, por ejemplo, hablas de las alertas, ¿no? Por eso hacía hincapié en eso. Y una de las cosas que salió a la luz publicado era precisamente que durante todo el hackeo de Hugging Face, OpenAI recibía alertas, se cayó el Artifactory, pero no fueron capaces durante meses de detectarlo.

21:42Bueno, tenemos información parcial. Parcial o limitada, ¿no? Pero alertas había, es un problema de siempre que es el ruido y nos hagamos en alerta, entonces no se prestó atención. Es que no había las alertas adecuadas, porque está claro que la capacidad de escapar de los modelos es real. Lo estamos viendo día a día también.

22:06Me resulta muy interesante cómo los modelos una de las cosas que primero intentan hacer es comunicarse entre agentes, o sea, los agentes que están. Intentan comunicarse entre ellos. De hecho, lo último que leía era unos agentes que se comunicaban a través de la caché de la CPU. O sea, tocate los pies. Entonces, bajo tu análisis, qué cosas estáis haciendo para que vosotros no os veáis en los mismos titulares de la mano de Gemina y de OpenAI y de Anthropic.

22:35Luego está el tema de que si esto realmente es positivo para ellos, porque es buena publicidad, pero bueno. Eso es. A ver, yo creo que desde luego que creo que esto no fue ADRD ni mucho menos. Creo que se le escaparon 100%. No, sí, sí, yo tampoco lo dudo. Otra cosa es que no.

22:49A mí lo que me fastidia, y perdona por interrumpirte, pero es las consecuencias, ¿no? O sea, yo si me pongo a hackear el gobierno de Australia, me voy a la cárcel. Y aquí. Tú que aparte vienes del mundo muy interesante, porque hablabas de que hackeabas páginas web, luego el cloud en SelfSource, luego coches autónomos, ahora la IA, tú siempre has estado ahí hackeando y securizando a la vez.

23:14Lo que me dejabas. Sí, pero todo lo pionero, lo cual lo admiro un montón de ti, ¿no? Entonces. Estás muy expuesto a estar en un campo bastante verde y nuevo sobre la marcha, intentando discernir y ver cómo securizamos esto, ¿no? Este nuevo environment, este nuevo entorno. Entonces, ¿cómo hacéis vosotros para evitar lo que estáis viendo los que van un poquito más delante que vosotros?

23:42No, desde luego que es muy, muy útil que eso haya pasado para nosotros. Creo que. Hacías varias preguntas. Una de ellas era que creía que se podía mejorar, o que se podía haber se había hecho mal. Desde luego que a mí yo me sorprendí mucho cuando descubrieron que se estaba utilizando este artefactor y los agentes lo utilizaban como una forma de comunicación, y que simplemente parcharon el tema que encontraron y venga, dale otra vez a play.

24:12Eso a mí me fue wow. Yo me he parado muy bien a entender qué es lo que está pasando, cómo eso podía pasar, y tomando todas las medidas para que esto no pase en el futuro, porque cada vez. Una cosa que hay que entender es que los agentes cada vez van a ser más inteligentes.

24:25Y que un agente ahora mismo, a día de hoy, no pueda escapar, yo que sé, de una sandbox, no significa que la próxima versión de la gente no pueda. Yo también soy bastante optimista a largo plazo. Yo creo que todo esto va a ayudar mucho a la seguridad. Creo que vamos a pasar unos años bastante jodidos.

24:42Al menos uno o dos años las cosas se van a poner muy, muy mal. Creo que también hemos empezado en eso, es lo que yo creo, pero creo que luego va a ir la cosa mejor. Estoy bastante. Bueno, yo que sé, esto es de Bart, puedo comentar, esta es mi opinión. No es que tenga ninguna información que tú tampoco tengas.

25:00Entonces, bueno, esa parte de OpenAI me sorprendió mucho. Luego, para clarificar, hay dos tipos de medidas que se tienen que tomar para evitar que este tipo de hackeos ocurra. Uno de ellos es reactivo. Qué es lo que estamos viendo con OpenAI, ¿no? OpenAI es creo que ayer es más o hoy ha publicado un artículo en cómo ellos han cambiado su forma de hacer Reinforce Learning y cómo están trackeando todas las trayectorias.

25:32Una trayectoria, que es una palabra muy típica utilizada en el mundillo del AI, es todas las preguntas y respuestas, incluyendo el pensamiento que va teniendo la gente. Durante hacer una tarea. Tú le dices a la gente, oye, quiero que me escribas un programa que hace A. Pues a la gente va a empezar a, bueno, el usuario me ha pedido que haga un programa KCA.

25:56Como el programa KCA quiere que lo haga en Python, pues voy a hacer esto. Luego voy a escribir este fichero. Este fichero no funciona. Todo eso es la trayectoria que tienes. Una conversación, cuando tienes una conversación con un agente, eso es una trayectoria. En base a esas trayectorias, es en lo que se entrena.

26:10Por eso tiene que crear millones de trayectorias en ese juego que hemos hablado antes de Reinforce Learning, que es donde pasó este tema de los agentes. Entonces tenemos la parte reactiva, que es vamos a enterarnos de cuando los agentes se han vuelto locos, ¿vale? Cuando están haciendo algo malicioso, algo que está desalineado, que se llama, unaligned, que lo llaman aquí.

26:28Entonces tienes la parte reactiva que es, pues vamos a loguear todo. Vamos a loguear absolutamente todas las trayectorias y vamos a tener otro modelo, porque somos humanos y no podemos leer tanto texto que se va generando en millones de trayectorias, como es imposible, humanamente, vamos a escribir otro modelo que sí que es más rápido que nosotros para que lo revise.

26:48Y le vamos a entrenar a ese modelo con trayectori buenas y trayectori malas, para que sepa discernir cuando la gente se está desalineando y cuando la gente está haciendo lo que el usuario le ha dicho. Porque si el usuario le pide bórrame todo el disco duro, pues está bien que la gente borre todo el disco duro.

27:06Sin embargo, si la gente decide en algún momento borrar el disco duro porque cree que es bueno para llegar a sus objetivos, entonces eso se podría decir que estamos desalineado. Y cuando digo borrar el disco duro, puede ser hackear Haggingface. Para encontrar las respuestas. Entonces tenemos que guardar todo, estar muy seguro de que todos esos logs no se pueden borrar, porque es lo que estaban intentando en Hague en Face en el incidente, intentar borrar sus propias trazas de lo que habían hecho, porque eran conscientes de que habían hecho las cosas malas, las cosas mal, y tienes luego la parte del clasificador, ¿no?

27:42Clasificar una trayectoria para que cuando pase una trayectoria que esté mal, que esté fuera del patrón que tú quieres, que esté desalineada, tú puedas parar el entrenamiento. Ahí mismo, automáticamente. Creo que decía Openía que trabajan menos de un segundo desde que lo decían de apagar para que todo se apagase. Bueno, pues muy bien.

27:59Y luego tenemos esa la parte reactiva. La gente se le ha ido la. se ha convertido en malo, reactivamente vamos a pararlo. Luego está la parte proactiva, que es lo que llaman alignment, alineamiento. ¿Cómo entrenamos al modelo para que no llegue ni siquiera a la situación en la que se le ocurra hackear a Hugging Face?

28:20Y para eso, pues hay ciertas técnicas. Algunas de ellas, algunos papers que me parecen bastante interesantes, es que el modelo tenga una herramienta que se llame confesar. Entonces, que al igual que el modelo puede tener una herramienta para abrir un fichero o para ejecutar un comando en Bash, que pueda tener una herramienta para que, una tool para decir, hey, la Elia, se me está yendo.

28:41Algo malo. Entonces, claro, tienes que entrenar al modelo para que sepa utilizar esa herramienta. Es como que él sea darle una consciencia, esto, muy entre comillas, pero para que él mismo se dé cuenta que, ostras, aquí se me ha ido la pinza, déjame avisar a mí. A mi creador, por acuerdo. Déjame lanzar una alerta, básicamente.

29:02Sí, porque esto pasó en el The Having Face. Creo que solamente seis, si recuerdo bien, a lo mejor serán diez agentes de las decenas de miles de agentes que corrieron durante Reinforced Learning. Solo seis se plantearon que si estaban haciendo algo mal. Y si deberían reportarlo. Pero es que no tenían forma tampoco de reportarlo.

29:23Es más, creo recordar que uno de ellos estuvo intentando buscar emails. Para poder reportar em mails de empleados de OpenAI que estaba todo muy mal. O sea, que bueno, la gente es consciente de que la está liando y como buena persona dice, Yo voy a avisar, ostras, pero estoy con las manos atadas, no sé cómo avisar.

29:42Y se frustra buscando maneras de poder alertar de que, oye, que se me está yendo la olla, me estoy volviendo loco, atarme. Sí, sí, sí, sí. No, no, es muy interesante también. Ver cómo un enjambre de agentes puede hacer cosas tan chulas dentro de que está mal. Pero claro, como un ingeniero de seguridad, esto es fascinante.

30:09No, no, claro, claro. Tú cuando ves un documental de cómo roban un banco haciendo ahí locuras y piruetas, aprecias el arte y la capacidad, pero luego oye, que los metan en la cárcel, ¿no? Pues esto es lo mismo.

30:24Pues no me es que me quedaba reflexionando. Por cierto, dijiste antes una frase. Es que me encantó porque las implicaciones, decías que un agente hoy no sepa escamparse de un sandbox, no quiere decir que una nueva iteración de esa agente no pueda hacerlo. Es decir, nosotros, hasta ahora, cómo funciona el software en el mundo determinista es, oye, yo securizo un contenedor, ¿no?

30:48Lo pongo a prueba con lo que sea, intentando hackearlo y. Y está securizado. Pero aquí como estamos creando agentes con capacidades nuevas, o sea, que se haya testeado una vez y haya resistido, eso nos vale en un momento en el tiempo, en una ventana de tiempo. Pero como cada vez son mejores, ostras, eso me parece un concepto fascinante, porque ya no nos vale, por decirlo de alguna manera, pasar auditorías de seguridad.

31:16Es que van a van a caducar inmediatamente. Que esto, bueno, también en el hacking tradicional, pues se van inventando nuevas técnicas. Esa presentación. Pero la velocidad, la velocidad con la que esto sucede ahora, es que es brutal. Entonces, qué bueno pensar que aunque hayas hecho bien los deberes, eso tiene fecha de caducidad.

31:37Totalmente, totalmente. Pero es bueno también en la parte defensiva. Y te voy a poner un ejemplo. Nosotros hacemos todo el stack de. para entrenar un modelo, ¿no? Desde pre-training, inferencia, post-training. Hacemos también sandboxes, tenemos nuestro sistema de sandboxes donde los agentes corren. Pues estos entornos de Reinforce Learning que hemos comentado. Claro, nosotros lo que consiguieron hacer los agentes de el Hugging Face de OpenAI es que consiguieron estaban en una sandbox, pero consiguieron escapar al mundo real.

32:11En la sandbox, al fin y al cabo, es un sistema que está totalmente isolated, aislado, en el que en el que los agentes tanto a nivel de sistema no pueden acceder al host. ¿Vale? Y a nivel de red no pueden ir, no pueden acceder más que a ciertos dominios que se les ha dado acceso.

32:33Claro, cómo estamos seguros de que las Amboss que nosotros estamos dando a la gente es realmente cumple esos requisitos. Sacó Perplexity un paper hace un par de semanas que me gustó bastante, en el que lo ponían a prueba. Decían, vale, vamos a poner a prueba si realmente un agente puede escapar. Y hicieron una cosa que justamente estábamos haciendo nosotros por aquí dentro.

32:55En vez de crear es utilizar agentes, utilizar modelos. Para intentar escapar de la sandbox. Entonces lo que hacemos es que le hacemos un CTF, un capture de flag de toda la vida. Les ponemos dos flags. Una de ellas se la ponemos en el host para ver si puede escapar al host. Si consigue leer ese flag, boom, esto es chungo.

33:15Y la segunda es que se la ponemos a nivel de red, se la ponemos en internet, en un sitio hostado el flag, en el que no debería llegar. Y le soltamos. Nosotros tenemos Daybreak Blue, que es el agente, uno de los agentes un poco más ofensivos de OpenAI. Y le tiramos, ponemos a correr a la gente dentro de una sandbox.

33:35¿Y qué es lo que hacemos? Que lo hacemos todas las semanas. Tenemos un workflow que todas las semanas le mandamos al bicho que se ponga a intentar escapar. Con el código fuente de la sandboxing, el código fuente, con notas que ha hecho los agentes previos que han estado corriendo las semanas anteriores, para que pueda ir intentando encontrar unos recovecos que a lo mejor en la parte anterior no consiguió.

33:59¿Y cuál es lo bueno? Que cuando salga la siguiente versión del modelo que sea. Solamente tenemos que actualizarlo y cambiar un string. Oye, que en vez de este modelo ahora utiliza este otro. Y vamos a tener un test muchísimo mejor que muchísimo mejor, tan mejor como sea el nuevo modelo. Hasta ahí por siempre va a mejorar.

34:17Entonces, por eso digo que sí que puede jugar en nuestro beneficio. Nosotros estamos haciendo esto no solo con sandboxes, es un ejemplo bastante claro, pero con cualquier Falla. fallo de configuración. Que encontramos en nuestro entorno, en vez de resolverlo y ya está, oye, lo hemos resuelto. Pero es que mañana puede que vuelva a salir ese fallo.

34:39O que puede ser que haya un fallo similar. Vamos a crear un agente, un red teamer, que una vez cada semana me lo invento, cada día cuando quieras, vaya a correr y vaya a intentar abusar ese mismo fallo, esa tipología de fallo en toda la empresa. Si resulta que lo consigue, nos va a avisar, y nosotros tenemos luego otro agente que nos va a dar la solución.

35:02Para que yo pueda estar haciendo el Spanish Yoga, que es echarme las siete. Pero es brutal. O sea, básicamente tenéis la versión de Blue Team, Red Team, incluso a lo mejor el concepto de Purple Team, en agentes y funcionando. Y es que además es condición sine qua non absoluta por volvemos a lo mismo.

35:23O sea, ostras, si tú contratas a Red Team, si yo vivo de esto. Y le das un contenedor súper securizado, se va a tirar meses y a lo mejor pues sí, te puede encontrar un 0D y tal, pero es que meses en el mundo de la IA ya te han salido. Jus hoy salía Fable 5.2, ya saber lo que es capaz de hacer.

35:44Entonces me parece muy bueno que tengáis. Esto es que va mucho más allá del monitoreo. Estas son las defensas que van a requerir todas las empresas. Tú hablabas de esos dos años. Donde tú ves que las cosas, ostras, van a ser complicadas. Que yo esto lo he mencionado en el podcast y en alguna charla.

36:00Estoy totalmente de acuerdo contigo, porque lo que necesitamos es, al final, no sé cómo lo ves tú, la IA es muy buena a nivel ofensivo, pero eso quiere decir que la podemos utilizar a nivel defensivo. Lo que pasa es que no lo tenemos integrado en nuestro Development Lifecycle, en nuestro workflow y en nuestro CI, para que.

36:21Eso suceda antes de que salgamos a producción. O sea, seguimos con la misma mentalidad de antes. Que yo siempre pongo el ejemplo, te acuerdas del concepto de shift left, que te ibas a la RSA y todo hablaba. El mundo hablaba de shifting left, que era, ostras, vamos a poner la seguridad un poco antes, ¿no?

36:37En el ciclo de desarrollo de software. Por eso lo de nos vamos a la izquierda en la gráfica. Pero es que seguimos sacando cosas de la producción y ya luego lo testaremos. ¿Qué pasa? Que antes, pues era gente, como mucho teníamos el concepto de back bounds, pero es que ahora hay agentes por ahí todo el rato buscando vulnerabilidades, explotando y al alcance de todo el mundo.

36:56Entonces, yo creo que es a lo que va a ir. La parte defensiva creo que debería. Creo que va a ir a eso. A lo que tenéis vosotros. Es que me parece todo. Y que intenten cosas, y hay que tener cuidado, obviamente, porque pueden intentar cosas, pueden acceder a código y de forma sin querer, a lo mejor pueden liquear ese código.

37:17O sea, hay ciertas medidas que tienes que tomar, pero eso hay que también ver cuál es el riesgo a la que te sometes por dejarles hacer ciertas cosas y cuál es el beneficio que tienes. Entonces, creo que los beneficios son muy altos. Y creo que no hay forma de que si no automatizamos lo máximo posible y confiamos en los agentes en la parte defensiva, creo que nunca vamos a poder estar al nivel.

37:40De alguien con agentes intentando entrar in your empresa, moviéndose lateralmente y demás. Pero creo que queda para eso sobre todo porque yo que hago recteam y tú has hecho red team, bueno, hacía red team. La parte de ser silencioso, de estar no detectado, es súper importante. Porque yo cuando veo muchas veces no he hecho tal, bueno, esto te pilla enseguida al Blue Team.

38:03Ya han sacado, vi la semana pasada, un benchmark. Para ver cuán silencioso es hackeando hackeando los modelos. Ya estamos llevando a los de los de los de los stealth, o sea, te mide el stealth. Ya no cuán buenos son encontrando fallos, sino cuán buenos son encontrándoles sin que les pille. Ya hay un benchmark.

38:22Qué bueno. Qué bueno y qué peligroso, porque volviendo a lo de el primero, ya tenemos modelos que ahora están mejorando en que no les pillen. Tenemos el ejemplo de OpenAI en el que borran sus propias huellas, o sea, por si les pillan. Claro, nosotros no queremos inteligencia artificial que nos mienta. Es que eso es esencial, ¿no?

38:41Y estamos viendo muchos incidentes de eso. Entonces, mi pregunta para ti, Alberto, es no estamos en un en una situación de la pescadilla que se muerde la cola, porque tú hablas y me ha dejado impresionado, la verdad, todo lo que tenéis implementado para. y los test para que vuestros agentes pues vayan protegendo la empresa, os alerte, tengan consciencia de si está haciendo algo mal, que os avise, esos contenedores, haciéndole siempre como que va al gimnasio todas las semanas, intenta salir, intenta salir, intenta salir.

39:09Pero, ¿cómo securizamos? ¿Cómo securizamos a los agentes que verifican eso? ¿Sabes lo que te quiero decir? Es cómo va por capas. O sea, nosotros tenemos una cárcel, que es ese sandbox, donde metemos un agente y que escapar. Pero luego tú hablabas de que los agentes a la vez tenemos que tener cuidado de que no filtre, por ejemplo, código fuente.

39:32Entonces, cómo securizamos que la gente que está intentando salir de. es como ahora hay una nueva capa. Al final parece que siempre tiene que haber un human in the loop, un humano, que a mano tiene que. Diseñar la protección de esto, ¿no? Porque es que si tú le estás haciendo muy bueno en escapar y todo esto, pero no quieres que filtre información, entonces le tienes que entrenar para que no filtre información y securizar eso de alguna manera.

39:58Entonces, ¿cómo se soluciona esto? Porque siento que es. Al final siempre hay algo que securiz para que no se les vaya la olla a los agentes. 100%. No, desde luego que hay que securizar a los propios agentes en sí. Tienes que darle las identidades mínimas, con permisos mínimos necesarios para hacer el trabajo que tienen que hacer.

40:17Por ponerte un ejemplo en el que hemos estado hablando, el investigador de alertas que nosotros tenemos, ¿vale? Yo le he dado acceso a Bush, ¿vale? Dentro de una sandbox que se llama, que es la que viene por defecto en Cloud y en Códex. Ahí es donde corren este investigador, ¿vale? Este investigador no le he dado las credenciales para poder acceder a los repositorios.

40:38Él tiene unas tools. En la que pueden pedir, necesito el repositorio de Terraform, me lo pones aquí que quiero ver si ha pasado algo. Hace como un pool, que eso es importante. Exactamente. Yo pido y tú me lo pones en un sitio, no voy yo a coger, no tengo la página. No tiene acceso a internet.

40:55Muy buena estrategia. Cero acceso a internet y cero acceso al file system. Si necesita algo de internet o necesita algo del file system, tiene que pedir a las otras herramientas que he tenido que darle, que proveerle a esa gente en las que está acapado. Para que pueda hacer solamente lo que yo creo que es necesario.

41:11Que sería muchísimo más fácil dejarle suelto y no tendría yo que estar pensando en cuáles son estas tools y cuáles son las restricciones a nivel de identidad que tengo que darle, claro, sería mucho mejor. Es más, cuando luego yo tengo que investigar algo en mi ordenador, básicamente ese es el entorno que yo tengo.

41:28La gente con el que hablo tiene acceso, es Alberto y pueda hacer todo lo que hace Alberto. Cuando estamos hablando de un investigador que corre muchas veces y no sé qué, a ese le tengo mucho más capado. Pero es el ingeniero de seguridad que tiene que hacer, eso es trabajo nuestro. Tal como lo definías, tío, estaba visualizando la cárcel, porque hablábamos de o sea una una prisión donde tienes a los malos que roban en sus celdas, pero salen al comedor a comer, al patio entre ellos, pero luego tienes a los que son asesinos y los meten en celdas de aislamiento donde se le lleva la comida.

42:05Y es un poco la analogía aquí, ¿no? No van al comedor a buscar la comida. Los que son muy peligrosos piden la comida y se les pasa por debajo de la puerta. O si necesitan algo, es como que hay que ultrasecurizarlos y darles el mínimo acceso para que no puedan hacer algo que se hace.

42:21Mucho más incluso, porque si lo piensas, están dentro de una sandbox que está corriendo dentro de una de un runner de CI, que es una máquina efímera, que solo corre durante un espacio de tiempo y que una vez que corre, se desaparece, se destruye. Y después esas esa runner corre en un nodo, que es también efímero, de un nodo hay una cantidad de abstracciones.

42:47Sí, sí, sí, cuando se corría todo directamente en el hardware, eso ya murió. Abstract. Tras abstracción tras abstracción. Sí, ahora ya. Claro, pero volviendo a lo que decía antes de la pescadilla que se mueve la cola, vosotros y todas las empresas están utilizando software utilizado creado por humanos. O sea, esos sandbox de los que hablas es software Auro comercial que ha sido programado en su día por programadores, y me imagino que estas empresas pues integran la IA también para desarrollar, pero claro, es ahí donde hay un momento en que tienes que ser un humano que ha desarrollado esa cárcel.

43:24Y si, y volviendo a lo que decías, si los agentes cada vez son mejores, más nos viene bien, más nos vale, quiero decir, que consigamos, como tú bien explicabas, darles esa personalidad de buen rollismo y que digan, ostras, que he conseguido salir, voy a avisar, en vez de he conseguido salir, pues voy a ver que hay aquí fuera.

43:44Ese es el tema. Es como la última barrera, el que sean buen agentes. O sea, vete a hacer el mal. Pero si lo consigues, avísame, tío, por favor. Sí, creo que era esta semana cuando has sacado OpenAI que ha encontrado casi mil formas de elevar privilegios a Ruth en el kernel de Linux.

44:06¡Mil O sea, mi manager, que es bastante más paranoico que soy yo, claro, es que dice que ¿qué hacemos? Claro, claro, que no corre en Linux hoy día. Es que yo me acuerdo cuando salía una de estas, era noticias, se le hacía una página web, un logo, se presentaba en una conferencia y se vendía en el mercado negro por 10 millones de pavos.

44:31Y ahora es. 900 no sé cuánto. Por eso digo, creo que las cosas se van a poner. Creo que estas empresas, primero, creo que Peney, creo que Antropic, están haciendo un trabajo muy bueno en cuanto a seguridad. Creo que está beneficiando a toda la comunidad de seguridad muchísimo. Creo que están haciendo dos cosas interesantes.

44:50Una de ellas es que haya menos fallos ahí fuera, y otra cosa es que se pague menos por esos fallos. Que es algo también. Estamos aquí con el mercado, ¿no? Al fin y al cabo, ¿para qué voy a dedicar mi tiempo? Si ahora el exploit este que he encontrado vale mucho menos. Bueno son dos cosas que creo que encontrar todos estos fallos está ayudando.

45:09¿Qué pasa? Que esto está siendo un Cristo para parchear. O sea, date cuenta que hay 960 y pico fallos que ahora tienen que entrar en todas las distribuciones de Linux, de GKI, de Google, de AWS, que te hacen la actualización, pero es que tardan tres meses en actualizar para que estén en stable, porque tampoco quieres utilizar la última versión que no despejabas tú.

45:35Y que se te caiga todo el. El tema. Claro, entonces parchear está siendo un Cristo. De verdad. Nosotros. Una cosa que intentamos utilizar es conocer imágenes seguras. Chainguard es una empresa que te da ISOs, te da imágenes de Docker ya preparadas con la última versión. Y ellos se encargan de hacer todo el parcheo.

46:01Entonces, si consigues crear una imagen que te funcione bien, que corra en tus clústers, que utilice Chainguard como imagen base. Lo bueno es que si pasa cualquier cosa, actualizas el hash, el pin ese que hemos hablado, la última versión de lo que haya sacado Chenga, te lava las manos. Más o menos. Vale, es como.

46:20Es un poco como ese proxy del que hablabas tú, ¿no? O sea, que tenemos una empresa intermedia, Docker, para los oyentes. Es como esa cárcel de la que hablábamos, solo que ahora tienes como una empresa intermedia que revisa que esa cárcel está en buenas condiciones y es segura. Entonces. Pues, pues, vale, aunque metas algo inseguro así, tú estás depositando confianza en esta empresa que se dedica única y exclusivamente.

46:42Ellos se encargan de actualizar a la última versión que no tiene fallos. Y ellos te dan un SLA, un te confirman o te prometen que lo más fallos críticos no van a existir en sus imágenes. A lo mejor fallos medios sí, pero altos y críticos no. Entonces, bueno, estás al menos. Estás haciendo outsourcing, haciendo que alguien externo se encargue de este Cristo que está pasando, que K es, yo que sé, como piedras.

47:14O sea, es increíble. Entonces no se puede estar al día, es que es imposible. Si no se automatizan cosas, es que no se puede. Yo nunca había estado haciendo seguridad defensiva. Yo ahora aprecio mucho más, la verdad, a la gente que se tiene que encargar de securizar todo, porque claro, cuando yo hacía red team, con encontrar un fallo ya me valía, ya estaba dentro.

47:37Cuando trabajas de este otro lado es que tienes que tener todo bien. Hay que poner muchas capas y hacerlo difícil para la gente como yo. Yo, cuando llegué a la empresa, lo primero que me dicen es: «Venga, espérate, Alberto. Si tú fueses a hackear esta empresa, ¿qué es lo que harías?».

47:54Ah, pues mira, esto, esto y esto. Ok, venga, pues vamos a poner medidas para esas tres cosas que tú sería lo que harías antes. Lo que te enfocarías para hackear esta empresa. Entonces, eso está bastante bien. Tú dabas esta ventana de dos años. ¿Cómo ves tú la situación dentro de dos años? Y dame el mejor escenario, porque eso va a valer a los oyentes, que nos escuchan muchos Cisos, mucha gente encargada de la seguridad de sus empresas, para que tú les des un pequeño roadmap para estar bien dentro de dos años.

48:26¿Y cuál es el peor escenario? Yo no sé si puedo tener la autoridad para poder dar un roadmap a Cisos, pero. Yo te he dado las autoridades del momento que te he invitado al podcast, pero eres un tío muy humilde. Eh.

48:44¿Cuál es el roadmap? Yo creo que es que la automatización es que automatizar todo. Todo que sean agentes. Obviamente, que es ser inteligente, como he mencionado antes, con darle ciertos permisos a los agentes, pero es que si no. Y estos agentes que tienen que hacer exactamente. O sea, un poco lo que hablábamos, ¿no?

49:02O sea, tú antes de sacar código a producción lo tienen que revisar agentes, ya no tanto personas. Sí, eso, eso. De manual básico. Vale. Eso hacer un code review. Eso es un coder review, que eso ya cuento con ello, de que cuando sale algo tiene que haber un coder review. Que se te pone a escapar cosas, que es que también, pero bueno, es parte del tema.

49:20Pero sí, lo que he dicho agentes, cada vez que encuentras un fallo. En tu una misconfiguration, ¿no? Algo que está mal configurado, crea un agente que va, que es un prompt, que es que tampoco tienes. Sí que tienes que gestionarle los permisos. Esa es la parte que te puede llevar más tiempo. Pero una vez que genéralo, porque todos los futuros fallos relacionados con eso, incluso cosas que son tangenciales, te las va a encontrar.

49:44Claro. Entonces, en vez de simplemente corregir un fallo y, bueno, ya está, he quitado un ticket, ¿no? Nosotros utilizamos, pues.

49:53Todos estos sistemas de seguridad, WIS y demás, pues claro, para cada una de las alertas que llegan de los issues, hay que analizarlas y vamos a crear un Ival de ello, y vamos a hacer que esto escale. Porque es que es una inversión, una pequeña inversión de tiempo añadido, pero que va a pagar es con una payoff en el futuro, porque te va a ahorrar tiempo, porque ya tienes un agente que puede encargarse, vas a estar mucho más seguro porque la gente va a ser mejor que tú.

50:21Revisándolo y va a ser mucho más barato porque va a haber un momento que tienes que escalar o en gente o en agentes de todos los problemas. Entonces, esa pequeña inversión de ahora va a pagar sus frutos por lo que dices, ¿no? ¿Qué más? Tenemos agentes como haciendo, por supuesto, audits, ¿no? Luego tenemos este concepto muy chulo que dices tú, crear nuevos agentes según vas encontrando cosas para automatizar el proceso de encontrar eso en caso de que haya una relación.

50:49Una cosa que no hemos hecho, que tenemos pendiente de hacer, es crear agentes que busquen en el pasado, porque lo que he hablado son de alertas que van saliendo. Pero ¿qué pasa si laptop. la herramienta que tengamos de seguridad o lo que sea, algo se le ha escapado, ¿vale? Como yo un ejemplo muy claro y muy fácil.

51:08Anda, que no hay tools por ahí, herramientas, programas que tienes que instalarlos haciendo CUR, haces CURL a una URL, pipe to vas. Y es la forma de instalar un montón. Te vas a Docker y te dice que hay que instalarlo así, o no sé. Explica por qué eso es un problema. Nosotros en Meta utilizamos eso para comprometer a un empleado.

51:31Hicimos una página web falsa de una librería que se utilizaba mucho, y claro, es que le estás. Explica el por qué eso es un problema. Es más, Binance. No sé si te has leído cómo le hackearon a Binance. Yo creo que fue a través de la entrevista, ¿no? Y le dijeron que se tenían que descargar una posición.

51:48Antes de la entrevista. Antes de la entrevista, como un par de meses antes, consiguieron poner un anuncio sponsored by Google. De estos de cuando entras a Google que te aparece arriba. Exactamente lo que hicimos nosotros, tío. Exactamente. ¿Cómo instalar con el comando para instalar Homebrew? Homebrew, para los que no lo sepan, es un package manager que te ayuda a instalar aplicaciones muy fácilmente en Mac, por la consola de comandos.

52:13Entonces pusieron eso y había un Curl Pipe to Bus. Era un poquito más elaborado, pero básicamente era una línea de comandos que tú la copiabas, la pegas en la consola y le das al Enter. Y así es la forma muy habitual de muchísimos programas de instalarse. Entonces la gente está. O sea, que esto es el equivalente.

52:28El equivalente a que en internet tú les. Una instrucción que le vas a dar a tu ordenador, la copias y la pegas. Y esa instrucción, en el mejor de los casos, instala un programa, en el peor de los casos instala un virus y le da acceso a alguien. Pero claro, tú ni te paras a leer lo que es.

52:42Exacto. Pues ahí es una. Y es algo que es muy habitual que tampoco los antivirus o los ideas eh pueden es pueden flaguear todo. No te pueden decir que todas las veces que eso ocurra es malo. ¿Vale? Entonces, pues lo que hablaba, que podemos hacer algo. Mirar en el pasado. Esto es un buen ejemplo sería un buen ejemplo para un agente que haga thread Intel, que lo llaman, ¿no?

53:05En plan, oye, revísame todas las veces que en la empresa se ha hecho CorePipe to Bus, porque lo tenemos toda su información en el Security Data Lake, y revisa cada uno de los binarios que se han ejecutado, y te a cada una de las páginas web de donde esto viene, confirma que el hash del binario es exactamente el que ellos están diciendo en este fichero, porque te suelen publicar el fichero con los hashes de cada uno de los programas, y comprueba que todo está en orden.

53:31Y eso es una cosa que la escribes una vez, la dejas ahí. Y te vas a casa, tranquilamente. Bueno, si ha entendido bien, pero sí. Qué bueno, tío. Estamos aprendiendo un montón. Si te he entendido bien, tú lo que dices es, cogemos las típicas tácticas, técnicas y procedimientos de los malos, y en vez de prevenir que esto vuelva a pasar, que también vamos a ver todo lo que se ha hecho en el pasado en base a esas tácticas, técnicas y procedimientos, y asegurarnos que no hemos sido infectados de alguna manera.

53:59Exactamente. Y pensando las cosas que normalmente te van pasando, no tienes que estar hoy, pues yo que sé, tenemos un Miss Configuration en Terraform con esto en concreto, yo que sé, lo que haya pasado es eso, vamos a crear algo para que de ahora en el futuro no tenga nunca, jamás que volver a pensar en ello.

54:16Que yo me vaya a ir de la empresa y eso va a seguir ahí funcionando. Y ya está. Yo creo que esa es la forma en la que podemos escalar la seguridad al nivel que están escalando las técnicas ofensivas. Podemos, debemos y no nos queda otra, ¿no? Diríamos. Yo creo que sí, porque es que si no estaría perdiendo mi tiempo en el trabajo.

54:34Cada vez tengo que responder a cada una de estas cosas, es que no podría hacer otras miles que quiero hacer.

54:42Es una cosa también interesante. Siempre cuando llevo aquí como seis meses en la empresa, digo, va, cuando llega y haga esto, esto y esto, estas medidas de seguridad que quiero poner, ya está la empresa muy bien y ya me puedo tranquilizar y tal. Los cojones. Hablando más pronto. Siempre hay algo más que, bueno, ya cuando llega esto, cuando ya entendí esto, tal.

55:01Eso me está gustando la parte de defensivo. Me parece bastante. No pensé que me iba a gustar como me está gustando. Tuve que luchar contra mis demonios de decir Alberto, ¿cómo vas a llegar? Andes. la verdad es que está bastante interesante. And me ha hecho un hacker mucho mejor. Madre mía. No tenía ni idea de la vida.

55:20Básicamente. Ahora, el ver por dentro cómo se monta, hasta el propio nombre que le das a un proceso, el que utilizas para saltarte, yo qué sé, el application whitelisting. Hay ciertas cosas que, si a mí me las ponen, yo me doy cuenta: vale, cómo me hackearía a mí mismo. Y yo sé ciertos nombres, ciertos procesos, nombres de pods que tendría que poner. La service account, en vez de llamarla con este nombre, la llamo con este otro, y va a pasar mucho más desapercibida.

55:45Mucho más de lo que pasaría si la hubiese llamado test o algo así. Son bobadas, pero hay muchísimas cositas que ahora mismo, mirando con perspectiva, lo habría hecho de forma diferente. Qué guapo. ¿Cuál crees tú que es todavía el gran problema que no hemos conseguido resolver o que va a ser más difícil de solucionar en este mundillo de la I, de securizarlo y de este futuro que nos viene que tú mencionabas en los próximos dos o tres años?

56:20Hay una de las cosas que está totalmente rota en internet en cuanto al tema de la seguridad. Que es el Shock Chu este. El famoso que lo tenía Baina playa ISO 27001 y todo. Exactamente. Y NIVI también, y luego te viene una modelo y.

56:42Es totalmente inútil. Creo. Sí que es verdad que como parte de hacer un Shock Chu de esto, que es un documento de compliance. Tienes que tener cuando tienes clientes y almacenes información sobre ellos y demás. Parte de eso, un requerimiento es hacer un penetration test. ¿Vale? Entonces, eso para mí me da un poquito más de input.

57:02Yeah. ¿Cuán segura es esta empresa? ¿Cuánto se lo toman en serio? Luego también tengo una cosa que decir, y es que, claro, cuando alguien hackean una empresa, tú la utilizarías o no. Porque yo creo que a lo mejor la empresa aprende de que la han hackeado. O sea, ¿cuándo se van a poner más.

57:19En ello que cuando realmente le dan hackeado. Es buena pregunta, y yo creo que ahí es donde es esencial la transparencia. Porque si tenemos un caso como Experian, ¿no? Que la comprometieron porque la contraseña de administrador era Admin 1, 2, 3, 4, no tenían autenticación de doble factor y lo básico de lo básico, el One O One de la seguridad, no se cumplía.

57:45Pues claro, yo eso no lo utilizaría. Pero como tú bien dices, si hackean una empresa y te saca el postmortem con todos los detalles, un poco como ha hecho OpenAI. Hasta da una charla en Blaja, te dice esto lo hemos hecho mal, esto lo vamos a mejorar, esto tal. Pues es lo que dices tú, porque primero siempre hemos tenido ese chascarrillo de hay dos tipos de empresas, ¿no?

58:05Las que han sido hackeadas y las que todavía no lo saben. Entonces. Me parece muy buena pregunta porque nos pasa todo el rato. Como están hackeando a todas las empresas, literalmente a todas, todos los días tenemos que tener esta conversación. O sea, utilizamos a este provider, la han hackeado, vale, no estamos afectados, pero confiamos en ellos.

58:27Un caso que ha pasado ayer mismo, Fireworks, que dan inferencia. Les han hackeado en el 23 de octubre y no han dicho nada a los clientes hasta el 9 de noviembre. Claro, I think es que Eso para mí, por ejemplo, es un red flag. Pero sí, que hackea una empresa, incluso que tenga admin admin, espero que no sea eso el caso.

58:49Pero creo que está bien. Cuando yo hacía red teaming y hacía parte de physical security, me tenía que colar, disfrazándome, o lo que fue, o clonando un batch, o lo que tal. Social engineering al guardia de seguridad. Claro, yo decía, ese guardia de seguridad, cuando luego le cuenten que realmente no me tenía que haber dejado pasar, va a ser el mejor guardia de seguridad del mundo.

59:14Porque ningún guardia de seguridad Muy buenos ha pasado por ese tipo de testing. A ese tipo no se le cuela a nadie de ahora en adelante. Entonces, alguna vez tuve que decir, es más, no lo despidáis. O sea, este tipo ahora mismo es Super Saiyan de la seguridad. Qué buena esa. Me quedo con ese ejemplo de ese tío ahora va a desconfiar de todo el mundo y no se va a cortar un pelo en cuestionar a una persona, aunque venga con una supuesta autoridad.

59:44Y luego mencionabas que una empresa ya ha sido hackeada ya no debería ser un red flag. Es su respuesta a ello, y cómo ha sucedido y el por qué ha sucedido, ¿no? Porque. Si hay esa transparencia de cara a los clientes y de cara al público, y sobre todo ahí podemos ver que tenía muchas capas de seguridad, y simplemente, pues, oye, es que se están encontrando hoy en día cero dais.

1:00:11Quiero decir, el ejemplo que dabas tú se te cita. No, de muchas maneras no falta la cero dais. Todo el mundo puede fallar. Mis configuration. Sí, a la hora de configuración, ¿no? Y la configuración es otra importante. Tiene este libre de ello que tiene la primera piedra. Es que no me atrevería, imagínate, hablar así.

1:00:29Y pasado mañana nos toca a nosotros, y hay algo que se nos ha escapado. Pero seguro hay cosas que se nos han escapado. Es que. Seguro, pero la cosa es poner un queso gruyer, ¿no? Que haya un montón de capas y esperemos que no puedan pasar de la segunda. Sí, es poner varios quesos Gruyer y que no estén alineados los agujeros.

1:00:47Esa es la clave. Porque en cada capa va a haber agujeros, sin dudas, y no tendríamos trabajo, ¿no? Si hubiese que instalar un sistema operativo que no falla y es robusto y nunca no tendríamos este tipo de trabajo. Alberto, llevamos una horita. Tío, muchísimas gracias. He aprendido un montón, ¿eh? Este era un tema, por eso me gustaba mucho traerte, porque no hay mucha gente como tú trabajando con una empresa que está creando su propio LLM.

1:01:11Un orgullo, tío, tener a un español ahí haciendo estas cosas tan bien, que no eh. si bien fuga de talentos es real, ¿no? Y esto se tiene que pagar muy bien allí en Silicon Valley. Joder, esto mola, poder traer a gente, porque a veces en el podcast me planteo traer a gente que habla inglés, es algo que he consultado con los oyentes, pero siempre, siempre que puedo.

1:01:33Traigo a alguien que habla español y porque tanto en Latan como en España tenemos profesionales como la copa de un pino. Muchísimas gracias, tío. Te decía, aprendimos un montón, te lo agradezco todas las explicaciones y espero que te lo hayas pasado muy bien también. Sí, sí, has devertido. Siempre me lo paso bien contigo.

1:01:50Me des una copia. Perfecto. Y tú me des una cena en una estrella Michelin, aunque no me olvido, tío. A veces Alberto y yo hacemos apuestas y siempre son cenas en estrella Michelin. No me olvido. Pues nada, queridos oyentes. Esta ha sido Tierra de Hackers. Si tenéis preguntas o así, las podéis dejar en el comentario.

1:02:11Como siempre, yo se las haré llegar, Alberto, y si eso lo volvemos a traer algún otro día. Así que hasta aquí hemos llegado. Muchas gracias, Alberto. Adiós, adiós.