Episodio 83 – Earspy y Prompt Injection

Los datos del sensor del acelerómetro de tu teléfono, es todo lo que se necesita para inferir parte de las conversaciones privadas que estás manteniendo durante una llamada…

Se publica un nuevo ataque llamado «Inyección de Instrucciones» que permite obtener las órdenes originales de los chatbots de Inteligencia Artificial, ChatGPT y Sydney de Microsoft, y Meta revela Toolformer, un proyecto que permite a estos chatbots utilizar herramientas externas como las APIs.

Pregunta del episodio

Viendo los riesgos de fuga de información que se podrían producir al permitir que las Inteligencias Artificiales puedan acceder a herramientas externas como las APIs para interactuar con el mundo online, ¿qué medida de las siguientes crees que sería la más efectiva para protegerse de estos riesgos?

• Limitar el uso de la información.
• Acceso solo de lectura a herramientas externas.
• Incrementar transparencia.
• Educar a los usuarios.

Notas y referencias

• Paper sobre Earspy.
• Resumen sobre Earspy y otros métodos de intercepción de llamadas.
• Alphabet/Google pierde 100.000 millones de USD de su valor debido a una respuesta incorrecta proporcionada por su chatbot ‘Bard’.
• Noticia del jailbreak de ChatGPT mediante la Inyección de Instrucciones.
• Hilo de Reddit sobre cómo usar DAN 5.0, el jailbreak de ChatGPT basado en Inyección de Instrucciones.
• Análisis de respuestas absurdas de ChatGPT debido a su entrenamiento con muchos datos de Reddit.
• Hilo de forocoches.net de experimentos de jailbreak de ChatGPT.
• Sydney, el chatbot de Microsoft Bing, revela sus secretos a través de la Inyección de Instrucciones («Prompt Injection»).
• Un investigador publica en Twitter cómo ha obtenido las intstrucciones originales de Sydney, el Bing Chat, mediante la Inyección de Instrucciones.
• Análisis de técnicas de Inyección de Instrucciones («Prompt Injection»).
• Ejemplo de ataque de Inyección de Instrucciones contra un bot de IA de Twitter.
• Hilo de Twitter con técnicas de Inyección de Instrucciones («Prompt Injection») avanzadas, como el uso de instrucciones dinámicas o metamórficas a través del uso de python.
• Sydney, el Bing Chat, le debate a un usuario que le pidió dónde ver la película de Avatar 2, que estamos en el pasado, y que si su teléfono no le dice lo mismo, debe de estar infectado con malware.
• Aplicación Forensic Sketch AI-rtist que permite crear retratos forenses policiales «hiperrealistas» de sospechosos utilizando DALL-E 2 de OpenAI.
• Noticia sobre la aplicación Forensic Sketch AI-rtist.
• OpenAI y otros investigadores de Inteligencia Artificial le proponen al gobierno de USA regular los modelos de IA y la disponibilidad de chips de IA para evitar problemas de desinformación y propaganda.
• Noticia sobre Toolformer, la herramienta de Meta que permite a los modelos de lenguaje de Inteligencia Artificial utilizar herramientas externas como el uso de APIs.
• Los profesores de la universidad de NYU le dicen a sus estudiantes que no utilicen ChatGPT para sus tareas académicas.

Gracias a Monad (monad.com) por su apoyo.