Esto se va a descontrolar pronto

OpenAI, Anthropic, AWS, Microsoft, junto con más de otras 100 compañías, publicaron una open letter diciendo, básicamente, que tenemos poco tiempo antes de que todo valga madre en cuanto a la situación de ciberseguridad:

Tenemos un margen limitado para fortalecer las defensas cibernéticas.

En los próximos meses, los ciberataques potenciados por IA se volverán mucho más generalizados y sofisticados a medida que los modelos en todo el mundo se vuelvan cada vez más capaces. Las empresas y los servicios públicos de los que dependen nuestras comunidades —desde hospitales hasta plantas de tratamiento de agua y la infraestructura que alimenta internet— están en riesgo.

Los avances actuales en IA ya están brindando a los defensores nuevas formas de solucionar debilidades que se han acumulado durante años. Si actuamos con decisión, podemos aprovechar el margen de los defensores para hacer que nuestro mundo digital sea mucho más seguro.

Después del incidente con Hugging Face, OpenAI dijo que va a destinar el 20 % de su capacidad de cómputo para monitorear (ojo: para monitorear, no para asegurar) sus modelos. Ana Maria Constantin en TNW:

El núcleo del sistema es un monitoreo ampliado de cadena de pensamiento. Lee el razonamiento paso a paso que produce un modelo antes de actuar. Los clasificadores observan el estado interno de un modelo, dijo OpenAI, y escalan cualquier actividad sospechosa a un investigador automatizado. Ese sistema puede avisar a los equipos de seguridad, protección e investigación. La compañía indicó que su objetivo es emitir una alerta en un plazo de 30 minutos. Una ejecución se detiene si el personal no puede resolver la advertencia en ese lapso.

OpenAI ha reconocido que el método tiene límites. En investigaciones realizadas el año pasado, descubrió que la técnica “no elimina todo mal comportamiento y puede hacer que un modelo oculte su intención”.

El open letter está dirigido hacia 4 audiencias: todas las compañías, empresas de ciberseguridad, gobiernos y laboratorios de IA. Para los gobiernos:

Coordinen la ciberdefensa a nivel local, nacional e internacional. Fortalezcan los canales existentes entre el gobierno y la industria para compartir inteligencia sobre amenazas procesables, priorizar los riesgos más graves y coordinar la respuesta a incidentes y la recuperación en todo el mundo. Financia la ciberdefensa, empezando por los servicios esenciales que carecen de personal o presupuesto para actuar. Acelerar la expansión de los programas de acceso de confianza, especialmente para las cadenas de suministro de infraestructura crítica, y amplía el acceso a las capacidades defensivas para otros defensores. Otorguen a los hospitales, las empresas de servicios de agua y los gobiernos locales acceso a IA defensiva capaz, pruebas autorizadas y soporte práctico a través de proveedores y socios de seguridad de confianza. Impón costos a los atacantes.

Sam Sabin en Axios:

El panorama general: La carta abierta surge en medio de una ola de ciberataques contra infraestructura crítica, incluido uno dirigido a los sistemas de agua de EE. UU. con un aparente script de explotación generado por IA.

• La infraestructura crítica, como los sistemas de agua y las centrales eléctricas, ha tenido vulnerabilidades durante mucho tiempo en las herramientas que operan la maquinaria, pero los hackers solían necesitar invertir una gran cantidad de tiempo para comprender las complejidades de esos sistemas.
• Los modelos de IA están reduciendo drásticamente el tiempo y la energía que los hackers deben invertir en esos preparativos, según comentaron previamente expertos a Axios.

Sí, pero: Los firmantes no asumieron ningún compromiso, plazo ni inversión específica como parte de la carta.

Bueno...