Microsoft ha expandido su programa de recompensas por errores, ofreciendo hasta $30,000 USD a investigadores que identifiquen vulnerabilidades críticas en los sistemas de inteligencia artificial integrados en sus plataformas Dynamics 365 y Power Platform.
Esta iniciativa, anunciada por el equipo de Microsoft Security Response, busca robustecer la seguridad de la IA empresarial. El programa incentiva a expertos en seguridad informática a descubrir posibles puntos débiles antes de que puedan ser explotados por agentes maliciosos.
El programa aprovecha la clasificación de gravedad de vulnerabilidades para sistemas de inteligencia artificial recientemente desarrollada por Microsoft, que clasifica los riesgos de seguridad específicos de la inteligencia artificial en tres tipos principales de vulnerabilidad:
Esta categoría aborda vulnerabilidades que podrían explotarse para manipular la respuesta de un modelo a solicitudes de inferencia individuales sin modificar el modelo en sí. Los tipos de vulnerabilidad clave incluyen:
Inyección rápida: ataques en los que las instrucciones inyectadas hacen que el modelo genere resultados no deseados, lo que potencialmente permite a los atacantes filtrar datos del usuario o realizar acciones privilegiadas.
Las inyecciones rápidas de gravedad crítica que no requieren interacción del usuario pueden generar las mayores recompensas.
Perturbación de entrada: vulnerabilidades en las que los atacantes perturban las entradas válidas para producir resultados incorrectos, también conocidos como evasión de modelos o ejemplos contradictorios.
Manipulación de modelos
Estas vulnerabilidades apuntan a la fase de entrenamiento de los sistemas de IA, incluyendo:
Envenenamiento de modelos: ataques en los que se altera la arquitectura del modelo, el código de entrenamiento, los hiperparámetros o los datos de entrenamiento.
Envenenamiento de datos: cuando los atacantes agregan registros de datos envenenados a los conjuntos de datos utilizados para entrenar o ajustar modelos, pueden introducir puertas traseras que pueden activarse mediante entradas específicas.
Divulgación de información inferencial
Esta categoría abarca vulnerabilidades que podrían exponer información confidencial sobre los datos de entrenamiento, la arquitectura o los pesos del modelo:
- Inferencia de membresía: la capacidad de determinar si registros de datos específicos eran parte de los datos de entrenamiento del modelo.
- Inferencia de atributos: Técnicas para inferir atributos sensibles de registros utilizados en la capacitación.
- Reconstrucción de datos de entrenamiento: métodos para reconstruir registros de datos individuales a partir del conjunto de datos de entrenamiento.
- Robo de modelos: ataques que permiten la creación de copias funcionalmente equivalentes de modelos objetivo utilizando únicamente respuestas de inferencia.
Estructura de recompensas y elegibilidad
Las recompensas oscilan entre $ 500 y $ 30 000, y las recompensas más altas se reservan para vulnerabilidades de gravedad crítica acompañadas de informes de alta calidad.
El programa se dirige específicamente a integraciones de IA en PowerApps, aplicaciones basadas en modelos, Dataverse, AI Builder y Microsoft Copilot Studio.
El sistema de clasificación de gravedad considera tanto el tipo de vulnerabilidad como el impacto en la seguridad, con las mayores recompensas para las vulnerabilidades que podrían permitir a los atacantes filtrar los datos de otro usuario o realizar acciones privilegiadas sin la interacción del usuario.
Los investigadores de seguridad interesados en participar pueden comenzar registrándose para pruebas gratuitas de los servicios Dynamics 365 o Power Platform.
Microsoft proporciona documentación detallada para cada producto para ayudar a los investigadores a comprender los sistemas que están probando.
El equipo de Respuesta de Seguridad de Microsoft anunció: «Su investigación podría ayudarnos a fortalecer la seguridad de la IA empresarial».
El programa forma parte de una iniciativa de seguridad más amplia de Microsoft, que incluye programas de recompensas para varios productos y servicios de Microsoft.
Todos los envíos se revisan para determinar su elegibilidad para recompensas y los investigadores son reconocidos incluso cuando no califican para recompensas monetarias, pero conducen a mejoras de seguridad.
A través de esta iniciativa, Microsoft continúa enfatizando los esfuerzos de seguridad colaborativos a medida que la integración de la IA se profundiza en sus soluciones empresariales.
