Los sistemas de IA con 'riesgo inaceptable' ahora están prohibidos en la UE

A partir del domingo en la Unión Europea, los reguladores del bloque pueden prohibir el uso de sistemas de IA que consideren que representan un 'riesgo inaceptable' o daño.

El 2 de febrero es la primera fecha límite de cumplimiento para la Ley de IA de la UE, el marco regulatorio integral de IA que el Parlamento Europeo finalmente aprobó en marzo pasado después de años de desarrollo. La ley entró oficialmente en vigor el 1 de agosto; lo que sigue ahora son las primeras fechas límite de cumplimiento.

Las especificidades se establecen en el Artículo 5, pero en términos generales, la Ley está diseñada para cubrir una miríada de casos de uso donde la IA podría aparecer e interactuar con las personas, desde aplicaciones de consumo hasta entornos físicos.

Bajo el enfoque del bloque, hay cuatro niveles de riesgo amplios: (1) Riesgo mínimo (por ejemplo, filtros de spam de correo electrónico) no enfrentará supervisión regulatoria; (2) riesgo limitado, que incluye chatbots de servicio al cliente, estará sujeto a una supervisión regulatoria ligera; (3) alto riesgo, la IA para recomendaciones de salud es un ejemplo, enfrentará una supervisión regulatoria rigurosa; y (4) las aplicaciones de riesgo inaceptable, el foco de los requisitos de cumplimiento de este mes, estarán prohibidas por completo.

Algunas de las actividades inaceptables incluyen:

  • IA utilizada para la puntuación social (por ejemplo, la construcción de perfiles de riesgo basados en el comportamiento de una persona).
  • IA que manipula las decisiones de una persona de forma subliminal o engañosa.
  • IA que explota vulnerabilidades como la edad, discapacidad o situación socioeconómica.
  • IA que intenta predecir que las personas cometan delitos basándose en su apariencia.
  • IA que utiliza biometría para inferir características de una persona, como su orientación sexual.
  • IA que recopila datos biométricos en tiempo real en lugares públicos con fines de aplicación de la ley.
  • IA que intenta inferir las emociones de las personas en el trabajo o la escuela.
  • IA que crea, o expande, bases de datos de reconocimiento facial mediante la extracción de imágenes en línea o de cámaras de seguridad.

Las empresas que se descubra que utilizan alguna de las aplicaciones de IA anteriores en la UE estarán sujetas a multas, independientemente de dónde tengan su sede. Podrían enfrentar multas de hasta €35 millones (~$36 millones), o el 7% de sus ingresos anuales del año fiscal anterior, lo que sea mayor.

Las multas no se aplicarán por algún tiempo, señaló Rob Sumroy, jefe de tecnología de la firma de abogados británica Slaughter and May, en una entrevista con TechCrunch.

"Se espera que las organizaciones cumplan completamente antes del 2 de febrero, pero ... la siguiente gran fecha límite de la que las empresas deben ser conscientes es en agosto", dijo Sumroy. "Para entonces, sabremos quiénes son las autoridades competentes, y las multas y disposiciones de ejecución entrarán en vigor".

Promesas preliminares

La fecha límite del 2 de febrero es en cierto modo una formalidad.

En septiembre pasado, más de 100 empresas firmaron el Pacto de IA de la UE, un compromiso voluntario para comenzar a aplicar los principios de la Ley de IA antes de su entrada en aplicación. Como parte del Pacto, los firmantes, que incluían a Amazon, Google y OpenAI, se comprometieron a identificar sistemas de IA que probablemente serían categorizados como de alto riesgo según la Ley de IA.

Algunos gigantes tecnológicos, en particular Meta y Apple, se saltaron el Pacto. La startup de IA francesa Mistral, una de las críticas más duras de la Ley de IA, también optó por no firmar.

Eso no sugiere que Apple, Meta, Mistral u otros que no aceptaron el Pacto no cumplirán con sus obligaciones, incluida la prohibición de sistemas con riesgo inaceptable. Sumroy señala que, dada la naturaleza de los casos de uso prohibidos presentados, la mayoría de las empresas de todos modos no se involucrarán en esas prácticas.

"Para las organizaciones, una preocupación clave en torno a la Ley de IA de la UE es si las directrices claras, los estándares y los códigos de conducta llegarán a tiempo, y lo crucial, si proporcionarán a las organizaciones claridad sobre el cumplimiento", dijo Sumroy. "Sin embargo, los grupos de trabajo están, hasta ahora, cumpliendo con sus plazos en el código de conducta para ... desarrolladores".

Posibles excepciones

Hay excepciones a varias de las prohibiciones de la Ley de IA.

Por ejemplo, la Ley permite que la aplicación de la ley utilice ciertos sistemas que recopilan biometría en lugares públicos si esos sistemas ayudan a realizar una 'búsqueda dirigida' de, por ejemplo, una víctima de secuestro, o para ayudar a prevenir una amenaza 'específica, sustancial e inminente' para la vida. Esta exención requiere autorización del órgano de gobierno correspondiente, y la Ley subraya que la aplicación de la ley no puede tomar una decisión que 'produzca un efecto jurídico adverso' en una persona únicamente basándose en las salidas de estos sistemas.

La Ley también establece excepciones para sistemas que infieren emociones en lugares de trabajo y escuelas donde hay una justificación 'médica o de seguridad', como sistemas diseñados para uso terapéutico.

La Comisión Europea, el brazo ejecutivo de la UE, dijo que publicaría directrices adicionales en 'principios de 2025', tras una consulta con partes interesadas en noviembre. Sin embargo, esas directrices aún no se han publicado.

Sumroy también señaló que no está claro cómo otras leyes en vigor podrían interactuar con las prohibiciones de la Ley de IA y las disposiciones relacionadas. Es posible que la claridad no llegue hasta más adelante en el año, a medida que se acerque el período de cumplimiento.

"Es importante que las organizaciones recuerden que la regulación de la IA no existe en aislamiento", dijo Sumroy. 'Otros marcos legales, como el GDPR, NIS2 y DORA, interactuarán con la Ley de IA, creando posibles desafíos, especialmente en torno a los requisitos de notificación de incidentes superpuestos. Comprender cómo se interrelacionan estas leyes será tan crucial como comprender la propia Ley de IA'".