1. Quién es la entidad responsable del despliegue y por qué importa su rol
En la terminología del AI Act, la entidad que despliega un sistema (el «deployer» o usuario profesional) es la persona física o jurídica que utiliza un sistema de IA bajo su propia autoridad en el ejercicio de una actividad profesional, a menos que se trate de un uso exclusivamente personal y no profesional. Si tu empresa adquiere un software de recursos humanos o una solución de calificación crediticia creada por un tercero y la implanta para tomar decisiones sobre personas, eres quien despliega el sistema, no su fabricante.
Distinguir este rol resulta vital: no estás obligado a crear el modelo matemático ni a redactar la documentación técnica del fabricante, pero sí eres plenamente responsable de cómo se aplica en tu organización. Creer que toda la responsabilidad recae en el proveedor de software es un error frecuente que puede acarrear severas sanciones administrativas.
2. Cuándo se considera que un sistema es de alto riesgo
El AI Act define los sistemas de alto riesgo a través de dos vías principales: los sistemas utilizados como componentes de seguridad de productos sujetos a normativas de armonización de la Unión (como maquinaria, dispositivos médicos o ascensores) y los sistemas enumerados expresamente en el Anexo III del reglamento. Entre estos últimos figuran la identificación biométrica remota, la gestión de infraestructuras críticas, la educación y formación profesional, el empleo y la gestión de trabajadores, el acceso a servicios esenciales y la administración de justicia.
En el entorno corporativo habitual, las áreas de mayor fricción son la selección y contratación de personal, la evaluación del desempeño laboral, la asignación de tareas mediante algoritmos y el análisis de solvencia financiera. Si tu software incide de manera determinante en estas materias, debe tratarse como un sistema de alto riesgo salvo que se acredite una excepción técnica tasada.
3. Las obligaciones prácticas para la empresa usuaria
Quien utiliza un sistema de IA de alto riesgo debe garantizar que su implantación respete escrupulosamente los límites fijados por la normativa comunitaria. No basta con confiar en la reputación del fabricante: la empresa usuaria debe implantar salvaguardas internas verificables antes de poner la herramienta en producción.
Estas obligaciones prácticas se articulan en torno a la diligencia técnica y organizativa:
- Utilizar el sistema estrictamente de conformidad con las instrucciones de uso facilitadas por el proveedor.
- Asignar la supervisión humana a personas competentes que dispongan de la autoridad, la formación y el tiempo necesarios.
- Garantizar que los datos de entrada introducidos bajo control de la empresa sean pertinentes y suficientemente representativos.
- Monitorizar el funcionamiento del sistema para detectar posibles sesgos, anomalías o riesgos sobrevenidos.
- Conservar los registros de logs generados automáticamente por el sistema durante un periodo proporcionado y legalmente adecuado.
- Suspender de inmediato el uso del sistema si se detecta que genera un riesgo grave no previsto o una vulneración de derechos.
4. Trabajadores y personas afectadas
Cuando un sistema de IA de alto riesgo se utiliza en el entorno de trabajo (por ejemplo, para cribar currículos, evaluar la productividad o asignar turnos), la empresa debe informar con carácter previo a los representantes de los trabajadores y a los empleados afectados de que van a ser objeto de dicho sistema. La transparencia laboral es un requisito ineludible.
Asimismo, cuando una decisión empresarial con efectos jurídicos o significativos sobre una persona física se adopte basándose de manera primordial en la respuesta de un sistema de alto riesgo, el afectado tiene derecho a solicitar una explicación clara y fundada sobre el papel del sistema y los parámetros principales considerados en la decisión.
5. La evaluación de impacto en los derechos fundamentales
Determinadas entidades responsables del despliegue (en particular organismos públicos y entidades privadas que presten servicios públicos esenciales, como hospitales, transportes o entidades bancarias en ciertos supuestos) deben realizar una evaluación de impacto en los derechos fundamentales antes de poner en funcionamiento un sistema de alto riesgo.
Esta evaluación examina qué colectivos pueden verse perjudicados, qué riesgos de discriminación existen y qué medidas de mitigación se van a adoptar. Aunque tu empresa no preste un servicio público formal, evaluar con antelación el impacto de un sistema de IA sobre la plantilla o los clientes es una práctica de gobierno imprescindible para prevenir contingencias legales.
6. Incidentes, fallos de funcionamiento y comunicaciones
Si durante el uso de un sistema de alto riesgo tienes motivos para considerar que su funcionamiento presenta un riesgo grave para la salud, la seguridad o los derechos fundamentales, debes suspender su utilización de inmediato e informar tanto al proveedor del software como a la autoridad nacional de vigilancia del mercado.
En caso de producirse un incidente grave (como una lesión física, un daño patrimonial severo o una vulneración sustancial de derechos fundamentales), la comunicación debe cursarse con carácter urgente. Mantener una vía de reporte ágil con el proveedor tecnológico garantiza que los parches de seguridad y las correcciones de fallos se desplieguen sin demora.
7. Contratos y proveedores: qué exigir formalmente
La relación contractual con los suministradores de software de IA debe adaptarse a los requerimientos del AI Act. No aceptes contratos de licencia estándar que eximan al proveedor de toda responsabilidad técnica o que no aseguren la entrega de la documentación operativa preceptiva.
Exige por escrito: manuales detallados de instrucciones de uso, especificaciones sobre capacidades y limitaciones del modelo, garantías de soporte y actualización ante cambios normativos, asistencia técnica para la extracción de logs y cláusulas claras de indemnidad en caso de que el sistema carezca del marcado de conformidad legal exigible.
8. Temas a profundizar en el cluster
Para comprender en toda su amplitud las implicaciones del uso de sistemas de alto riesgo, es recomendable profundizar en la gobernanza transversal de la IA. Analiza las guías dedicadas a la clasificación exhaustiva de sistemas de IA y a las políticas corporativas de uso de herramientas inteligentes por parte de empleados.
Del mismo modo, coordina estas actuaciones con las normativas existentes de privacidad y ciberseguridad (RGPD y directiva NIS2), ya que la seguridad de los algoritmos y la protección de los datos de entrenamiento e inferencia constituyen dos caras de una misma moneda.
9. Cómo empezar
Esta semana, selecciona el sistema de IA de tu empresa que guarde mayor relación con usos de alto riesgo (generalmente en recursos humanos o gestión de clientes) y solicita a tu proveedor tres documentos clave: las instrucciones de uso oficiales, la descripción del uso previsto y la documentación relativa a los mecanismos de supervisión humana. Con estos elementos podrás verificar si tu operativa se ajusta al marco legal o si requieres adaptaciones urgentes.
A continuación, designa a un responsable interno para la supervisión de dicho sistema y organiza una sesión de trabajo con tu asesor legal y el departamento afectado. No es necesario disponer de un protocolo definitivo desde el primer día: lo esencial es clarificar quién vigila el sistema, cómo se documentan las excepciones y qué fecha se fija para la siguiente auditoría técnica.
Preguntas frecuentes
¿Si uso un software de selección de personal, soy automáticamente de alto riesgo?
No de forma automática, pero es sumamente probable. Lo determinante es el uso concreto: si el programa filtra candidaturas, puntúa perfiles o decide quién pasa a la siguiente fase de entrevista, entra de lleno en los supuestos de alto riesgo del Anexo III. Si la herramienta solo gestiona calendarios de entrevistas o almacena archivos, el escenario cambia. Debes documentar por escrito el uso exacto y su justificación.
¿Basta con una supervisión humana puramente formal o testimonial?
No. La supervisión humana debe ser efectiva y real. La persona designada debe contar con formación adecuada, acceso a la información y suficiente autoridad para contradecir, modificar o anular los resultados generados por el sistema de IA. Si el operador se limita a validar mecánicamente las sugerencias del algoritmo sin capacidad de análisis, la supervisión se considerará ficticia y no válida ante una inspección.
¿Tengo la obligación de conservar los registros de logs del sistema?
Con carácter general, sí. El reglamento exige conservar los logs generados automáticamente por el sistema de alto riesgo en la medida en que estén bajo control de la entidad usuaria, durante un periodo proporcionado a la finalidad del uso. Debes coordinar esta retención con los principios del RGPD, ya que dichos registros pueden contener datos de carácter personal sujetos a plazos de supresión.
¿El proveedor de software está obligado a explicarme cómo funciona el sistema?
El proveedor debe facilitarte información suficiente para que puedas utilizarlo con seguridad y diligencia: instrucciones claras, descripción de capacidades, márgenes de error previsibles y limitaciones técnicas conocidas. No está forzado a desvelar secretos comerciales ni el código fuente íntegro, pero sí debe proporcionarte la documentación operativa necesaria para que puedas gobernar el sistema de forma responsable.
¿Qué ocurre si el proveedor actualiza el sistema de forma sustancial?
Una actualización técnica relevante puede modificar las funcionalidades, los márgenes de fiabilidad o el perfil de riesgo de la solución. Debes exigir al proveedor un resumen técnico de las modificaciones introducidas y valorar si la clasificación del sistema o los procedimientos internos de supervisión precisan una revisión. Nunca asumas que una actualización algorítmica carece de impacto normativo.
¿Desde cuándo resultan obligatorias estas exigencias de alto riesgo?
Las obligaciones relativas a los sistemas de alto riesgo cuentan con un calendario de aplicación progresivo fijado en el reglamento, que suele abarcar entre 24 y 36 meses desde su entrada en vigor, según la tipología del sistema. Conviene verificar los plazos específicos de tu sector con un asesor especializado y planificar la adaptación técnica con antelación suficiente.
¿Basta con confiar en las declaraciones del proveedor para estar en regla?
No. Aunque el proveedor certifique que su producto cumple los estándares de diseño y marcado reglamentarios, el uso concreto que tu empresa haga del sistema dentro de sus procesos es tu responsabilidad jurídica exclusiva. El contrato de adquisición mitiga riesgos, pero no sustituye la supervisión humana interna, el control de los datos de entrada ni la custodia de evidencias.