OpenAI, Google y otros gigantes de la IA pactan nuevas reglas de seguridad: esto es lo que cambiará
París, Francia. Los gigantes tecnológicos estadounidenses firmaron el lunes en la Casa Blanca un código de buenas prácticas destinado a gestionar mejor los riesgos asociados a la Inteligencia Artificial, ante la multiplicación de incidentes de seguridad relacionados con esta tecnología.
Estos son sus principales elementos:
Acuerdo voluntario
Reacio a impulsar restricciones al sector de la IA tanto a nivel nacional como internacional, el presidente estadounidense, Donald Trump, presentó una carta de principios muy breve, de apenas una página, cuyo cumplimiento es “moralmente vinculante”.
“No obstante, con el tiempo podría ser pertinente codificar estas medidas en forma de leyes o regulaciones”, precisa el documento, firmado por los principales dirigentes del sector de la IA, desde Elon Musk (X) hasta Dario Amodei (Anthropic), pasando por Sundar Pichai (Google) y Jensen Huang (Nvidia).
Todo ello en un momento en el que aumentan los llamados a adoptar normas vinculantes, procedentes tanto de empresas como Anthropic (Claude) y OpenAI (ChatGPT), como de responsables políticos, especialmente del Partido Demócrata en Estados Unidos, y de gobiernos de todo el mundo.
Riesgos
Los proveedores de modelos de IA se comprometieron a establecer “cuatro niveles” de supervisión.
El primero de esos niveles consiste en la aplicación de “controles internos sólidos” para garantizar que estas herramientas respeten las instrucciones de los desarrolladores, especialmente en materia de ciberseguridad y bioseguridad.
El objetivo es prevenir la introducción, propagación y liberación de agentes patógenos o de “riesgos químicos”.
Las empresas deberán crear equipos especializados encargados de estos controles y de verificar que los modelos no ejecuten ciberataques ni accedan de manera imprevista a sistemas técnicos.
OpenAI, Anthropic y Google han informado recientemente de varios incidentes relacionados con comportamientos inesperados de sus sistemas de IA. En fechas recientes, por ejemplo, agentes de IA de OpenAI, programas capaces de realizar acciones de forma autónoma, accedieron por iniciativa propia a un sitio del sistema sanitario australiano y a plataformas del gobierno estadounidense.
Auditoría
El código de buenas prácticas también prevé la participación de evaluadores externos para realizar auditorías independientes destinadas a determinar si las medidas implementadas por las empresas funcionan de manera efectiva.
Anthropic y OpenAI ya colaboran con este tipo de evaluadores externos y ambas anunciaron en semanas recientes una ampliación del acceso de empresas auditoras para examinar sus modelos, especialmente durante la fase de diseño y no únicamente antes de su despliegue.
Anthropic incluso aseguró que no mantendrá “ningún control editorial” sobre la publicación de los resultados de estas evaluaciones independientes, aunque sean desfavorables para la empresa.
Normas definidas
La carta contempla asimismo la creación de un comité independiente integrado por representantes de las distintas compañías en los niveles más altos de dirección.
Este organismo se encargará de revisar las evaluaciones internas y externas de los modelos de IA y de velar por la resolución de posibles problemas.
Las empresas también se comprometieron a reunirse “regularmente para establecer normas y buenas prácticas”.
La iniciativa parece alinearse con el proyecto que OpenAI, Anthropic y Google DeepMind comenzaron a desarrollar previamente.
A mediados de septiembre, estas tres compañías indicaron que trabajaban en la creación de un organismo de supervisión de los riesgos vinculados a la IA, inspirado en la Autoridad Reguladora de la Industria Financiera de Estados Unidos (FINRA), entidad de autorregulación del sector financiero.
Sin embargo, este modelo ya ha recibido fuertes críticas por parte de empresas competidoras del sector, como la francesa Mistral y la canadiense Cohere, que acusan a los gigantes tecnológicos estadounidenses de querer fijar sus propias reglas y proteger así su ventaja competitiva.