Román Orús (Barcelona, 1979), experto en computación cuántica, integrante de Multiverse y miembro del Panel Científico Internacional sobre IA de Naciones Unidas, considera que la inteligencia artificial representa una oportunidad extraordinaria para el progreso científico y tecnológico. Sin embargo, advierte de que su desarrollo requiere cautela ante los riesgos de ciberseguridad, concentración de poder y competencia geopolítica.
Orús participará el próximo 8 de octubre en el III Foro de Líderes con Propósito, organizado por Vocento en la Fundación Giner de los Ríos.
Frenar para comprender y controlar la inteligencia artificial
Modelos de frontera y riesgos de ciberseguridad
Para Orús, es necesario frenar el avance de la inteligencia artificial y hacerlo cuanto antes con el objetivo de entenderla mejor. Según explica, el Panel Internacional Independiente de Científicos de la ONU ya advirtió en abril de que los modelos de frontera habían alcanzado un nivel de potencia que podía dificultar su control y provocar incidentes de ciberseguridad.
El experto señala que esta situación se ha producido durante el verano, con varios incidentes relacionados con enjambres de agentes que se habrían descontrolado. A su juicio, se puede continuar escalando los sistemas para hacerlos más potentes, pero resulta prioritario saber cómo gobernarlos para evitar un incidente grave, ya sea de ciberseguridad o de otra naturaleza.
Entre los problemas identificados figura el misalignment, una situación en la que los modelos pueden tomar decisiones que no se corresponden con los objetivos iniciales para los que fueron diseñados. Orús afirma que existe evidencia matemática sobre esta cuestión y que es necesario investigar cómo entrenar a los modelos para impedirlo. También cree imprescindible comprender por qué los sistemas se comportan de determinada manera cuando aumentan mucho de tamaño y cómo corregir esos efectos.
«Tenemos una tecnología que es incluso más potente que la tecnología nuclear», sostiene, antes de reclamar una reflexión sobre cómo utilizarla correctamente.
Estándares globales para una tecnología de alto impacto
Orús no comparte la idea de que la humanidad vaya a desaparecer por la inteligencia artificial y considera que en el último mes ha habido «mucha histeria». No obstante, recalca que los problemas de ciberseguridad no son una estrategia de marketing y que probablemente estén ocurriendo más casos de los que se comunican.
Como referencia, propone actuar como se hizo con otras tecnologías. Cita el caso de la aviación, cuya seguridad se consolidó tras la creación por parte de la ONU de la Organización de Aviación Civil Internacional, encargada de establecer estándares comunes. A su entender, la inteligencia artificial necesita una respuesta similar, al igual que ocurrió con la tecnología nuclear.
Respecto a la rentabilidad de las compañías del sector, no cree que quieran frenar el desarrollo de la IA porque sus modelos de negocio no sean rentables. Sí considera posible que algunas empresas aplacen parcialmente su salida a bolsa para evitar hacerlo en medio de un escándalo internacional de ciberseguridad, ya que las expectativas y el contexto influyen en la valoración de mercado.
El poder de las grandes corporaciones tecnológicas
El investigador alerta también de la acumulación de influencia en las grandes empresas tecnológicas. En su opinión, es una consecuencia del sistema capitalista y de sus reglas de mercado, aunque puede generar anomalías cuando determinadas corporaciones concentran más poder que los representantes democráticos.
Como ejemplo, afirma que Jensen Huang, consejero delegado de Nvidia, tiene «más poder que la presidenta de Europa». Para Orús, existe una transferencia de los centros de poder político hacia las grandes compañías, en una tendencia que se aproxima a la tecnocracia o al tecnofeudalismo, en términos de Yanis Varoufakis. Aunque cree que podría ser necesario establecer límites, también advierte de que no se debe regular por completo el mercado.
El papel de Naciones Unidas
Sobre la función de la ONU, Orús indica que puede actuar como árbitro y promover medidas que los gobiernos podrán adoptar o no. Naciones Unidas, añade, está preocupada por la gobernanza y por la pérdida de democracia, por lo que puede servir de espacio de cohesión entre Estados y formular propuestas no vinculantes.
El único órgano vinculante de la organización es el Consejo de Seguridad. Por ello, considera que sería conveniente debatir allí sobre inteligencia artificial, del mismo modo que se abordan las armas atómicas.
La competición entre Estados Unidos y China le recuerda al escenario de la Guerra Fría: ninguno de los dos países quiere detenerse por temor a que el otro tome ventaja.
La misión del Panel Científico Internacional sobre IA
Orús define el Panel Científico Internacional sobre IA como una «bisagra» entre la comunidad científica y el ámbito de la gobernanza. Su misión consiste en proporcionar a quienes deben tomar decisiones información directa y fiable sobre lo que está ocurriendo con la inteligencia artificial.
Los informes del organismo recogen el consenso de sus 40 miembros y sirven como base para que los responsables de la gobernanza elaboren sus propuestas. Aunque el panel no puede recomendar oficialmente medidas concretas, Orús considera que se deberían incorporar capas de seguridad y sistemas de alerta temprana frente a incidentes de ciberseguridad, similares a los que existen para terremotos o tsunamis.
El límite energético de los modelos actuales
El experto cree que aún no se conoce un límite científico o físico para la IA. A su juicio, apenas se ha empezado a explorar su potencial. Sin embargo, identifica un obstáculo claro: el enorme coste energético de los modelos de frontera durante la inferencia.
Esta demanda energética ha llevado a plantear la creación de minicentrales nucleares junto a grandes centros de datos. Orús opina que los métodos actuales son ineficientes y que la IA, tal y como se desarrolla hoy, no puede escalar indefinidamente.
Para ilustrarlo, compara el consumo de los sistemas actuales con el cerebro humano, cuyo coste energético diario equivale, según señala, a un terrón de azúcar. El objetivo, dice, sería lograr centros de datos capaces de funcionar con una eficiencia comparable, aunque reconoce que todavía queda mucho trabajo por hacer.
Europa y la carrera geoestratégica
Orús considera que Europa aún tiene margen para hacerse un hueco en la disputa tecnológica, aunque reconoce que Estados Unidos y China ya le han tomado la delantera. Europa, afirma, ha perdido numerosos trenes tecnológicos, pero no puede permitirse perder este porque la IA es una cuestión geoestratégica.
El continente no debería depender de estadounidenses y chinos, especialmente por las capacidades de ciberseguridad que poseen. Según advierte, Estados Unidos o China podrían lanzar un ciberataque masivo contra Europa y paralizarla, mientras Europa no tendría capacidad para defenderse.
Una oportunidad histórica que exige madurez
El científico se define como «optimista y realista». Está convencido de que la inteligencia artificial es la mayor oportunidad que ha tenido la humanidad para impulsar el desarrollo tecnológico y científico. Sin embargo, recuerda que las tecnologías disruptivas suelen utilizarse inicialmente de forma dañina antes de encontrar usos beneficiosos.
Evoca los casos de Hiroshima y Nagasaki con la tecnología nuclear y recurre a otra comparación: cuando el Homo sapiens o el Homo erectus descubrió el fuego, primero pudo usarlo para quemar la casa del vecino y después aprendió a cocinar un jabalí.
«Ahora mismo con la IA somos como un niño con una pistola», afirma. A su juicio, la humanidad todavía no sabe exactamente cómo utilizar esta herramienta y debe madurar como especie para decidir cuándo emplearla, cuándo no hacerlo y bajo qué circunstancias.
Orús señala que aún no se ha producido un evento catastrófico, aunque ya se observan pequeñas señales de lo que podría suceder, especialmente en el terreno de la ciberseguridad. Si no hubiera regulación, precaución ni freno, plantea como posible escenario que enjambres de agentes de OpenAI y Anthropic bloquearan internet, lo que supondría un problema de enorme magnitud por la dificultad de reiniciar todo el sistema.