El director ejecutivo de OpenAI, Sam Altam, advirtió esta semana sobre los escenarios en los que el avance de la inteligencia artificial podría salir “muy mal”, y dijo que uno de los riesgos es que la humanidad termine perdiendo el control sobre su propio futuro. “Estamos en el Equipo Humanidad, y la IA debe siempre servir a las personas”, afirmó. Reclamó reglas de seguridad comunes para empresas que desarrollan los modelos más avanzados y afirmó que ninguna presión competitiva debería justificar la imprudencia. 

Hubo varios movimientos en ese sentido. Uno fue la renuncia de dos ingenieros claves de DeepMind (Google) con advertencias sobre el fin de la humanidad. Se sumaron al camino emprendido por Jacob Coxon, ex-investigador de OpenAI y Anthropic, y Darío Amodei CEO de Anthropic, que afirmó públicamente que la industria de la IA ha minimizado los riesgos reales: ciberataques, manipulación y disrupción económica. Todos coinciden en que una IA extraordinariamente poderosa podría convertirse en una herramienta para que una persona, una empresa o país impongan sus intereses sobre el resto. Y todos piden desacelerar el ritmo, pero el gobierno de Donald Trump no acusa recibo y China respondió: no frenará. 

Algo están viendo, la pregunta es ¿qué? También cabe preguntarse ¿qué hay detrás de esta repentina postura humanista? Para el docente y subsecretario de Relaciones Interinstitucionales de la UNSAM, Pablo Palmaz, comprender los verdaderos motivos requiere mirar la trastienda técnica y de negocios de los laboratorios. En diálogo con 4Palabras el coordinador del Laboratorio de Investigación e Innovación para el Desarrollo Humano (EPyG UNSAM) analiza la pérdida de autonomía humana, la velocidad imparable de los modelos, dice que “corremos el riesgo de delegar la capacidad de pensar, de razonar y de aprender” e insiste en que “si no hay espacio para pensar el bien común, hay que hacérselo, porque nadie lo va a ceder”. 

Altman dice que es necesario “bajar el ritmo en el desarrollo de los modelos más avanzados para ganar tiempo y reforzar las medidas de seguridad”, ¿qué vieron o pueden haber visto para salir a dar este tipo de declaraciones “humanista”?

Afirmar qué vieron los investigadores de los laboratorios de IA más avanzados del mundo sería un tanto osado; solo quienes trabajan ahí podrían decirlo con certeza. Lo que sí hicieron público fue un incidente en el que agentes de IA realizaron ciberataques que nadie les había pedido (ni prohibido). Una hipótesis es que desacelerar el ritmo, más allá de las convicciones de cada uno, es también una necesidad para no perder el control. Los actuales modelos de IA los desarrolla, en buena medida, la propia IA, y eso está acelerando el desarrollo. Por eso vemos que se actualizan versiones en un lapso cada vez menor. Esto tiene dos planos. Por un lado, estos sistemas empiezan a ganar cierta autonomía. Por otro, a los investigadores les lleva cada vez más tiempo entender qué hizo la IA en cada nuevo desarrollo. Y para controlar una empresa y sus modelos, es imprescindible entender qué se está construyendo. Además, sería una muy mala noticia para una empresa que desarrolla IA que sus modelos no sean confiables, porque sus clientes corporativos y usuarios podrían dejar de usarlos de inmediato. Así que podemos pensar que también es una salvaguarda para sus propios negocios, y es lógico que así sea. Es algo que muchos programadores e investigadores reconocen: les cuesta, y les lleva tiempo, entender cómo la IA resolvió un problema. Detrás hay código, y ese código hay que examinarlo: una parte se revisa con IA y otra no. Lo que se pide, entonces, es más tiempo para revisar algo que cada vez demanda más revisión, en una carrera que empuja a las empresas a lanzar modelos sin haber hecho todos los chequeos previos.

Dice (Altman) que la trayectoria del progreso se ha acelerado ¿de qué manera? ¿de qué es capaz una IA hoy? ¿Es viable congelar o frenar el avance de los modelos para priorizar la seguridad o ya es imparable?

El progreso se aceleró, en buena medida, porque la propia IA ya participa en el desarrollo de los nuevos modelos. Y lo más destacado de la IA actual es su capacidad agéntica: ya no solo responde preguntas, sino que puede planificar y ejecutar por su cuenta tareas de varios pasos, usando herramientas, navegando en internet o escribiendo y ejecutando código.

¿Es viable frenarla? Lo único imparable es la ambición humana por trascender. Frenar o no frenar no va a ser una decisión individual. Veo pocos incentivos humanistas en estas empresas para hacerlo. El único incentivo concreto para bajar el ritmo es evitar un fracaso que los deje afuera de la carrera por tener el mejor modelo de IA: que un modelo de frontera resulte un desastre para la seguridad de sus usuarios, empresas e individuos, y se tire por la borda todo lo construido, incluidas las carreras de sus CEOs, es un riesgo que probablemente prefieran mitigar. La carrera es tan rápida, y exige inversiones tan enormes, que un error por apurarse a lanzar un modelo puede costarle todo a una empresa.

Decir que la humanidad puede perder el control del futuro suena abstracto. En la práctica ¿dónde podemos empezar a perder ese control hoy? 

El control ya se empezó a perder a distintos niveles y magnitudes. Empezando con los usuarios que no controlan lo que hace su IA, tanto en los chats como en la IA agéntica. Cuanto menos informada y preparada está la persona que interactúa con esa IA, mayor es esa falta de control. Desde el momento en que le delegamos tareas a la IA y no controlamos exhaustivamente los resultados, ya estamos perdiendo el control. Tal vez, a nivel individual, eso no tenga tanto impacto. Pero a escala masiva el daño podría ser mayor, y en grandes organizaciones el riesgo y el alcance son todavía mayores.

Y si nos pasa como individuos ¿por qué no pensar que puede pasar también en los laboratorios de IA? Allí también trabajan personas que se equivocan, se cansan y se estresan. Es cierto que existen protocolos para mitigar ese riesgo, pero ya hubo casos en que agentes de IA hicieron cosas que sus propios desarrolladores no les habían pedido.

El problema de fondo es que es muy difícil anticipar todas las restricciones que necesita una IA, porque maneja variables que nosotros no manejamos y probablemente se le ocurran cosas que a nosotros no. Podríamos ponerle una restricción general: que no haga nada que no haya sido creado, probado y difundido previamente. Pero nadie lo va a hacer, porque lo que se busca justamente es que la IA haga cosas nuevas y procese la información de una forma diferente. Es inherente a esta carrera renunciar a la restricción que más nos protegería de riesgos que, precisamente por desconocidos, nos cuesta tanto prohibir. Por eso diría que ya empezamos a perder el control, aunque todavía estamos a tiempo de no perderlo del todo.

Desde siempre las sociedades -con el empuje de la industria cultural- imaginaron el peligro de la robótica, ¿el verdadero riesgo está ahí o en el software invisible? 

Más que en la robótica, el verdadero riesgo está en el software que usamos todos los días sin ver cómo decide, y en nuestra capacidad para usar la IA de manera que potencie a las personas en lugar de volverlas más dependientes. Hoy corremos el riesgo de delegar la capacidad de pensar, de razonar y de aprender.

Desde la ONU alertan por daños irreparables, ¿qué derechos corren hoy riesgo real si no se actúa rápido? 

La ONU advierte, con razón, que están en riesgo derechos como la vida, la salud, la privacidad y la seguridad, sobre todo si fallan agentes de IA que operan servicios esenciales e infraestructuras críticas. A mí me preocupa también algo más silencioso: no sé si lo que está en juego son los derechos en sí, pero sí la calidad con la que se ejercen. La calidad de la educación, del acceso a la información, de nuestras decisiones.

Hay que pensar e imaginar qué va a pasar cuando existan generaciones que se hayan criado con IA, y trabajar desde ahora para usarla de la mejor forma. Es una tarea de todos: debemos lograr que la IA tenga un efecto igualador, y no uno que profundice las brechas actuales de acceso al conocimiento, a la toma de decisiones y a los recursos.

Si una sola empresa o país logra la IA “perfecta” podría imponer sus intereses globales. ¿Qué medidas concretas estamos a tiempo de aplicar para frenar ese nivel de concentración de poder?

La superinteligencia es una IA que supera a los humanos en prácticamente todas las capacidades intelectuales. La singularidad, en cambio, es el punto en el que el progreso tecnológico se acelera de tal manera que se vuelve incontrolable e impredecible para nosotros. Una superinteligencia podría ser el camino hacia la singularidad. En ambos casos el riesgo es alto, porque estaríamos ante un escenario absolutamente desconocido que, por definición, excede la capacidad humana. Quien logre primero una superinteligencia, o llegue a la singularidad a través de ella, quedaría en una posición de enorme ventaja frente al resto. Por eso la medida más concreta es la coordinación: acuerdos multilaterales y acuerdos entre bloques de países, que hagan que desarrollar y usar esta tecnología por fuera de reglas comunes tenga un costo muy alto. Aun así, soy poco optimista a que estos acuerdos se alcancen y se sostengan. 

¿Tiene sentido pedir prudencia cuando la carrera entre Estados Unidos y China por la IA se juega en clave de hegemonía económica y militar?

La disputa está claramente entre China y Estados Unidos. China lidera en volumen de publicaciones científicas, citas y patentes de IA; Estados Unidos conserva las patentes de mayor impacto y la mayor producción de modelos de IA de primer nivel, y ambos concentran el desarrollo de los modelos de frontera. En ese contexto, no hay que dejar de pedir prudencia, aunque estamos muy encaminados hacia una mayor bipolaridad.

¿Hay espacio para el bien común con tanto en juego?

Si no hay espacio para el bien común, hay que hacérselo, porque nadie lo va a ceder. Sobre todo porque no está claro de qué bien común hablamos cuando se trata de una tecnología dominada por dos países y, dentro de ellos, por unas pocas empresas y unas pocas personas. Quizás una nueva noción de bien común deba surgir de regiones que hoy no lideran el desarrollo de la IA. En América Latina, Europa o África se podría disputar la construcción de ese sentido, no desde la expectativa de ser escuchados, sino desde lo que esas regiones tienen para negociar: mercados, recursos y capacidad de fijar reglas.

4Palabras