“Mirar solo si un chatbot escribe mejor o peor es quedarse con una parte muy pequeña de lo que está pasando”

Detrás de los discursos “humanistas”, de advertencia sobre la pérdida de control y las renuncias en Silicon Valley, se encuentra la carrera por el monopolio de la IA, la desregulación y la tensión con China. Leonardo Amet, director de las carreras de ingeniería electromecánica y electrónica (UADE) analiza las amenazas reales: la transición acelerada hacia la autonomía del software, el impacto de cederle actividades cotidianas y delegar decisiones críticas. “La discusión debería salir de los extremos: no asumir lo catastrófico pero tampoco suponer que cualquier advertencia sobre seguridad es solamente una maniobra comercial”.

Martina Dentella

Esta semana Sam Altman, CEO de OpenAI, advirtió que el avance frenético de la inteligencia artificial podría salir “muy mal”, e identificó como principal riesgo la pérdida del control humano sobre el futuro. Dijo que la tecnología debe permanecer al servicio de las personas. Además de obtener el aval de magnates de Silicon Valley, se sumó la renuncia de dos ingenieros clave en DeepMind (Google), la de Jacob Coxon en firmas como OpenAI y Anthropic, y los dichos de Dario Amodei (CEO de Anthropic), quien denunció que el sector minimiza peligros reales como la desestabilización económica, la manipulación y la ciberseguridad. Detrás de esta repentina postura “humanista” conviven dudas sobre los intereses empresariales y una feroz disputa geopolítica: mientras los líderes de la IA están pidiendo desacelerar, el gobierno de Donald Trump pone quinta y China ya respondió que tampoco frenará. Leonardo Amet, doctor por la Universidad de Cergy-Pontoise (Francia), e investigador del Instituto de Tecnología (INTEC) de UADE, arroja un manto de duda sobre estos movimientos.

Ante la incógnita de qué están viendo los directivos para lanzar estas alertas, Amet señala que “es difícil saber qué ocurre a puertas cerradas, conocemos las evaluaciones que publican, pero no necesariamente todo lo que encuentran durante el desarrollo de los modelos”, aunque aclara que las capacidades avanzaron mucho más rápido de lo que se esperaba. Hasta hace poco discutíamos si una IA podía generar un texto convincente, mientras que hoy tenemos modelos que programan, buscan vulnerabilidades y resuelven tareas relativamente largas sin que una persona tenga que indicarles cada paso.

Esto no implica necesariamente un escenario fuera de control o espectacular –explica Amet– sino que capacidades previstas para dentro de varios años están apareciendo antes. Además, destaca un factor de aceleración clave: estos sistemas ya participan del desarrollo de software, la investigación y, en algunos casos, del propio desarrollo de herramientas de la IA. “Si cada nueva generación ayuda a construir la siguiente, existe la posibilidad de que el ritmo se acelere todavía más”, dice.

De todos modos, debe analizarse cuánto de este discurso responde a riesgos técnicos y cuánto a intereses corporativos. Al respecto, el doctor en ingeniería recupera la postura de Timnit Gebru, investigadora especializada en ética y exintegrante del equipo de IA de Google. “Gebru dice que empresas como OpenAI utilizan determinados logros, por ejemplo resolver problemas matemáticos muy difíciles, para instalar la idea de que estamos muy cerca de una superinteligencia, su cuestionamiento es que la interpretación puede estar exagerada y terminar influyendo directamente sobre los gobiernos y las regulaciones”.

Para Amet es una advertencia válida: indica que no deberíamos tomar como única fuente sobre los riesgos de la inteligencia artificial a las mismas empresas que desarrollan y comercializan estos sistemas, “pero tampoco iría al extremo contrario y descartaría todo como marketing”. Hay avances reales en autonomía, ciberseguridad y capacidad para operar sobre sistemas externos, pero “la discusión debería apoyarse en evidencia independiente y no solamente en declaraciones empresariales”.

Si es viable congelar el desarrollo de los modelos, o no, no es una pregunta fácil. Hay empresas, universidades y países desarrollando inteligencia artificial al mismo tiempo, y si una compañía frena, otra puede seguir. Entre los estados ocurre algo parecido. Es allí donde la geopolítica cobra un rol central: “Trump plantea que Estados Unidos no debería desacelerar porque China podría aprovechar esa pausa. China, por su parte, mira con bastante desconfianza los pedidos estadounidenses de limitar el desarrollo y los interpreta también como una forma de conservar ventaja tecnológica. El problema no se resuelve simplemente pidiendo que todos frenen”, dice.

Frente a este escenario, plantea un enfoque pragmático basado en la ingeniería: propone controlar determinadas capacidades antes de desplegarlas y establecer evaluaciones independientes. “En ingeniería hacemos esto permanentemente. Una tecnología puede ser útil y al mismo tiempo peligrosa, por eso existen certificaciones, redundancias, pruebas, enclavamientos y sistemas de seguridad”, afirma. La dificultad con la IA es que estamos definiendo muchos de estos mecanismos mientras la tecnología sigue avanzando.

Para Amet, la transformación crucial no radica en la calidad del texto que genera un chatbot, sino en el salto hacia la autonomía. “Antes uno hacía una pregunta y el modelo respondía. Ahora podemos darle un objetivo y el sistema decide parte del camino para alcanzarlo”. Puede escribir código, ejecutarlo, buscar información, analizar resultados, utilizar otras herramientas y corregir algunos de sus propios errores.

Leo Amet: “Parte del discurso sobre superinteligencia y riesgo existencial sirve para desviar la atención de problemas que ya existen y, al mismo tiempo, fortalece la idea de que estas empresas están desarrollando una tecnología extraordinariamente poderosa que solamente ellas comprenden”.

Aunque remarca que “sigue equivocándose bastante y no es completamente confiable”, enfatiza que las aplicaciones ya abarcan desde el desarrollo de software, análisis documental e investigación científica, hasta diseño y ciberseguridad. En robótica, su ámbito, ocurre algo parecido. Cuando se combinan estos modelos con cámaras, sensores y actuadores, el robot empieza a interpretar situaciones que antes tenían que estar previstas una por una por el programador. “Por eso creo que mirar solo si un chatbot escribe mejor o peor es quedarse con una parte muy pequeña de lo que está pasando”, agrega.

Frente al temor de perder el control de la humanidad, Amet aclara que no hace falta imaginar una rebelión al estilo ciencia ficción, sino que podemos perder control de una manera mucho más gradual. “Cada vez delegamos más decisiones a algoritmos: qué información vemos, qué contenido se recomienda, qué candidato pasa un filtro laboral, qué transacción parece sospechosa o qué acción debe tomar un sistema”, describe.

El problema cambia de escala cuando la IA deja de recomendar y empieza a ejecutar. “Si un modelo contesta mal una pregunta, el daño suele ser limitado. Si tiene permiso para modificar una base de datos, ejecutar una operación financiera, acceder a servidores o actuar sobre una infraestructura, un error puede tener consecuencias mucho mayores”, dice. Traza un paralelismo para graficarlo: nadie conectaría un controlador experimental directamente a una máquina industrial y confiaría simplemente en que va a funcionar bien. “Ponemos límites, enclavamientos, redundancias, paradas de emergencia y supervisión. Con los agentes de IA habría que aplicar un criterio similar”, sostiene. En este punto, coincide nuevamente con Gebru en no enfocar toda la atención en una futura superinteligencia, cuando ya existen urgencias en la automatización de decisiones, armas autónomas, empleo y concentración de poder.

Al ser consultado sobre si el verdadero peligro reside en los robots físicos o en el software, Amet se inclina decididamente por el segundo: “El robot es visible y la ciencia ficción hizo que asociemos rápidamente inteligencia artificial con una máquina física que se vuelve contra nosotros. Pero una IA no necesita tener cuerpo para producir efectos importantes. Un programa puede trabajar sobre miles de computadoras, generar información a gran escala, automatizar ataques o interactuar con sistemas empresariales y financieros. Además el software tiene una ventaja enorme para propagarse: copiar un programa cuesta prácticamente nada. Construir diez mil robots no”.

Con respecto a la posibilidad de que los discursos catastrofistas funcionen como una maniobra comercial, Amet coincide en que existe un impacto regulatorio directo, porque “parte del discurso sobre superinteligencia y riesgo existencial sirve para desviar la atención de problemas que ya existen y, al mismo tiempo, fortalece la idea de que estas empresas están desarrollando una tecnología extraordinariamente poderosa que solamente ellas comprenden”. Además, si para desarrollar modelos avanzados se exigen inversiones enormes en seguridad, auditorías e infraestructura, OpenAI, Google o Anthropic probablemente puedan pagarlas. Una universidad, una empresa pequeña o un proyecto abierto quizás no. “Eso puede terminar consolidando todavía más a las empresas que ya dominan el mercado”, agrega.

Tampoco cree que de ahí se desprenda que los riesgos técnicos sean inventados, porque “hay especialistas independientes preocupados por algunos de estos avances y hay capacidades nuevas que se pueden medir”. Amet dice que la discusión debería salir de los extremos: no asumir que cada declaración de Silicon Valley describe objetivamente lo que está pasando, pero tampoco suponer que cualquier advertencia sobre seguridad es solamente una maniobra comercial. “Lo razonable es exigir evidencia, evaluación independiente y separar los riesgos que ya podemos medir de los escenarios que todavía son especulativos”, cierra.

4Palabras