Nadie pilota, todos aceleran

Escrito en español

También disponible en: EN FR

La paradoja de Fermi plantea una pregunta simple: si el universo es tan vasto y tan antiguo, ¿dónde están todos? Miles de millones de estrellas, miles de millones de años, y sin embargo ninguna señal, ninguna visita, ningún rastro de otra civilización. Las respuestas más comunes involucran la física o la biología: quizás el viaje interestelar es demasiado difícil, quizás la vida compleja es demasiado rara, quizás estamos genuinamente solos. Pero existe otra posibilidad, menos espectacular y mucho más inquietante. Quizás las civilizaciones se destruyen a sí mismas de forma rutinaria. No a través de algún accidente cósmico espectacular, sino a través de un fallo estructural, ordinario, en su capacidad de coordinarse.

Esta es la hipótesis del Gran Filtro, y la versión que me quita el sueño por las noches coloca el filtro no detrás de nosotros sino delante, en algún lugar entre “lo suficientemente inteligente para construir tecnología peligrosa” y “lo suficientemente sabio para sobrevivir a ella”.

El problema de coordinación a escala civilizacional

Consideremos el estado actual del desarrollo de la inteligencia artificial. Cada gobierno importante, cada gran empresa tecnológica y un número creciente de instituciones académicas reconocen que construir sistemas de IA potentes sin medidas de seguridad adecuadas conlleva riesgos enormes. Se publican artículos. Se celebran conferencias. Se firman cartas abiertas. En septiembre de 2024, el International Institute for Management Development lanzó un Reloj de Seguridad de la IA, inspirado en el Reloj del Juicio Final, para medir cuán cerca estamos de una catástrofe causada por la IA. Comenzó a 29 minutos de la medianoche. En marzo de 2026, estaba a 18 minutos.

Y sin embargo la carrera continúa acelerándose.

No es porque las personas involucradas sean estúpidas o malvadas. Es porque la estructura de incentivos hace que frenar individualmente sea irracional. Si OpenAI hace una pausa para trabajar en el alineamiento, Anthropic o Google o DeepSeek ganan terreno. Si Estados Unidos impone una regulación estricta, China obtiene una ventaja. Si una empresa invierte fuertemente en investigación de seguridad, sus inversores ven rendimientos inferiores a los de los competidores que no lo hacen. Es el dilema del prisionero a escala civilizacional, y lo que está en juego no son cuotas de mercado sino el futuro de la especie.

OpenAI como microcosmos

La trayectoria de OpenAI cuenta la historia en miniatura. Fundada en 2015 como una organización sin fines de lucro con la misión declarada de asegurar que la inteligencia artificial general beneficie a toda la humanidad, se ha transformado en una corporación con beneficios limitados, luego se reestructuró para acomodar una inversión de 13 mil millones de dólares de Microsoft, y después anunció planes para convertirse completamente en una empresa con fines de lucro. Cada paso era individualmente defendible: necesitas capital para competir, necesitas competir para tener influencia sobre cómo se desarrolla la tecnología, necesitas influencia para garantizar la seguridad.

Pero el efecto acumulativo es que una organización creada específicamente para resistir la comercialización de la IA transformativa se convirtió en su ejemplo paradigmático. La comparación de Sam Altman presentando la IA como un “servicio público como el agua” es instructiva de maneras que quizás él no pretendía. El agua y la electricidad son servicios públicos regulados precisamente porque son esenciales, con supervisión pública, control de precios y responsabilidad democrática. Altman invoca la analogía para normalizar la dependencia mientras omite discretamente la parte regulatoria. Quiere la legitimidad cultural de la comparación sin las consecuencias regulatorias.

Esto no es exclusivo de OpenAI. Las mismas dinámicas operan en Google, Meta, Anthropic y todos los demás actores del sector. El problema no es un solo villano; es un sistema que recompensa la velocidad por encima de la reflexión, la extracción por encima de la distribución y la competencia por encima de la coordinación.

El punto ciego estructural del capitalismo

El capitalismo es extraordinariamente eficiente optimizando máximos locales. Puede producir smartphones, streaming y entrega al día siguiente con una precisión notable. Lo que no puede hacer es resolver problemas que requieren coordinación global, horizontes temporales largos e internalización de externalidades. El cambio climático es la prueba de concepto: incluso con consenso científico, incluso con consecuencias ya visibles, incluso con tecnología existente para abordar el problema, los estados-nación desertan. La lógica es siempre la misma: “Si frenamos, alguien más toma ventaja.”

La gobernanza de la IA será más difícil que el clima. Los intereses competitivos son mayores porque quien controle los sistemas de IA más poderosos controla un enorme apalancamiento económico y militar. El plazo es más corto porque las capacidades de la IA avanzan más rápido que cualquier transición energética. Y los bucles de retroalimentación son menos visibles porque el daño de sistemas de IA mal alineados puede no anunciarse de la misma manera que la subida del nivel del mar.

Un ejercicio de simulación llamado “Intelligence Rising”, realizado 43 veces con participantes del gobierno, la industria y la academia, encontró el mismo patrón repetidamente: los resultados positivos casi siempre requerían coordinación entre actores que por defecto tenían fuertes incentivos para competir. Dejados a su suerte, los jugadores competían. Los raros finales positivos ocurrían cuando alguien imponía una estructura que hacía la cooperación individualmente racional, no solo colectivamente deseable.

El filtro no es espectacular

El Gran Filtro, si se encuentra delante de nosotros, probablemente no se parece a un apocalipsis de Hollywood. Se parece a una serie de decisiones razonables, individualmente defendibles, que colectivamente producen una catástrofe. Se parece a cada país diciendo “no podemos permitirnos quedarnos atrás” mientras aquello hacia lo que corren se vuelve cada vez más peligroso. Se parece a consejos de administración optimizando rendimientos trimestrales mientras la tecnología que despliegan remodela el entorno informativo de maneras que nadie comprende plenamente. Se parece a seres inteligentes haciendo exactamente lo que las presiones competitivas les incentivan a hacer, incapaces de detenerse.

El contraargumento más común es que tecnologías anteriores produjeron temores similares y sobrevivimos. Sobrevivimos a las armas nucleares, a la contaminación industrial, a la ingeniería genética. Esto es cierto, pero también es el sesgo del superviviente en su forma más literal. No escuchamos a las civilizaciones que no lo lograron. Y el historial no es tan limpio como parece: estuvimos a minutos de la guerra nuclear en al menos tres ocasiones (Able Archer 83, la Crisis de los Misiles de Cuba, la falsa alarma del satélite soviético de 1983), y sobrevivimos a esos momentos tanto por suerte como por sabiduría.

¿Qué queda por hacer?

Perdí mi trabajo como traductor por culpa de la IA. No de forma espectacular, sino gradualmente: tarifas en descenso, menos proyectos, clientes pasándose a la traducción automática con una ligera revisión humana. El mercado no colapsó de la noche a la mañana; se erosionó a lo largo de años. Me adapté. Ahora estudio ingeniería electrónica y ciberseguridad porque esos campos tienen una componente física que resiste la automatización, al menos por ahora.

No digo esto para buscar compasión. Lo digo porque la experiencia me da una relación muy concreta con el problema abstracto que acabo de describir. El fallo de coordinación en torno a la IA no es algo que leo en un informe de un think tank. Es la razón por la que mi carrera terminó.

Y la conclusión a la que llego no es optimista en el sentido amplio, pero es honesta: el sistema macro probablemente no se va a arreglar solo. Los estados-nación no se coordinarán a tiempo. Las empresas no frenarán voluntariamente. Las estructuras de incentivos son demasiado poderosas y los mecanismos de coordinación demasiado débiles.

Lo que queda es lo micro. Voltaire termina Cándido con “hay que cultivar nuestro jardín”. Después de arrastrar a sus personajes por todas las catástrofes imaginables, desde terremotos hasta guerras pasando por la Inquisición, su conclusión no es que el mundo pueda arreglarse, sino que el jardín puede cuidarse. Eso no es resignación. Es una posición ética seria: cuando los sistemas en los que vives están más allá de tu capacidad de reparación, la escala a la que operas, las personas a las que tratas con justicia, el trabajo que haces con honestidad, todo eso sigue importando.

Intentar no ser un cabrón a tu propia escala. Adaptarse. Construir cosas que funcionen. Estudiar en serio. Cuidar a las personas cercanas. No es suficiente para salvar a la especie, pero no es nada.

El Gran Filtro quizás está delante de nosotros. Pero el jardín está justo aquí.


Redactado en colaboración con IA. Ver la página del blog para más información sobre mi proceso.


Fuentes: International Institute for Management Development, Reloj de Seguridad de la IA (2024-2026); 80,000 Hours, “Risks from power-seeking AI systems” (2025); Wikipedia, “Existential risk from artificial intelligence”; ScienceDirect, “Strategic Insights from Simulation Gaming of AI Race Dynamics” (2025); Bulletin of the Atomic Scientists, “Stopping the Clock on catastrophic AI risk” (2025); AEI, “AI Acceleration: The Solution to AI Risk” (2025)