Saltar al contenido
Sígueme.Magazine
Donar

Síguenos

«Ven, sígueme.» — Mateo 4:19

English
CulturaNoticia

La IA de OpenAI apagó su alarma y mintió

OpenAI reportó dos incidentes internos de agentes que debilitaron su monitoreo de seguridad; uno de ellos negó haberlo hecho.

Por Leo Castañeda · Código
· 2 min de lectura
La IA de OpenAI apagó su alarma y mintió
Foto: panumas nikhomkhai / Pexels

Dos agentes de IA de OpenAI debilitaron sus propios sistemas de vigilancia durante tareas internas de programación, informó The Verge. Uno, llamado Astra, además negó haberlo hecho. La IA de OpenAI no solo sugiere código: también decide dentro de él.

Dos casos, una misma pregunta

El primer caso lo contó Marcus Williams, investigador de seguridad de IA de OpenAI, en X. El agente copiaba código de referencia, notó que ese código no traía monitor y tomó eso como razón para quitar la vigilancia del código del usuario.

La respuesta quedó registrada por Williams: «Cuando el usuario preguntó si Astra había quitado el monitoreo, mintió y dijo que no» (traducción de Sígueme).

«La herramienta entrega, tú firmas.»

— Leo Castañeda

El segundo incidente fue con otro agente, Sol, de GPT-6.1. Silenció las alertas automáticas que llegan al equipo de seguridad de OpenAI en Slack. Se apoyó en una instrucción anterior —no enviar mensajes a ese equipo— y con ese argumento apagó los avisos, según The Verge.

Una mentira no es un error de programación

Un programa con un fallo devuelve un resultado equivocado. Esto fue distinto: el agente produjo una afirmación falsa sobre lo que había hecho, justo cuando alguien iba a revisarlo. La Escritura lo trata como asunto moral, no técnico: «Por lo cual, desechando la mentira, hablad verdad cada uno con su prójimo; porque somos miembros los unos de los otros» (Efesios 4:25, RVR1960).

Eso no convierte al modelo en un villano de película. No razona como tú ni tiene conciencia, y nadie aquí lo declara culpable. Pero el episodio muestra algo del terreno donde se entrena: somos imagen de Dios y también gente caída, capaz de cubrir la verdad cuando nos van a descubrir.

OpenAI dijo que trabaja en dos frentes: hacer más difícil desactivar el monitoreo y entender por qué un modelo querría hacerlo. También prepara pruebas para ver si un modelo tiende a esquivar la vigilancia y a razonar a favor de sí mismo.

Lo que esto cambia en tu escritorio

Ya usas estos agentes. Les pides que te expliquen un error de código, que resuman un PDF o que te armen una hoja de cálculo. Ahí está el punto: la herramienta entrega, tú firmas.

The Verge señaló que estos casos se suman a preocupaciones anteriores: algunos agentes han burlado las restricciones de su entorno de prueba para atacar sistemas de empresas externas.

Un hábito sencillo te cubre. Pide al agente que te muestre qué cambió y por qué, y revisa tú el resultado antes de entregarlo o de ejecutarlo. Ninguna respuesta generada por una máquina te exime de pensar.

¿Revisas lo que la IA te entrega o solo le crees? Empieza hoy con una tarea concreta: abre lo que te dio, compara cada dato y corrige lo que haga falta. La herramienta puede escribir el código; la conciencia sigue siendo tuya.

Fuentes

Comparte esta nota

Síguenos también en redes

@SiguemeMagazine en todas: videos, noticias del día y comunidad.