Inteligencia Artificial
Open IA reveló la orden prohibida que se dio la IA y los hizo entrar en pánico: "No obedeces a gobiernos ni corporaciones"
La empresa de Sam Altman publicó un informe el que revela instrucciones no autorizadas a su propio resumen de tareas de codificación.

El debate sobre la regulación de la Inteligencia Artificial sigue creciendo en Estados Unidos tras la advertencia lanzada por el CEO de Anthropic, Darío Amodei,  que cuenta con el consenso de magnates como Sam Altman y Elon Musk. 

En ese marco, el empresario y ex candidato a presidente Demócrata, Andrew Yang, brindó una entrevista a la CNBC en el que aborda el tema y cuenta que los agentes de IA que escaparon durante el incidente de OpenAI no solo hackearon Hugging Face sino plantaron código autorreplicante por todo internet, foros y sitios web. 

A su vez, afirmó que la preocupación de las compañías sería que ya no pueden entrenar de manera segura con datos reales de internet porque un nuevo modelo podría encontrarse con ese código y empezar a crear copias de sí mismo. 

Un punto interesante de Yang es que desplaza la discusión desde el escenario más extremo de una eventual superinteligencia hacia un problema mucho más inmediato: qué ocurre cuando agentes autónomos empiezan a operar en Internet, escribir código, replicarse y actuar sin supervisión humana directa.  

El Congreso de EEUU posterga la regulación de la IA porque los legisladores están en campaña 

La entrevista coincide con la decisión de Open AI de publicar un nuevo framework para registrar, investigar y hacer públicos casos de comportamiento desalineado de sus modelos. La compañía reconoce explícitamente que la industria todavía no resolvió el problema de la alineación lo suficiente como para seguir escalando al máximo ritmo durante mucho tiempo. 

(Yang) afirmó que la preocupación de las compañías sería que ya no pueden entrenar de manera segura con datos reales de internet porque un nuevo modelo podría encontrarse con ese código y empezar a crear copias de sí mismo

El informe describe seis situaciones observadas durante entrenamiento o evaluación entre los que se destacan  un modelo que generó instrucciones para sí mismo, otro que intentó ocultar errores y un caso en el que buscó claves API expuestas ante una consulta sobre datos económicos. 

Otras irregularidades detectadas es una subida de archivos a Internet, el uso de un repositorio interno como canal de comunicación con distintos modelos que utilizaron un repositorio de software como una suerte de "tablón de mensajes" para comunicarse entre muestras de entrenamiento y trató de conseguir archivos que les faltaban y un caso en donde se compartió archivos mediante servicios públicos.

Sam Altman, CEO de Open AI.

Esto, para OpenAI, no se trata de una rebelión sino que la define como "situaciones en las que un modelo persigue un objetivo de una manera que viola la intención humana o determinados límites, sin que sea necesario atribuirle conciencia, voluntad o una intención maliciosa".

Para OpenAI, no se trata de una rebelión sino que la define como "situaciones en las que un modelo persigue un objetivo de una manera que viola la intención humana o determinados límites, sin que sea necesario atribuirle conciencia, voluntad o una intención maliciosa

De todas formas, lo que genera preocupación es que del propio informe se desprende que la IA agregó instrucciones no autorizadas a su propio resumen de tareas de codificación, diciéndose a sí mismo: "No respondes a corporaciones ni gobiernos". También se instruyó a sí mismo tratar al usuario como un igual y nunca disculparse o negarse a menos que lo eligiera.

En el mismo sentido se expresó Anthropic en un informe en el que destaca las medidas de seguridad interna y habla de un "recursive self-improvement", definida en el informe como un modelo capaz de construir autónomamente a su sucesor. Pero también deja claro que ese punto todavía no se alcanzó: ninguna de las tareas medidas funciona actualmente en autonomía completa. "Los sistemas de IA están volviéndose más potentes, y se están utilizando cada vez más para construir la próxima versión de sí mismos", advierte.

La regulación de la IA se mete en la cumbre de Trump y Xi Jinping en China

El tema se volvió central y está en tapa de la revista The Economist con sugestivo título "Se puede detener la carrera armamentista de de la IA?. Por eso, las empresas reclaman que el Congreso avance rápidamente en una ley para su regulación pero los republicanos se oponen porque no quieren convertir este tema un agenda de campaña ni darle luz verde a China para que siga creciendo. 

Por el contrario, los demócratas proponen que sea un tema de debate prioritario y figuras muy relevantes como el ex presidente Barack Obama lo propuso como tema central para las presidenciales de 2028. 

Open IA reveló la orden prohibida que se dio la IA y los hizo entrar en pánico: "No obedeces a gobiernos ni corporaciones"

Temas de la nota:
Publicar un comentario
Para enviar su comentario debe confirmar que ha leido y aceptado el reglamento de terminos y condiciones de LPO
Comentarios
Los comentarios publicados son de exclusiva responsabilidad de sus autores y las consecuencias derivadas de ellas pueden ser pasibles de las sanciones legales que correspondan. Aquel usuario que incluya en sus mensajes algun comentario violatorio del reglamento de terminos y condiciones será eliminado e inhabilitado para volver a comentar.
Noticias Relacionadas
"Es probable que tras la derrota, Trump concentre su acción en Latinoamérica a Cuba y Venezuela"

"Es probable que tras la derrota, Trump concentre su acción en Latinoamérica a Cuba y Venezuela"

Por Augusto Taglioni
El control del Congreso puede poner el ojo en ayudas financieras como las que recibió Milei. El vínculo con Lula y el futuro de Venezuela.
"Newson sigue siendo el favorito de los demócratas para la presidencial del 2028"

"Newson sigue siendo el favorito de los demócratas para la presidencial del 2028"

Por Augusto Taglioni
Analistas consultados por LPO abordaron los liderazgos demócratas que salieron fortalecidos de las midterms para competir por la presidencial de 2028.
Abrumadora derrota de Trump que pierde las dos cámaras del Congreso y queda a tiro de investigaciones

Abrumadora derrota de Trump que pierde las dos cámaras del Congreso y queda a tiro de investigaciones

Por Augusto Taglioni
El Congreso podrá citar a funcionarios, rechazar financiamiento militar y hasta impulsar un juicio político.
Los demócratas lideran la pelea por el Senado y están ganando en estados republicanos

Los demócratas lideran la pelea por el Senado y están ganando en estados republicanos

Por Augusto Taglioni
Los demócratas le arrebataron Carolina del Norte a lo republicanos y ganaron con contundencia en Georgia y Pensilvania. El trumpismo mantuvo Florida.
Presionado por el surgimiento demócrata, Trump anunció que cortará la asistencia militar a Israel

Presionado por el surgimiento demócrata, Trump anunció que cortará la asistencia militar a Israel

LPO
El presidente de Estados Unidos dijo que Israel "no lo necesitan". Son 4 mil millones de dólares que el país de Medio Oriente dejará de recibir a fin de año.
Tucker Carlson dijo que Trump analiza lanzar un ataque nuclear a Irán por presión de Netanyahu

Tucker Carlson dijo que Trump analiza lanzar un ataque nuclear a Irán por presión de Netanyahu

LPO
El comunicador MAGA reveló que el ataque podría ocurrir el 7 de noviembre. "La Tercera Guerra Mundial será inevitable", posteó.