Exjefe de seguridad de Anthropic advierte sobre riesgos de la IA

Jacob Coxon, quien anteriormente se desempeñó en OpenAI y recientemente en Anthropic, ha expresado preocupaciones significativas sobre los riesgos asociados con el desarrollo de la inteligencia artificial (IA). En un hilo de Twitter, Coxon argumentó que ni OpenAI ni Anthropic actúan con la responsabilidad necesaria, advirtiendo que ambas empresas están acelerando la creación de una superinteligencia capaz de automejorarse, lo que constituye una amenaza para la humanidad. Sus afirmaciones provocaron la reacción de Evan Hubinger, líder del equipo de seguridad en Anthropic, quien respaldó sus preocupaciones y estimó que existe al menos un 10% de probabilidad de que la IA represente un peligro letal en la próxima década.

Coxon, con una formación matemática y experiencia en IA, estuvo involucrado en la preconstrucción de modelos para ambas empresas, colaborando en el desarrollo de GPT-4o en OpenAI. Su decisión de unirse a Anthropic se basó en la reputación de la compañía en temas de seguridad. Sin embargo, su permanencia allí fue breve, ya que dejó la empresa apenas dos meses después de su incorporación, citando un ambiente de trabajo que, aunque entiende el riesgo potencial de la IA, se siente atrapado en una carrera para innovar rápidamente antes que otros.

En sus declaraciones, Coxon describió la situación como una “jugada soberbia” y criticó el hecho de que las discusiones sobre estos riesgos se den en entornos informales, como el Slack de una empresa, en lugar de ser abordadas en escenarios más adecuados y seguros. Comparó la actual situación del desarrollo de IA con la del Proyecto Manhattan, sugiriendo que debería existir un enfoque más serio y regulado debido a las implicaciones que conlleva.

El clima de incertidumbre y riesgo en la industria se ha intensificado en los últimos años, con otros expertos también levantando la voz sobre la presión de desarrollar tecnologías avanzadas sin medidas de salvaguarda adecuadas. Este año, Anthropic cambió su política de seguridad, retirando compromisos previos y dejando claro que los planes para desarrollar modelos más potentes no estarían acompañados de las garantías necesarias.

La premura por avanzar en el campo de la inteligencia artificial genera un debate creciente sobre los valores que deben guiar este desarrollo y las implicaciones que ello tiene para la sociedad. Con la renuncia de Coxon y su advertencia pública, se intensifica la discusión sobre la necesidad de establecer estándares más firmes y reflexionar sobre el futuro que estamos creando con la IA.

A medida que el debate sobre la responsabilidad en la IA avanza, el llamado de expertos como Coxon invita a una reflexión profunda sobre el camino que seguirá esta tecnología y sobre cómo equilibrar el avance innovador con la seguridad necesaria para la humanidad.