Anthropic, grupo de expertos para examinar efecto de la IA en economía y sociedad

Tras su reciente batalla con el Departamento de Defensa de los Estados Unidos (DoD) sobre las barreras de seguridad de la IA, Anthropic vuelve a ser noticia por una nueva iniciativa: su intención de fundar un grupo de expertos, el Anthropic Institute, “para hacer frente a los retos más importantes que la IA potente planteará a nuestras sociedades”.


Tras su reciente batalla con el Departamento de Defensa de los Estados Unidos (DoD) sobre las barreras de seguridad de la IA, Anthropic vuelve a ser noticia por una nueva iniciativa: su intención de fundar un grupo de expertos, el Anthropic Institute, “para hacer frente a los retos más importantes que la IA potente planteará a nuestras sociedades”.

Dirigido por el cofundador de Anthropic, Jack Clark, que asumirá un nuevo cargo como director de beneficio público, el claustro del instituto estará compuesto por “un equipo interdisciplinario de ingenieros de aprendizaje automático, economistas y científicos sociales”, según ha informado la empresa.

Serán tres los equipos internos que se unan para dar forma a esta iniciativa:

Unirá y ampliará tres equipos internos: el Frontier Red Team, que somete a pruebas de estrés y evalúa los modelos de IA; Societal Impacts, que modela cómo se utiliza la IA en el mundo real; y Economic Research, que estudia el creciente impacto de la IA en la economía y el empleo.

Desde Anthropic han explicado que “el Instituto tiene una perspectiva única: tiene acceso a información que sólo poseen los creadores de sistemas de IA de vanguardia. Aprovechará al máximo esta ventaja e informará con franqueza sobre lo que estamos aprendiendo acerca de la forma de la tecnología que estamos creando”.

Además, el instituto “colaborará con los trabajadores y las industrias que se enfrentan al desplazamiento, y con las personas y comunidades que sienten que el futuro les acecha, pero no saben cómo responder”, mensaje que choca por lo inesperado para una empresa de IA.

Riesgo de la cadena de suministro
Quizás sea una coincidencia, pero que el Instituto se ponga en marcha esta semana llega en el momento perfecto para recordar al mundo que Anthropic se considera diferente a sus rivales en lo que respecta a la ética de la IA.
El Instituto Anthropic no es más que el último de una serie de anuncios recientes, entre los que se incluye la Constitución Claude, que ilustran los esfuerzos de la empresa por dar a los externos la oportunidad de conocer los principios de diseño que informan los valores y el comportamiento del modelo.

En 2024, el director ejecutivo Dario Amodei expuso su visión de “cómo la IA podría transformar el mundo para mejor” en un ensayo que reflejaba un idealismo que se ha puesto a prueba en las últimas semanas.

Hay que recordar que el pasado 27 de febrero, tras semanas de presiones y amenazas por parte del Departamento de Defensa, la negativa de la empresa a ceder en materia de ética de la IA le supuso su expulsión de los programas del Pentágono por parte del secretario de Defensa, Pete Hegseth, por considerarla un “riesgo para la cadena de suministro”. En respuesta, el lunes, Anthropic, que no se ha doblegado, anunció una demanda en la que solicitaba una orden de restricción temporal contra el Pentágono.

La pregunta es qué deben pensar los clientes empresariales de lo que cada vez más parece un choque ideológico irreconciliable de culturas.

Según Andrew Gamino-Cheong, director técnico de la plataforma de gobernanza de IA Trustible, podría resultar significativo el hecho de que Microsoft se haya opuesto públicamente a la prohibición general de Anthropic.

Incluso desde Anthropic han destacado “el apoyo de Microsoft en este asunto será importante”. Es más, en el sector se ha considerado un tanto desagradable calificar de “riesgo para la cadena de suministro” a una empresa del tamaño de Anthropic.

Por supuesto, Microsoft invirtió 5 millones de dólares en Anthropic en noviembre y afirmó que utilizará Claude Sonnet en su chatbot Copilot, por lo que lo que le suceda a Anthropic tiene importancia más allá de sus propias paredes.

Según Gamino-Cheong, “muchas startups y empresas de IA van a dudar en hacer negocios con el Gobierno federal como consecuencia de esto. Los modelos chinos aún no han sido etiquetados como un “riesgo para la cadena de suministro”, por lo que es una locura para un creador de modelos estadounidense”.

De todas formas, este técnico cree que el enfoque de Anthropic en la ética de la IA podría resultar atractivo para las empresas del sector privado, para las que la gobernanza de la IA ya constituye una cuestión importante.

Tanto es así que, para concluir, admite que “los modelos de Claude han comenzado a destacar y superan claramente a la mayoría de los demás en muchas tareas de tipo “empresarial”. Esto se debe a su inversión en investigación sobre la seguridad de la IA, que es el punto conflictivo del Departamento de Defensa”.

Fuente: https://www.computerworld.es