{"id":3035,"date":"2018-06-04T11:43:53","date_gmt":"2018-06-04T14:43:53","guid":{"rendered":"https:\/\/www.nachodelatorre.com.ar\/mosconi\/?p=3035"},"modified":"2018-06-04T11:43:53","modified_gmt":"2018-06-04T14:43:53","slug":"la-ia-discute-contra-si-misma-para-demostrar-que-no-es-maligna","status":"publish","type":"post","link":"https:\/\/www.fie.undef.edu.ar\/ceptm\/?p=3035","title":{"rendered":"La IA discute contra s\u00ed misma para demostrar que no es maligna"},"content":{"rendered":"<p>A un humano le puede resultar imposible supervisar el proceso de toma de decisiones de una inteligencia artificial. Un grupo de expertos propone que cada sistema debata con otro mediante el lenguaje natural para ayudar a que una persona juzgue las intenciones de sus acciones.<!--more--><\/p>\n<p>Puede que alg\u00fan d\u00eda, el hecho de que\u00a0<strong>un sistema de inteligencia artificial (IA) se pelee consigo mismo sea algo completamente normal.\u00a0<\/strong>Este es el futuro que plantean los investigadores de\u00a0<a href=\"https:\/\/www.openai.com\/\" target=\"_blank\" rel=\"noopener noreferrer\">OpenAI<\/a>, una organizaci\u00f3n sin \u00e1nimo de lucro fundada por varias eminencias de Silicon Valley (EE. UU.), como el socio de Y Combinator Sam Altman, el presidente de LinkedIn, Reid Hoffman, el miembro de la junta de Facebook y fundador de Palantir, Peter Thiel, y el jefe de Tesla y SpaceX, Elon Musk\u00a0(y que se cre\u00f3 con el objetivo concreto de<a href=\"https:\/\/www.technologyreview.es\/s\/5411\/mil-millones-de-dolares-para-evitar-que-la-ia-sea-mala-con-la-humanidad\" target=\"_blank\" rel=\"noopener noreferrer\">\u00a0evitar la que IA se rebele\u00a0contra la humanidad<\/a>).<\/p>\n<p>OpenAI ha demostrado que\u00a0<strong>los sistemas de IA que se entrenan a s\u00ed mismos pueden desarrollar h\u00e1bitos inesperados e indeseados<\/strong>. Por ejemplo, en un juego de ordenador, un software puede descubrir c\u00f3mo\u00a0<a href=\"https:\/\/en.wikipedia.org\/wiki\/Glitching\" target=\"_blank\" rel=\"noopener noreferrer\">aprovechar los fallos<\/a>\u00a0del juego para obtener una puntuaci\u00f3n m\u00e1s alta. En algunos casos, es posible que alguien\u00a0<a href=\"https:\/\/blog.openai.com\/deep-reinforcement-learning-from-human-preferences\/\" target=\"_blank\" rel=\"noopener noreferrer\">supervise el proceso de entrenamiento<\/a>, pero si el programa de IA est\u00e1 haciendo algo muy complejo para los humanos, la supervisi\u00f3n no podr\u00eda detectarlo. As\u00ed que los investigadores sugieren que haya dos sistemas que debatan sobre c\u00f3mo conseguir un objetivo en particular.<\/p>\n<p>En una\u00a0<a href=\"https:\/\/blog.openai.com\/debate\/\" target=\"_blank\" rel=\"noopener noreferrer\">publicaci\u00f3n de blog<\/a>, los investigadores de OpenIA afirman: &#8220;Creemos que este enfoque, o uno similar, podr\u00eda ayudarnos a entrenar sistemas de inteligencia artificial para que realicen tareas cognitivamente m\u00e1s avanzadas de las que los humanos son capaces de hacer, pero sin salirse de los intereses humanos&#8221;. Por ejemplo, considere una IA dise\u00f1ada para defenderse contra hackers humanos o de inteligencia artificial. Para evitar que el sistema haga algo da\u00f1ino o poco \u00e9tico, habr\u00eda que obligarle a que explique por qu\u00e9 ha llevado a cabo una acci\u00f3n en particular. Pero su razonamiento ser demasiado complejo para la comprensi\u00f3n humana, as\u00ed que los investigadores proponen que sea otra IA la que debata la l\u00f3gica de la acci\u00f3n con el primer sistema. Para llevar a cabo ese debate, ambos sistemas emplear\u00edan el lenguaje natural para que una persona pudiera seguir la conversaci\u00f3n. Este\u00a0<a href=\"https:\/\/arxiv.org\/pdf\/1805.00899.pdf\" target=\"_blank\" rel=\"noopener noreferrer\">art\u00edculo de investigaci\u00f3n<\/a>\u00a0ofrece m\u00e1s detalles sobre este nuevo enfoque.<\/p>\n<p>Para que dos sistemas de IA puedan discutir entre ellos\u00a0<strong>hace falta una tecnolog\u00eda m\u00e1s sofisticada de la que tenemos actualmente.<\/strong>\u00a0Hasta ahora, los investigadores de OpenAI solo han probado la idea con un par de ejemplos muy simples. Uno involucra a dos inteligencias artificiales que intentan convencer a un observador de la identidad de un personaje oculto del que, poco a poco, van revelando p\u00edxeles individuales.<\/p>\n<p>Los investigadores han creado una\u00a0<a href=\"https:\/\/debate-game.openai.com\/\" target=\"_blank\" rel=\"noopener noreferrer\">p\u00e1gina web<\/a>\u00a0donde dos personas pueden emplear los roles de los dos sistemas de inteligencia de debate mientras que un tercero hace de juez. Los dos participantes compiten para convencer al juez sobre la naturaleza de una imagen y resaltar partes de ella. De esta forma,\u00a0<strong>al juez le resulta f\u00e1cil identificar cu\u00e1l de los dos es el m\u00e1s honesto.<\/strong><\/p>\n<p>El investigador de la Universidad de Duke (EE. UU.)\u00a0<a href=\"https:\/\/users.cs.duke.edu\/~conitzer\/\" target=\"_blank\" rel=\"noopener noreferrer\">Vincent Conitzer<\/a>, que estudia problemas \u00e9ticos relacionados con la IA, dice que aunque el trabajo est\u00e1 en una etapa inicial, parece prometedor. El experto detalla: &#8220;Crear sistemas de IA capaces de explicar sus decisiones es una tarea desafiante.\u00a0<strong>Si esto tiene \u00e9xito, podr\u00eda aportar mucho al uso responsable de la IA<\/strong>&#8220;, se\u00f1ala Conitzer.<\/p>\n<p>A pesar de\u00a0<a href=\"https:\/\/www.cnbc.com\/2018\/03\/13\/elon-musk-at-sxsw-a-i-is-more-dangerous-than-nuclear-weapons.html\" target=\"_blank\" rel=\"noopener noreferrer\">algunas<\/a>\u00a0<a href=\"https:\/\/www.theguardian.com\/technology\/2017\/aug\/14\/elon-musk-ai-vastly-more-risky-north-korea\" target=\"_blank\" rel=\"noopener noreferrer\">declaraciones<\/a>\u00a0<a href=\"https:\/\/www.washingtonpost.com\/news\/innovations\/wp\/2018\/04\/06\/elon-musks-nightmarish-warning-ai-could-become-an-immortal-dictator-from-which-we-would-never-escape\/?noredirect=on&amp;utm_term=.388e6506a2fc\" target=\"_blank\" rel=\"noopener noreferrer\">extravagantes<\/a>\u00a0de Elon Musk (un financiador de OpenAI y hasta hace poco miembro de su junta directiva),\u00a0<strong>a\u00fan estamos muy lejos de tener una inteligencia artificial capaz de enga\u00f1arnos\u00a0<\/strong>como plantean algunas pel\u00edculas de ciencia ficci\u00f3n como \u00a0<a href=\"http:\/\/exmachina-movie.com\/\" target=\"_blank\" rel=\"noopener noreferrer\"><em>Ex Machina<\/em><\/a>\u00a0y\u00a0<a href=\"https:\/\/www.youtube.com\/watch?v=WzV6mXIOVl4\" target=\"_blank\" rel=\"noopener noreferrer\"><em>Her<\/em><\/a>.<\/p>\n<p>De todas formas, algunos investigadores todav\u00eda est\u00e1n buscando\u00a0<strong>formas de garantizar que la tecnolog\u00eda no desarrolle comportamientos involuntarios<\/strong>. Estas herramientas se volver\u00e1n cada vez m\u00e1s imprescindibles a medida que los programas de IA se vuelven m\u00e1s complejos y dif\u00edciles de comprender para la mente humana (ver\u00a0<a href=\"https:\/\/www.technologyreview.es\/s\/7692\/el-secreto-mas-oscuro-de-la-inteligencia-artificial-por-que-hace-lo-que-hace\" target=\"_blank\" rel=\"noopener noreferrer\"><em>El secreto m\u00e1s oscuro de la inteligencia artificial: \u00bfpor qu\u00e9 hace lo que hace?<\/em><\/a>).<\/p>\n<p>El profesor de ciencias de la computaci\u00f3n de la Universidad Carnegie Mellon (EE. UU.)\u00a0<a href=\"http:\/\/procaccia.info\/\" target=\"_blank\" rel=\"noopener noreferrer\">Ariel Procaccia<\/a>, que estudia la toma de decisiones con sistemas aut\u00f3nomos, afirma: &#8220;Creo que la idea de\u00a0<strong>alinear valores a trav\u00e9s del debate es muy interesante y potencialmente \u00fatil<\/strong>&#8220;. Pero tambi\u00e9n se\u00f1ala que el trabajo est\u00e1 en una fase muy preliminar y que propio el concepto podr\u00eda ser contradictorio. Procaccia advierte: &#8220;Para debatir cuestiones cargadas de valores de una manera que resulte comprensible para un juez humano, los agentes de inteligencia artificial deben, en primer lugar, tener una s\u00f3lida comprensi\u00f3n de los valores humanos. As\u00ed que, sin duda, el enfoque\u00a0<strong>es como empezar la casa por el tejado<\/strong>&#8220;.<\/p>\n<p>El investigador del MIT Media Lab (EE. UU.)\u00a0<a href=\"https:\/\/www.media.mit.edu\/people\/irahwan\/overview\/\" target=\"_blank\" rel=\"noopener noreferrer\">Iyad Rawan<\/a>\u00a0a\u00f1ade que los investigadores deben\u00a0<strong>asegurarse que de las dos IA no acaben enredadas en una conversaci\u00f3n de besugos<\/strong>. Rawan afirma: &#8220;Creo que [los investigadores] no tardar\u00e1n en toparse con algunos obst\u00e1culos dif\u00edciles. Lo primero que tienen que averiguar es c\u00f3mo automatizar el debate con lenguaje natural, esto sigue siendo un problema sin resolver&#8221;.<\/p>\n<p><strong>Fuente:<\/strong>\u00a0<em><a href=\"https:\/\/www.technologyreview.es\/s\/10219\/la-ia-discute-contra-si-misma-para-demostrar-que-no-es-maligna\" target=\"_blank\" rel=\"noopener noreferrer\">https:\/\/www.technologyreview.es<\/a><\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>A un humano le puede resultar imposible supervisar el proceso de toma de decisiones de una inteligencia artificial. Un grupo de expertos propone que cada&hellip; <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":[],"categories":[23,29],"tags":[],"_links":{"self":[{"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/posts\/3035"}],"collection":[{"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=3035"}],"version-history":[{"count":0,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/posts\/3035\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=3035"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=3035"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=3035"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}