{"id":6847,"date":"2020-11-19T08:10:49","date_gmt":"2020-11-19T11:10:49","guid":{"rendered":"http:\/\/www.fie.undef.edu.ar\/ceptm\/?p=6847"},"modified":"2020-11-19T08:10:49","modified_gmt":"2020-11-19T11:10:49","slug":"relacion-entre-la-inteligencia-artificial-y-la-ciberdefensa","status":"publish","type":"post","link":"https:\/\/www.fie.undef.edu.ar\/ceptm\/?p=6847","title":{"rendered":"Relaci\u00f3n entre la inteligencia artificial\u00a0y la ciberdefensa"},"content":{"rendered":"<p>La ciberseguridad\u00a0y la\u00a0inteligencia artificial\u00a0guardan una estrecha relaci\u00f3n. Primero, las t\u00e9cnicas de inteligencia artificial (IA) pueden utilizarse para mejorar la ciberseguridad y resiliencia de productos, servicios, sistemas y, por ende, de las empresas y la sociedad (enfoque de defensa). Segundo, la IA est\u00e1 empezando a ser utilizada por cibercriminales y otro tipo de ciberatacantes para poner en riesgo la ciberseguridad y perpetrar diferentes tipos de ataques y generar noticias falsas (enfoque de ataque). Finalmente, los sistemas de IA son, a su vez, susceptibles de sufrir ciberataques.<\/p>\n<hr \/>\n<p dir=\"ltr\"><strong>Tema<\/strong><\/p>\n<p dir=\"ltr\">La inteligencia artificial y la ciberseguridad pueden utilizarse tanto para reforzarse como para deteriorarse mutuamente.<\/p>\n<p dir=\"ltr\"><strong>Resumen<\/strong><\/p>\n<p dir=\"ltr\">La <a href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/publicaciones\/ciber-elcano\" target=\"_blank\" rel=\"noopener noreferrer\">ciberseguridad<\/a> y la <a href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido?WCM_GLOBAL_CONTEXT=\/elcano\/elcano_es\/zonas_es\/ciberseguridad\/ari93-2018-blanco-cohen-inteligencia-artificial-poder\" target=\"_blank\" rel=\"noopener noreferrer\">inteligencia artificial<\/a> guardan una estrecha relaci\u00f3n. Primero, las t\u00e9cnicas de inteligencia artificial (IA) pueden utilizarse para mejorar la ciberseguridad y resiliencia de productos, servicios, sistemas y, por ende, de las empresas y la sociedad (enfoque de defensa). Segundo, la IA est\u00e1 empezando a ser utilizada por cibercriminales y otro tipo de ciberatacantes para poner en riesgo la ciberseguridad y perpetrar diferentes tipos de ataques y generar noticias falsas (enfoque de ataque). Finalmente, los sistemas de IA son, a su vez, susceptibles de sufrir ciberataques, por lo que se deben desarrollar sistemas de IA seguros, que preserven la privacidad, en los que podamos confiar y que sean aceptados por sus usuarios (enfoque de confianza). Dada la interacci\u00f3n entre ambas, es necesario que las Estrategias de Ciberseguridad, de Inteligencia Artificial y de I+D+i se coordinen para crear t\u00e9cnicas, m\u00e9todos y herramientas que faciliten el dise\u00f1o, desarrollo, validaci\u00f3n y despliegue de sistemas basados en la IA con un enfoque multicriterio que considere la ciberseguridad del dato, del modelo y del resultado.<\/p>\n<p dir=\"ltr\"><strong>An\u00e1lisis<\/strong><\/p>\n<p dir=\"ltr\">En 1950 Alan Turing defin\u00eda las condiciones que deb\u00eda cumplir una m\u00e1quina para poder considerarla inteligente, pero fue realmente en 1956 cuando John McCarthy acu\u00f1\u00f3 el t\u00e9rmino <em>inteligencia artificial<\/em> (IA) para referirse a m\u00e1quinas que ejecutasen tareas caracter\u00edsticas de la inteligencia humana y resolviesen problemas y lograsen objetivos de una forma similar a como lo hac\u00edan las personas.<\/p>\n<p dir=\"ltr\">Aunque las investigaciones en IA continuaron durante la d\u00e9cada de 1970 y parte de la de 1980, pocos quer\u00edan invertir su dinero en una tecnolog\u00eda que no estaba ofreciendo resultados palpables. Fue en 1996, el d\u00eda en que el ordenador Deep Blue de IBM se impuso en una partida de ajedrez al entonces campe\u00f3n del mundo Kasp\u00e1rov, cuando se comenz\u00f3 a ver que la IA ofrec\u00eda posibilidades de aplicaci\u00f3n pr\u00e1ctica. Ya en 2012 se empez\u00f3 a hablar de <em>deep learning<\/em> al crear Google, un sistema capaz de identificar gatos en im\u00e1genes, y en 2015 AlphaGo se convirti\u00f3 en la primera m\u00e1quina en ganar a un jugador profesional del juego chino go.<\/p>\n<p dir=\"ltr\">Precisamente el mayor conocimiento sobre el funcionamiento del cerebro adquirido en los \u00faltimos a\u00f1os, junto con los avances en microelectr\u00f3nica, el aumento de la potencia de computaci\u00f3n, as\u00ed como la posibilidad de acceder a grandes cantidades de datos y la conexi\u00f3n ubicua entre sistemas, han posibilitado los grandes avances en IA que se est\u00e1n dando actualmente. Esto ha motivado que la IA sea uno de los t\u00e9rminos m\u00e1s utilizados en la actualidad, hasta generar la impresi\u00f3n de que un sistema que no haga uso de la IA en <a href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido?WCM_GLOBAL_CONTEXT=\/elcano\/elcano_es\/zonas_es\/ciberseguridad\/ari93-2018-blanco-cohen-inteligencia-artificial-poder\" target=\"_blank\" rel=\"noopener noreferrer\">alguna de sus variantes<\/a> (<em>machine learning<\/em>, <em>deep learning<\/em>\u2026) no pueda considerarse un sistema relevante<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn1\" name=\"_ftnref1\"><sup>1<\/sup><\/a>.<\/p>\n<p dir=\"ltr\">La IA ofrece m\u00faltiples posibilidades de aplicaci\u00f3n<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn2\" name=\"_ftnref2\"><sup>2<\/sup><\/a> y, sin embargo, no dejan de surgir noticias referentes a decisiones err\u00f3neas tomadas por sistemas de IA o sobre conclusiones a las que han llegado sistemas de IA cuyo proceso de obtenci\u00f3n es ininteligible para los humanos<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn3\" name=\"_ftnref3\"><sup>3<\/sup><\/a>. Esto demuestra que dichos sistemas de IA no han sido dise\u00f1ados asegurando la imparcialidad y la transparencia en la toma de decisiones. Al igual que muchas otras tecnolog\u00edas, la IA puede usarse tanto para el bien como para el mal<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn4\" name=\"_ftnref4\"><sup>4<\/sup><\/a>. Por este motivo, vamos a desgranar el posible buen y mal uso de la IA en el \u00e1mbito de la ciberseguridad y los peligros que puede representar su utilizaci\u00f3n si la IA no ha sido dise\u00f1ada de una forma segura.<\/p>\n<p dir=\"ltr\"><strong>Inteligencia artificial en apoyo de la ciberseguridad<\/strong><\/p>\n<p dir=\"ltr\">La IA puede utilizarse para ayudar a los profesionales de la seguridad a tratar la cada vez mayor complejidad de los sistemas modernos de IT, industria 4.0, infraestructura del <a href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/Internet%20de%20las%20Cosas%20(\" target=\"_blank\" rel=\"noopener noreferrer\">Internet de las Cosas<\/a> (IoT por sus siglas en ingl\u00e9s)\u2026, as\u00ed como la ingente cantidad de datos creados por ellos, e intentar estar por delante de los ciberatacantes. La ciberseguridad se enfrenta a m\u00faltiples retos, como son la detecci\u00f3n de intrusiones, la <a href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido?WCM_GLOBAL_CONTEXT=\/elcano\/elcano_es\/zonas_es\/ciberseguridad\/ari92-2018-alonsolecuit-privacidad-confidencialidad-interceptacion-comunicaciones\" target=\"_blank\" rel=\"noopener noreferrer\">protecci\u00f3n de la privacidad<\/a>, la defensa proactiva, la identificaci\u00f3n de comportamientos an\u00f3malos o la detecci\u00f3n de amenazas sofisticadas, pero, sobre todo, a las cambiantes amenazas que aparecen continuamente. Debido a ello, se est\u00e1n explorando m\u00e9todos basados en la IA que faciliten el an\u00e1lisis y la toma de decisiones en tiempo real para una r\u00e1pida detecci\u00f3n y reacci\u00f3n ante ciberataques. Tambi\u00e9n se est\u00e1 empleando la IA para desarrollar sistemas autoadaptables y que permitan automatizar las respuestas ante ciberamenazas.<\/p>\n<p dir=\"ltr\">Realmente, la IA puede utilizarse en todas las etapas de una seguridad integral inteligente: identificaci\u00f3n, protecci\u00f3n, detecci\u00f3n, respuesta y recuperaci\u00f3n ante incidentes; en este sentido, la ciberseguridad puede considerarse un dominio m\u00e1s de aplicaci\u00f3n de la IA, como pueden serlo el de la energ\u00eda, transporte, industria o salud. De hecho, este no es un \u00e1mbito nuevo de aplicaci\u00f3n de la IA, sino que ya lleva tiempo utiliz\u00e1ndose para desarrollar soluciones que puedan detectar y atajar ciberamenazas complejas y sofisticadas a la vez que evitar fugas de datos. Tal y como indica <a href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido?WCM_GLOBAL_CONTEXT=\/elcano\/elcano_es\/zonas_es\/comentario-arteaga-analisis-de-riesgos-en-ciberseguridad\" target=\"_blank\" rel=\"noopener noreferrer\">ENISA<\/a>, se debe seguir investigando la utilizaci\u00f3n de IA en la inteligencia de ciberamenazas (<em>cyber threat intelligence<\/em>, CTI) para reducir el n\u00famero de pasos manuales en los an\u00e1lisis realizados y validar dichos an\u00e1lisis, esto es, apoyando la CTI a lo largo de todo el ciclo de vida de la gesti\u00f3n y mitigaci\u00f3n de los riesgos de seguridad<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn5\" name=\"_ftnref5\"><sup>5<\/sup><\/a>.<\/p>\n<p dir=\"ltr\">En la actual situaci\u00f3n de <a href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido?WCM_GLOBAL_CONTEXT=\/elcano\/elcano_es\/zonas_es\/ciberseguridad\/ari67-2020-arteaga-ciberseguridad-en-tiempos-de-pandemia-repaso-a-covid-19\" target=\"_blank\" rel=\"noopener noreferrer\">pandemia debida al COVID-19<\/a>, lo que se ha observado es la gran capacidad que han mostrado los cibercriminales para adaptarse r\u00e1pidamente al nuevo contexto vulnerable de teletrabajo aprovechando las conexiones a internet de los hogares para acceder a datos y sistemas de la empresa. Los cibercriminales han personalizado los vectores de ataque con m\u00e9todos avanzados de robo de credenciales, ataques de <em>phishing<\/em> muy orientados, sofisticados ataques de ingenier\u00eda social y t\u00e9cnicas avanzadas de ocultaci\u00f3n de <em>malware<\/em>, entre otros. En la medida en que estas t\u00e9cnicas se vayan combinando cada vez m\u00e1s con la IA, los ataques ser\u00e1n m\u00e1s dif\u00edciles de detectar y tendr\u00e1n un mayor \u00e9xito, seg\u00fan el citado informe de ENISA.<\/p>\n<p dir=\"ltr\"><strong>La utilizaci\u00f3n de la IA por parte de los ciberatacantes<\/strong><\/p>\n<p dir=\"ltr\">La IA ya se est\u00e1 utilizando en aplicaciones del mercado para conocer los patrones de comportamiento de usuarios y dise\u00f1ar campa\u00f1as comerciales utilizando <em>software<\/em> de IA a disposici\u00f3n de todo el mundo, por lo que ser\u00eda muy ingenuo pensar que los cibercriminales no lo est\u00e9n utilizando tambi\u00e9n, en el caso m\u00e1s sencillo, para conocer mejor a sus v\u00edctimas e identificar el mejor momento en el que realizar una acci\u00f3n delictiva con las mayores garant\u00edas de \u00e9xito.<\/p>\n<p dir=\"ltr\">La utilizaci\u00f3n de la IA depende del perfil de los ciberatacantes, que van desde los m\u00e1s inofensivos, asociados a la cibermalicia, a los m\u00e1s peligrosos, como pueden ser los relacionados con el ciberterrorismo, el ciberespionaje o la ciberguerra. La misma variedad puede encontrarse en el nivel de sofisticaci\u00f3n y complejidad de los ciberataques, que var\u00eda mucho de unos a otros. Detr\u00e1s de los ciberataques m\u00e1s peligrosos y sofisticados susceptibles de utilizar la IA pueden estar grupos muy especializados, financiados por determinados Estados y cuyos ataques pueden estar dirigidos hacia infraestructuras cr\u00edticas de otro pa\u00eds o a generar campa\u00f1as de desinformaci\u00f3n. Si analizamos a los potenciales atacantes desde otra perspectiva, la de su forma de operar, pueden utilizar la IA tanto para explotar vulnerabilidades conocidas como para encontrar otras desconocidas o crearlas.<\/p>\n<p dir=\"ltr\">Adem\u00e1s de la utilizaci\u00f3n del uso ofensivo de la IA por parte de los ciberatacantes para conocer patrones de comportamiento de las futuras v\u00edctimas, tambi\u00e9n puede utilizarse para romper m\u00e1s r\u00e1pidamente contrase\u00f1asy <em>captchas<\/em>, construir <em>malware<\/em> que evite la detecci\u00f3n, esconderse donde no puedan ser encontrados, adaptarse lo antes posible a las contramedidas que puedan tomarse, as\u00ed como para la obtenci\u00f3n autom\u00e1tica de informaci\u00f3n utilizando m\u00e9todos de procesamiento del lenguaje natural (<em>natural language processing<\/em>, NLP) y la suplantaci\u00f3n y generaci\u00f3n de audios, v\u00eddeos y textos falsos. Los atacantes tambi\u00e9n est\u00e1n utilizando redes generativas conflictivas (<em><a href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_en\/contenido?WCM_GLOBAL_CONTEXT=\/elcano\/elcano_in\/zonas_in\/ari93-2020-bonfanti-weaponisation-of-synthetic-media-what-threat-does-this-pose-to-national-security\" target=\"_blank\" rel=\"noopener noreferrer\">generative adversarial networks, GAN<\/a><\/em>)<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn6\" name=\"_ftnref6\"><sup>6<\/sup><\/a> para imitar patrones de tr\u00e1fico de comunicaciones normales con el objetivo de distraer la atenci\u00f3n de un ataque y encontrar y extraer datos sensibles r\u00e1pidamente<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn7\" name=\"_ftnref7\"><sup>7<\/sup><\/a>.<\/p>\n<p dir=\"ltr\"><strong>\u00bfSon vulnerables los sistemas de IA a los ciberataques?<\/strong><\/p>\n<p dir=\"ltr\">Los atacantes pueden utilizar sistemas de IA no s\u00f3lo para tomar sus decisiones, sino tambi\u00e9n para manipular las decisiones que toman otros. De forma simplificada, un sistema de IA no deja de ser un sistema de <em>software<\/em> en el que se utilizan datos, modelos y algoritmos de procesamiento. En este sentido, un sistema de IA que no haya sido desarrollado con ciberseguridad desde el dise\u00f1o puede ser vulnerable a ciberataques que tengan como objetivo los datos, el modelo o el algoritmo de la IA y provocar resultados no deseados o decisiones equivocadas en el sistema. Diferentes empresas han sufrido ya ataques a sistemas comerciales de IA, como es el caso de Microsoft, que ha observado en los \u00faltimos cuatro a\u00f1os un importante incremento en este tipo de ataques<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn8\" name=\"_ftnref8\"><sup>8<\/sup><\/a>, o de Tesla<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn9\" name=\"_ftnref9\"><sup>9<\/sup><\/a>, Google<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn10\" name=\"_ftnref10\"><sup>10<\/sup><\/a> y Amazon<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn11\" name=\"_ftnref11\"><sup>11<\/sup><\/a>, por citar algunos.<\/p>\n<p dir=\"ltr\">La red de innovaci\u00f3n del <a href=\"https:\/\/www.sparta.eu\/#SPARTA\" target=\"_blank\" rel=\"noopener noreferrer\">proyecto SPARTA<\/a>, dentro de su programa de investigaci\u00f3n <a href=\"https:\/\/www.sparta.eu\/programs\/safair\/\" target=\"_blank\" rel=\"noopener noreferrer\">SAFAIR<\/a>, ha identificado diferentes t\u00e1cticas de ataque que pueden llevarse a cabo sobre los sistemas de IA, tanto durante la fase de entrenamiento del sistema como durante la fase de operaci\u00f3n, que se muestran en el siguiente cuadro.<\/p>\n<figure dir=\"ltr\"><figcaption>Cuadro 1. T\u00e1cticas de ataque<\/figcaption><table>\n<tbody>\n<tr>\n<th>Acceso a los datos<\/th>\n<th colspan=\"3\"><\/th>\n<\/tr>\n<\/tbody>\n<tbody>\n<tr>\n<th rowspan=\"5\">Envenenamiento<\/th>\n<td colspan=\"3\">Indirecto<\/td>\n<\/tr>\n<tr>\n<td rowspan=\"4\">Directo<\/td>\n<td colspan=\"2\">Inyecci\u00f3n de datos<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">Manipulaci\u00f3n de los datos: manipulaci\u00f3n de etiquetas<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">Manipulaci\u00f3n de los datos: manipulaci\u00f3n de la entrada<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">Corrupci\u00f3n de la l\u00f3gica<\/td>\n<\/tr>\n<tr>\n<th rowspan=\"3\">Evasi\u00f3n<\/th>\n<td rowspan=\"3\">Gradiente<\/td>\n<td colspan=\"2\">Un solo paso<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">Iterativo<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">Libre de gradiente<\/td>\n<\/tr>\n<tr>\n<th rowspan=\"3\">Oracle<\/th>\n<td colspan=\"3\">Extracci\u00f3n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"3\">Inversi\u00f3n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"3\">Inferencia de pertenencia<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<footer>Fuente: Erkuden Rios (Tecnalia)<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn12\" name=\"_ftnref12\"><sup>12<\/sup><\/a><\/footer>\n<\/figure>\n<p dir=\"ltr\">El ataque denominado \u201cacceso a los datos\u201d consiste en que el atacante puede acceder a todo o parte de los datos de entrenamiento y utilizar esos datos para crear un modelo sustituto.<\/p>\n<p dir=\"ltr\">En el caso de los ataques de tipo \u201cenvenenamiento\u201d, se alteran los datos o el modelo de forma indirecta o directa. En el primer supuesto, los atacantes sin acceso a los datos preprocesados utilizados por el modelo envenenan los datos antes del preprocesamiento.<\/p>\n<p dir=\"ltr\">En el \u201cenvenenamiento directo\u201d pueden encontrarse las siguientes t\u00e1cticas de ataque:<\/p>\n<ul dir=\"ltr\" type=\"disc\">\n<li>Inyecci\u00f3n de datos: inserci\u00f3n de muestras conflictivas (maliciosas) en los datos de entrenamiento originales para cambiar la distribuci\u00f3n subyacente de datos sin cambiar las caracter\u00edsticas o etiquetas de los datos de entrenamiento iniciales.<\/li>\n<li>Manipulaci\u00f3n de datos (etiquetas): modificaci\u00f3n por el atacante de las etiquetas de salida de los datos de entrenamiento originales.<\/li>\n<li>Manipulaci\u00f3n de datos (entrada): modificaci\u00f3n por el atacante de los datos de entrenamiento originales.<\/li>\n<li>Corrupci\u00f3n de la l\u00f3gica: manipulaci\u00f3n del algoritmo de <em>machine learning<\/em> para alterar el proceso de aprendizaje y el propio modelo.<\/li>\n<\/ul>\n<p dir=\"ltr\">Por otro lado, en los ataques de tipo \u201cevasi\u00f3n\u201d, el atacante resuelve un problema de optimizaci\u00f3n restringido para encontrar una perturbaci\u00f3n en la entrada que provoque la clasificaci\u00f3n err\u00f3nea que desea. Bajo este tipo de ataque pueden encontrarse las siguientes t\u00e1cticas:<\/p>\n<ul dir=\"ltr\" type=\"disc\">\n<li>Gradiente, un solo paso: utiliza algoritmos de b\u00fasqueda basados en gradiente.<\/li>\n<li>Gradiente, iterativo: utiliza de forma iterativa algoritmos de b\u00fasqueda basados en gradiente.<\/li>\n<li>Libre de gradiente: necesita acceder a los valores de confianza dados por el modelo para ser efectivo.<\/li>\n<\/ul>\n<p dir=\"ltr\">Finalmente, en los ataques de tipo \u201cOracle\u201d, un atacante utiliza una interfaz o API del modelo para presentarle entradas, poder observar sus salidas y obtener de esta forma la informaci\u00f3n deseada. Pueden distinguirse las siguientes t\u00e1cticas:<\/p>\n<ul dir=\"ltr\" type=\"disc\">\n<li>Extracci\u00f3n: el atacante extrae los par\u00e1metros o estructura del modelo a partir de observaciones realizadas sobre las predicciones del modelo, incluyendo normalmente las probabilidades devueltas para cada clase.<\/li>\n<li>Inversi\u00f3n: las caracter\u00edsticas inferidas pueden permitirle al atacante reconstruir los datos utilizados para entrenar al modelo, incluida informaci\u00f3n personal que viole la privacidad de un individuo.<\/li>\n<li>Inferencia de pertenencia: los atacantes utilizan los resultados devueltos por consultas realizadas al modelo para determinar si puntos de datos concretos pertenecen a la misma distribuci\u00f3n que el conjunto de datos de entrenamiento y explotar las diferencias en la confianza dada por el modelo sobre puntos que fueron o no vistos durante el entrenamiento.<\/li>\n<\/ul>\n<p dir=\"ltr\">Seg\u00fan un informe de Gartner para el 2022, el 30% de todos los ciberataques de IA utilizar\u00e1n envenenamiento de los datos de entrada, robo del modelo de IA o muestras conflictivas para atacar a los sistemas de IA<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn13\" name=\"_ftnref13\"><sup>13<\/sup> <\/a>. Todas las t\u00e1cticas de ataque identificadas en SPARTA han sido recogidas en una base de conocimiento de amenazas a la inteligencia artificial con el fin de apoyar la recogida, estructuraci\u00f3n y reutilizaci\u00f3n de conocimiento acerca de las amenazas a los sistemas de IA y c\u00f3mo actuar para minimizar el impacto de estas ciberamenazas. En esta l\u00ednea, organizaciones como Microsoft, Mitre, Bosch, IBM, Nvidia, Airbus, Pricewaterhouse y el SEI de Carnegi Mellon, junto con otras cuatro entidades, han lanzado recientemente la Adversarial ML Threat Matrix, un <em>framework<\/em> abierto dise\u00f1ado para ayudar a los analistas de seguridad a detectar, responder y solucionar amenazas que puedan producirse contra los sistemas de <em>machine learning<\/em><a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn14\" name=\"_ftnref14\"><sup>14<\/sup><\/a>.<\/p>\n<p dir=\"ltr\"><strong>Abordando la ciberseguridad de la inteligencia artificial<\/strong><\/p>\n<p dir=\"ltr\">Si queremos minimizar la deuda t\u00e9cnica<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn15\" name=\"_ftnref15\"><sup>15<\/sup><\/a>, es decir, el esfuerzo adicional que habr\u00e1 que realizar en el futuro para resolver los problemas generados, en este caso al desarrollar sistemas de IA sin tener en cuenta la ciberseguridad, debemos actuar durante todo el ciclo de desarrollo de la IA y a lo largo de la cadena de suministro para crear sistemas de IA seguros y justos. Para este fin, necesitamos continuar investigando las amenazas a la IA y compartir la informaci\u00f3n que se vaya generando. Es imprescindible dise\u00f1ar los sistemas de IA teniendo en cuenta la seguridad, privacidad, imparcialidad y explicabilidad desde el dise\u00f1o y por defecto, realizar pruebas que demuestren que el sistema cumple estas propiedades, velar por que las cumpla durante su operaci\u00f3n y, en caso de producirse incidentes, realizar un an\u00e1lisis forense pormenorizado.<\/p>\n<p dir=\"ltr\">No debemos olvidar que los incidentes relacionados con la IA disminuyen la confianza en estos sistemas y su aceptaci\u00f3n por parte de los usuarios. Si tenemos en cuenta que, seg\u00fan una encuesta realizada a 28 organizaciones, 25 de ellas no sab\u00edan c\u00f3mo proteger sus sistemas de IA, se necesita trabajar para facilitar esta tarea a los implementadores de la IA y que lleguen sistemas seguros a los usuarios<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn16\" name=\"_ftnref16\"><sup>16<\/sup><\/a>. En esta l\u00ednea, la Comisi\u00f3n Europea ha creado una lista de verificaci\u00f3n para IA de confianza (ALTAI), que traduce los principios de una IA de confianza en una lista de comprobaci\u00f3n que pueden utilizar los desarrolladores y proveedores para realizar una autoverificaci\u00f3n de sus sistemas<a title=\"\" href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido\/!ut\/p\/a1\/04_Sj9CPykssy0xPLMnMz0vMAfGjzOKNQ1zcA73dDQ38_YKNDRwtfN1cnf2cDf1DjYEKIoEKDHAARwNC-gtyQxUBS355Vw!!\/#_ftn17\" name=\"_ftnref17\"><sup>17<\/sup><\/a>. Aun as\u00ed, debe dotarse a los desarrolladores de m\u00e9todos, t\u00e9cnicas y herramientas que les permitan desarrollar estos sistemas con ciberseguridad y privacidad desde el dise\u00f1o.<\/p>\n<p dir=\"ltr\">Para dise\u00f1ar, desarrollar, validar y desplegar sistemas de IA, debe velarse por la calidad del dato, del modelo y del resultado (las \u201c3 C\u201d). De este modo, los aspectos que deben tenerse en cuenta a la hora de desarrollar un sistema de IA son:<\/p>\n<ul dir=\"ltr\" type=\"disc\">\n<li>Privacidad: debe asegurarse que el modelo de IA puede utilizar cualquier fuente de datos y que mantiene la privacidad del dato.<\/li>\n<li>Equidad: debe velarse por que el modelo de IA no se vea afectado por sesgos impl\u00edcitos en la muestra de datos y no discrimine o favorezca determinadas salidas sin raz\u00f3n aparente.<\/li>\n<li>Trazabilidad: en el caso de que se produzca un fallo en el sistema, debe poderse analizar cu\u00e1l ha sido el motivo, depurar responsabilidades y poner los medios necesarios para que no vuelva a suceder.<\/li>\n<li>Robustez: en caso de ciberataque, se debe saber hasta qu\u00e9 punto podemos fiarnos o no de la salida del sistema.<\/li>\n<li>Fiabilidad: debemos saber si la salida del modelo es fiable y qu\u00e9 sucede si su entrada cambia m\u00ednimamente.<\/li>\n<li>Causalidad: debemos saber si podemos influir en la salida del modelo actuando sobre los datos de entrada.<\/li>\n<li>Explicabilidad y transparencia: debemos intentar que el usuario pueda entender c\u00f3mo funciona el modelo y qu\u00e9 ha visto el sistema en los datos para llegar a determinadas conclusiones.<\/li>\n<li>Gobernanza del dato: se debe garantizar el uso l\u00edcito, eficiente y eficaz de la informaci\u00f3n.<\/li>\n<\/ul>\n<h2 dir=\"ltr\">Conclusiones<\/h2>\n<p dir=\"ltr\">Existe una estrecha relaci\u00f3n entre la inteligencia artificial y la ciberseguridad, con m\u00faltiples facetas que deben ser consideradas, por lo que una Estrategia Nacional de Inteligencia Artificial debe estar alineada y coordinada en ciertos \u00e1mbitos con la Estrategia Nacional de Ciberseguridad. No debemos olvidar que la ciberseguridad es un dominio m\u00e1s de aplicaci\u00f3n de la IA, pero que, al mismo tiempo, los sistemas de IA tambi\u00e9n pueden ser sistemas vulnerables, por lo que se tienen que desarrollar con privacidad y seguridad desde el dise\u00f1o y hay que velar por su ciberseguridad a lo largo de todo el ciclo de vida del sistema y considerando toda la cadena de suministro.<\/p>\n<p dir=\"ltr\">La Estrategia Nacional de Inteligencia Artificial debe apoyar la I+D+i en inteligencia artificial para crear t\u00e9cnicas, m\u00e9todos y herramientas que faciliten el dise\u00f1o, desarrollo, validaci\u00f3n y despliegue de sistemas basados en IA con un enfoque multicriterio que considere la ciberseguridad del dato, del modelo y del resultado.<\/p>\n<p dir=\"ltr\">Por otro lado, debe impulsarse la I+D+i orientada a la aplicaci\u00f3n de la IA en los nuevos sistemas de inteligencia de ciberamenazas, de forma que las organizaciones est\u00e9n m\u00e1s preparadas y puedan reaccionar mejor frente a los ciberataques de vanguardia o de d\u00eda cero. Integrar la ciberseguridad y privacidad desde el dise\u00f1o implica fomentar una cultura de la ciberseguridad en las organizaciones para que se pueda capacitar a las personas, adoptar ciclos de vida ciberseguros para el desarrollo de los sistemas de IA y pensar en las respuestas ante posibles incidentes.<\/p>\n<p dir=\"ltr\">Finalmente, debemos asegurar la aplicaci\u00f3n responsable y \u00e9tica de la IA en todos los dominios, pero muy especialmente en \u00e1mbitos como la rob\u00f3tica, nuevas aplicaciones propiciadas por el 5G, sistemas automatizados de toma de decisiones y sistemas de vigilancia.<\/p>\n<p><strong>Fuente:<\/strong> <a href=\"http:\/\/www.realinstitutoelcano.org\/wps\/portal\/rielcano_es\/contenido?WCM_GLOBAL_CONTEXT=\/elcano\/elcano_es\/zonas_es\/ari128-2020-ayerbe-ciberseguridad-y-su-relacion-con-inteligencia-artificial\" target=\"_blank\" rel=\"noopener noreferrer\"><em>http:\/\/www.realinstitutoelcano.org<\/em><\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>La ciberseguridad\u00a0y la\u00a0inteligencia artificial\u00a0guardan una estrecha relaci\u00f3n. Primero, las t\u00e9cnicas de inteligencia artificial (IA) pueden utilizarse para mejorar la ciberseguridad y resiliencia de productos, servicios,&hellip; <\/p>\n","protected":false},"author":1,"featured_media":6848,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":[],"categories":[2,23],"tags":[],"_links":{"self":[{"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/posts\/6847"}],"collection":[{"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=6847"}],"version-history":[{"count":1,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/posts\/6847\/revisions"}],"predecessor-version":[{"id":6849,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/posts\/6847\/revisions\/6849"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=\/wp\/v2\/media\/6848"}],"wp:attachment":[{"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=6847"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=6847"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.fie.undef.edu.ar\/ceptm\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=6847"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}