El día de hoy nos comparte un querido colega un interesante artículo sobre el alcance de nuestra compresión de la Inteligencia Artificial (IE). Este artículo, escrito por Tom Rickey, se publicó en el boletín digital de Pacific Northwest National Laboratory el 26 de febrero pasado y se tradujo por nosotros para este espacio. Esperamos lo disfrute.

Todos hemos conocido a personas tan inteligentes e informadas que no entendemos de qué están hablando. El asesor de inversiones que habla de los derivados, el médico que habla de las células B y las células T, el mecánico de automóviles que habla de los sofisticados motores computarizados actuales: sin embargo, confiamos en sus decisiones, aunque no comprendemos completamente el significado de sus palabras.

Así como sucede con la inteligencia humana, también ocurre con la Inteligencia Artificial (IA). Puede que no sepamos exactamente qué está pasando dentro de esa elaborada caja negra construida por humanos, pero sus decisiones pueden ser tan precisas que se gana nuestra confianza, si no nuestra comprensión.

Eso no es un problema cuando las decisiones tienen poca importancia. ¿Realmente necesitamos comprender, por ejemplo, el funcionamiento interno de un sistema de inteligencia artificial que clasifica cientos de fotos de gatos y perros sin problemas en el tiempo que lleva decir las palabras "perros y gatos"? Probablemente no. Las vidas humanas y el destino de las naciones no dependen de esas decisiones.

Pero la necesidad de comprensión aumenta cuando hay algo más en juego. Para las preocupaciones de seguridad nacional que se están estudiando en el Pacific Northwest National Laboratory (PNNL) no es suficiente saber que un sistema funciona; los científicos exigen saber cómo y por qué.

IA comprensible: un camino hacia entender qué son y cómo funcionan los sistemas

Esa es la base de un campo de estudio conocido como "IA comprensible". El objetivo es comprender y explicar el razonamiento del sistema: desenredar los hilos de información que utiliza un sistema de inteligencia artificial para tomar decisiones o hacer recomendaciones.

"En el espacio de la seguridad nacional, las decisiones las toman personas que exigen transparencia con las tecnologías con las que están trabajando", dijo Angie Sheffield, gerente senior de programas de la National Nuclear Security Administration  (NNSA por sus siglas en inglés) del Departamento de Energía de EUA.

Sheffield administra la cartera de ciencia de datos en la Oficina de Investigación y Desarrollo de No Proliferación Nuclear de Defensa de la NNSA, también conocida como Investigación y Desarrollo de DNN. La oficina supervisa y mejora la capacidad de la nación para detectar y monitorear la producción y el movimiento de material nuclear, el desarrollo de armas y las detonaciones nucleares en todo el mundo. La oficina apoya el trabajo de un equipo de científicos de PNNL que están explorando cómo hacer que la IA sea compresible desde todos los ángulos y formas.

La IA está en todas partes en estos días, desde el diseño de medicamentos hasta las compras en línea, los sistemas de reserva y las listas de verificación de riesgos para la salud. El ámbito de la seguridad nacional, con grandes desafíos de análisis de datos y potentes capacidades informáticas, no es una excepción. Hay mucho en juego cuando se trata de cuestiones de no proliferación nuclear, y saber exactamente cómo un sistema de inteligencia artificial llega a sus conclusiones es crucial.

"Puede ser difícil incorporar una tecnología nueva y disruptiva como la IA en los enfoques científicos actuales. Un enfoque es construir nuevas formas en que los humanos puedan trabajar de manera más eficaz con la IA", dijo Sheffield. "Debemos crear herramientas que ayuden a los desarrolladores a comprender cómo funcionan estas técnicas sofisticadas para que podamos aprovecharlas al máximo".

La escasez de datos hace que la IA compresible sea esencial

La técnica más común para entrenar un sistema de IA es presentarle una gran cantidad de datos. Cuando hay fotos casi ilimitadas de rostros disponibles, por ejemplo, un sistema aprende mucho sobre los matices que involucran ojos, narices y bocas para usar el reconocimiento facial para determinar si una mirada suya debería abrir su teléfono. El sistema de IA se basa en la disponibilidad y la entrada de una gran cantidad de datos para permitir que el sistema clasifique la información correctamente.

Pero, afortunadamente, los datos son mucho más escasos cuando se trata de explosiones nucleares o desarrollo de armas. Esa buena noticia complica el desafío de usar la inteligencia artificial en el espacio de la seguridad nacional, lo que hace que el entrenamiento de la inteligencia artificial sea menos confiable y amplifica la necesidad de comprender cada paso del proceso.

"Estamos trabajando para entender por qué los sistemas dan las respuestas que dan", dijo Mark Greaves, científico de PNNL involucrado en la investigación. "No podemos usar directamente las mismas tecnologías de inteligencia artificial que utiliza Amazon para decidir que estoy preparado para comprar una cortadora de césped, para decidir si una nación está preparada para crear un arma nuclear. Los datos disponibles de Amazon son enormes y una cortadora de césped equivocada la recomendación no es un gran problema.

"Pero si un sistema de inteligencia artificial arroja una probabilidad errónea sobre si una nación posee un arma nuclear, ese es un problema de una escala completamente diferente. Por lo tanto, nuestro sistema debe al menos producir explicaciones para que los humanos puedan verificar sus conclusiones y usar su propia experiencia para corregir para las brechas de entrenamiento de IA causadas por la escasez de datos ", agregó Greaves. "Estamos inspirados por los enormes avances que sigue haciendo la IA, y estamos trabajando para desarrollar técnicas de IA nuevas y especializadas que puedan dar a Estados Unidos una ventana adicional a la actividad de proliferación nuclear".

Una pizca de IA, una pizca de conocimiento del dominio.

Sheffield señala que las fortalezas de PNNL provienen de dos fuentes. Uno es la experiencia significativa en IA; Los científicos de PNNL son presentadores frecuentes en congresos en los que también participan investigadores de entidades como Google, Microsoft y Apple. Pero el otro es el conocimiento del dominio: detalles técnicos entendidos por el personal de la PNNL sobre cuestiones como cómo se procesa el plutonio, el tipo de señales exclusivas del desarrollo de armas nucleares y las proporciones de isótopos producidos por dichos materiales.

La combinación de ciencia de datos, inteligencia artificial y experiencia en seguridad nacional le da a PNNL un papel único en la protección de la nación en el espacio de seguridad nacional de IA. Está combinando el poder científico puro de la IA con la sensatez inteligente callejera de un detective nuclear.

"Se necesita un conjunto especial de conocimientos, habilidades y capacidad técnica para avanzar en el estado del arte en seguridad nacional", dijo Sheffield. "Las consecuencias de lo que hacemos son muy altas y debemos ir mucho más allá de la práctica estándar para ser responsables".

Fuente: https://www.pnnl.gov/news-media/explainable-ai-must-nuclear-nonproliferation-national-security