La paradoja de la transparencia de IA

En los últimos años, académicos y profesionales por igual han pedido una mayor transparencia en el funcionamiento interno de los modelos de inteligencia artificial, y por muchas buenas razones. La transparencia puede ayudar a mitigar las cuestiones de equidad, discriminación y confianza, todas las cuales han recibido mayor atención. Al mismo tiempo, sin embargo, está cada vez más claro que las revelaciones sobre IA plantean sus propios riesgos: las explicaciones pueden ser pirateadas, la publicación de información adicional puede hacer que la IA sea más vulnerable a los ataques, y las revelaciones pueden hacer que las empresas sean más susceptibles a demandas o medidas regulatorias. Llámalo «paradoja de la transparencia» de la IA: si bien generar más información sobre la IA podría generar beneficios reales, también puede conducir a nuevas desventajas. Para navegar por esta paradoja, las organizaciones tendrán que pensar cuidadosamente acerca de cómo están administrando los riesgos de la IA, la información que están generando sobre estos riesgos y cómo se comparte y protege esa información.
La paradoja de la transparencia de IA
Jorg Greuel/Getty Images

En los últimos años, académicos y profesionales por igual han pedido una mayor transparencia en el funcionamiento interno de los modelos de inteligencia artificial, y por muchas buenas razones. La transparencia puede ayudar a mitigar las cuestiones de equidad, discriminación y confianza, todas las cuales han recibido mayor atención. El nuevo negocio de tarjetas de crédito de Apple ha sido acusado de modelos de préstamos sexistas, por ejemplo, mientras que Amazon desechado una herramienta de inteligencia artificial para contratar después de descubrir que discriminaba a las mujeres.

Al mismo tiempo, sin embargo, está cada vez más claro que las revelaciones sobre IA plantean sus propios riesgos: las explicaciones pueden ser pirateadas, la publicación de información adicional puede hacer que la IA sea más vulnerable a los ataques, y las revelaciones pueden hacer que las empresas sean más susceptibles a demandas o medidas regulatorias.

Llámalo «paradoja de la transparencia» de la IA: si bien generar más información sobre la IA puede generar beneficios reales, también puede crear nuevos riesgos. Para navegar por esta paradoja, las organizaciones tendrán que pensar cuidadosamente acerca de cómo están administrando los riesgos de la IA, la información que están generando sobre estos riesgos y cómo se comparte y protege esa información.

Algunos estudios recientes ilustran estas tendencias. Comencemos con un documento de investigación por académicos de Harvard y la Universidad de California, Irvine publicó el mes pasado. El artículo se centró en cómo las variantes de LIME y SHAP, dos técnicas populares utilizadas para explicar los llamados algoritmos de caja negra, podrían ser pirateadas.

Para ilustrar el poder de LIME, el documento de 2016 anunciando la herramienta explicó cómo un clasificador de imágenes por lo demás incomprensible reconocía diferentes objetos en una imagen: una guitarra acústica fue identificada por el puente y partes del diapasón, mientras que un Labrador Retriever fue identificado por rasgos faciales específicos en el lado derecho de la cara del perro.

LIME, y el movimiento explicable de IA más ampliamente, han sido elogiados como avances capaces de hacer algoritmos opacos más transparentes. De hecho, el beneficio de explicar la IA ha sido un precepto ampliamente aceptado, promocionado por académicos y tecnólogos, incluyendo me.

Pero el potencial de nuevos ataques en LIME y SHAP pone de relieve una desventaja pasada por alto. Como ilustra el estudio, las explicaciones pueden ser manipuladas intencionalmente, lo que lleva a una pérdida de confianza no sólo en el modelo sino también en sus explicaciones.

Y no es solo esta investigación la que demuestra los peligros potenciales de la transparencia en la IA. A principios de este año, Reza Shokri y sus colegas ilustrado cómo exponer información sobre algoritmos de aprendizaje automático puede hacerlos más vulnerables a los ataques. Mientras tanto, los investigadores de la Universidad de California, Berkeley, han demostrado que algoritmos enteros pueden ser robados basado simplemente en sus explicaciones solamente.

A medida que los investigadores de seguridad y privacidad enfocan más energía en la IA, estos estudios, junto con un anfitrión de otros, todos sugieren la misma conclusión: cuanto más revelen los creadores de un modelo sobre el algoritmo, más daño puede causar un actor malicioso. Esto significa que liberar información sobre el funcionamiento interno de un modelo en realidad puede disminuir su seguridad o exponer a una empresa a una mayor responsabilidad. Todos los datos, en resumen, acarrean riesgos.

¿Las buenas noticias? Las organizaciones han enfrentado durante mucho tiempo la paradoja de la transparencia en los ámbitos de la privacidad, la seguridad y en otros lugares. Solo necesitan actualizar sus métodos para IA.

Para empezar, las empresas que intentan utilizar la inteligencia artificial necesitan reconocer que hay costos asociados con la transparencia. Esto no es, por supuesto, para sugerir que no vale la pena lograr la transparencia, simplemente que también plantea desventajas que hay que comprender plenamente. Estos costos deben incorporarse en un modelo de riesgo más amplio que regule la forma de relacionarse con modelos explicables y la medida en que la información sobre el modelo está disponible para otros.

En segundo lugar, las organizaciones también deben reconocer que la seguridad se está convirtiendo en una preocupación cada vez mayor en el mundo de la IA. A medida que la IA se adopta más ampliamente, seguramente se descubrirán más vulnerabilidades de seguridad y errores, como mis colegas y yo en el Foro Futuro de la Privacidad argumentado recientemente. De hecho, la seguridad puede ser uno de los mayores obstáculos a largo plazo para la adopción de la IA.

Por último, la importancia de colaborar con los abogados lo antes posible y con la mayor frecuencia posible al crear e implementar IA. La participación de los departamentos jurídicos puede facilitar un entorno abierto y legalmente privilegiado, lo que permite a las empresas investigar a fondo sus modelos para cada vulnerabilidad imaginable sin crear responsabilidades adicionales.

De hecho, esta es exactamente la razón por la que los abogados operan bajo un privilegio legal, lo que da a la información que reúnen un estatus protegido, incentivando a los clientes a comprender plenamente sus riesgos en lugar de ocultar cualquier posible error. En la ciberseguridad, por ejemplo, los abogados se han involucrado tanto que es común que los departamentos legales gestionen evaluaciones de riesgos e incluso actividades de respuesta a incidentes después de una violación. El mismo enfoque debería aplicarse a la IA.

En el mundo del análisis de datos, con frecuencia se supone que más datos son mejores. Pero en la gestión de riesgos, los datos en sí son a menudo una fuente de responsabilidad. Eso está empezando a ser cierto para la inteligencia artificial también.


Andrew Burt
Via HBR.org

Related Posts
«Trato de generar nuevas ideas»

«Trato de generar nuevas ideas»

Christine Lagarde se hizo cargo de Director General del Fondo Monetario Internacional Demoralizado en 2011, lo que sucedió en el escándalo, Dominique Strauss-Kahn. Un prominente político francés que una vez dirigió la ley internacional gigante Baker & McKenzie, Lagarde, de 57 años, ha tratado de cambiar la cultura del FMI, al tiempo que se enfrenta a la crisis de la deuda europea y un [...] lento [...]
Leer más
Por qué no obtendrás innovación revolucionaria siendo amable

Por qué no obtendrás innovación revolucionaria siendo amable

Si desea crear una innovación realmente transformacional, será mejor que esté en una organización diseñada para apoyar, no solo tolerarse, alguien tan desafiante como Steve Jobs. De lo contrario, olvídalo. "No, Simon," Sé que muchos de ustedes están pensando ", no es así como funciona en estos días: la innovación se trata de estructuras planas, empatía, co-creación ..." [...]
Leer más

4 maneras de obtener comentarios honestos y críticos de sus empleados

Es importante como líder entender cómo es percibido por aquellos que administra, pero desafortunadamente demasiados gerentes no son conscientes de sí mismos. Es posible que sientas que estás recibiendo los comentarios que necesitas de un 360 formal, pero eso rara vez no es suficiente. En su lugar, asegúrese de pedir directamente información sobre su liderazgo y animar a las personas de su equipo a plantear preocupaciones, incluso si contradicen sus posiciones. Aprende a leer señales no verbales. Pueden proporcionar un flujo constante de comentarios útiles sobre cómo se reciben tus palabras y acciones, incluso si las personas no están dispuestas a decirte lo que piensan. Esté atento a las narrativas autojustificantes o autotranquilizantes que podría contarse a sí mismo, como «Ellos entienden que a veces te impacientes, pero saben que es porque realmente te importa». Por último, asegúrese de conocer sus desencadenantes. Tal vez reaccionas defensivamente cuando te enfrentas a errores o te conviertes en sarcástico o pasivo-agresivo cuando no te sale a tu manera. Hazle saber a la gente que eres consciente de estas debilidades y pídele que te llamen cuando te involuccas en un mal comportamiento.

Leer más

Newsletter

Avanza tu carrera profesional, con el resumen semanal de las publicaciones, un libro de negocio resumido en 10 minutos y entrevistas con líderes de negocio