¿Puedes confiar en la IA? ¿Debería aceptar sus conclusiones como objetivamente válidas sin dudas? El problema es que incluso cuestionar la IA en sí no daría respuestas claras.
Los sistemas de IA generalmente han operado como una caja negra: los datos son de entrada y los datos de salida, pero los procesos que transforman esos datos son un misterio. Eso crea un doble problema. Una es que no está claro qué rendimiento de los algoritmos es más confiable. La otra es que los resultados aparentemente objetivos pueden verse sesgados por los valores y sesgos de los humanos que programan los sistemas. Esta es la razón por la cual existe una necesidad de transparencia para los procesos de pensamiento virtual que tales sistemas usan, o "IA explicable".
El imperativo ético se ha convertido en legal para cualquier persona sujeta al RGPD, lo que afecta no solo a las empresas con sede en la UE, sino a las que tienen relaciones con personas u organizaciones allí. Contiene una serie de disposiciones sobre protección de datos que se extienden a los ciudadanos de la UE "el derecho a no estar sujeto únicamente a la toma de decisiones automatizada, excepto en ciertas situaciones" y "el derecho a recibir información significativa sobre la lógica involucrada en la decisión . "
