Hacia una ética de los algoritmos: abriendo la “caja negra” de las tecnologías que nos rodean
Por Tomás Marín
Estamos frente a una persona que pareciera tener una inquietud, una ansiedad o una pregunta que no lo deja tranquilo. Imaginemos que piensa y piensa qué hacer con ella y que finalmente logra tomar una decisión. Esa decisión luego desembocará en una acción que inevitablemente tendrá un efecto sobre el mundo que le rodea y así, junto a una seguidilla de acciones consecutivas resultará que estaremos todos unidos por millones de voluntades que se van materializando a cada instante.
Desde esta perspectiva, la vida podría verse como una serie de secuencias vinculadas entre sí que van construyendo de manera continua nuestro espacio social y moldeando nuestras realidades individuales. ¿Pero porqué habría de interesarnos eso?
Estas secuencias nos interesan cuando queremos rastrear de dónde provienen aquellas acciones que nos afectan. Cuando queremos saber porqué algo pasó de cierto modo y quién puede haber sido el responsable o qué podría pasar en el futuro y que consecuencias podría tener. Estas relaciones están en todo lo que hacemos y pasan generalmente desapercibidas, ya que nadie pasa su tiempo pensando en ellas. Es algo desatendido que está sucediendo a cada instante y que damos por sentado, pero entender estas relaciones se hace particularmente importante cuando nos damos cuenta que esas decisiones y sus acciones pueden tener un efecto perjudicial para nosotros mismos u otras personas.
Por lo tanto esto es un tema de ética, que según Merrill consiste en “el estudio de lo que deberíamos hacer”. Cuando algo importante sucede por lo general queremos buscar responsables (sea por algo bueno o malo) y por lo tanto necesitamos saber de qué manera fue operando esta red de relaciones para poder rastrear las acciones hasta sus orígenes y así poder dilucidar si lo que se hizo fue lo que e debería haber hecho”. Esto aplica desde lo más básico ( como ¿quién dejó los platos sucios en la cocina?) hasta lo más complejo (como ¿quién habrá divulgado todas las contraseñas bancarias del BBVA?)
Esto se ha formalizado en la literatura académica con el término de “accountability”, que en una burda traducción significa el “dar cuenta” de algo. “Accountability” puede ser definida como la obligación que tienen los agentes de poder para dar cuenta y tomar responsabilidad de sus acciones a través de alguna forma que permita registrar y rastrear las secuencias que lleven a dicha acción.
Esto es lo que se exige cuando alguien pide “rendir cuentas”. Se exige que alguien o algo sea capaz de dar cuenta de todo lo que hizo. Dicho de manera simple, alguien que realiza una acción debería estar dispuesto a tomar responsabilidad de dicha acción, para lo cual el proceso de dicha acción debería estar abierto para que otras personas puedar dar cuenta de lo que se haya hecho y así juzgar o tomar medidas al respecto (en función de 3 grandes corrientes: deontológica / consecuencialista / de la virtud).
La necesaria accountability de las tecnologías
Pero, ¿es posible aplicar la accountability al mundo de las tecnologías? O en otras palabras, ¿es posible solicitarle a una tecnología comportamiento ético y responsable, o esto a únicamente posible con personas de carne y hueso?
Las acciones que se llevan a cabo en el mundo hoy en día están íntimamente vinculadas a una maraña de redes tecnologizadas que están cada vez más difusas y miniaturizadas, y por ende cada vez más difíciles de identificar y rastrear. En la era del Big Data y la dataficación todo se está moviendo a ritmos vertiginosos que a veces no somos capaces de imaginar ni mucho menos controlar bajo un debate racional. Hoy las decisiones están íntimamente imbricadas a las tecnologías que asisten – como prótesis- nuestra comprensión de lo que nos rodea.
Waze nos dice por donde irnos, Uber qué auto tomaremos, Hopper qué vuelo tomar, Tinder que cita acordar y así sucesivamente con muchas otras aplicaciones y programas que van entrelazando nuestras vidas con las nuevas tecnologías. Tecnologías que son muy difíciles de rastrear si uno no posee grandes habilidades informáticas que le permitan descifrar ese lenguaje binario que estuvo influyendo y configurando las decisiones de las personas.
Imaginen que un mall desarrolla un sistema de vigilancia que identifica automáticamente a las personas negras y les manda una alerta a los guardias para que lo tengan vigilado. ¿De qué manera está influyendo este programa en las decisiones de las personas? ¿Qué ética tiene ese sistema? ¿Debería ser así? Si no, ¿Cómo debería ser entonces?
Respecto a esto es posible escuchar predicciones apocalípticas de las tecnologías; que ya no se pueden controlar, que los algoritmos funcionan por cuenta propia, que tienen capacidad de agencia y no se pueden rastrear, que nuestras libertades serán lentamente arrasadas por el imperio de las tecnologías. ¡Y sí, podría pasar! Pero aún no. Aún estamos en el inicio de todo. Seguimos siendo nosotros, las personas, quienes utilizamos la tecnología. Y la única manera de poder orientar el desarrollo tecnológico en armonía con nuestras mentes y cuerpos es que la tecnología responda a lo que nosotros creemos que se debería hacer, es decir, hacer que los procesos de automatización y algoritmización se sometan al escrutinio y debate público. Dicho en otras palabras, en la medida que se extienden los sistemas tecnológicos en nuestra sociedad, más importante se torna interrogar los diseños, políticas, principios y valores que están tecnologías portan.
De aquí se desprende una preocupación teórico-metodológica central en la investigación que desarrollo en el marco de The Smart Citizen Proyect: esto es, tomar al diseñador y su contexto de trabajo como la unidad de análisis primordial, rastreando cómo la ética y principios surge a partir de valores y decisiones que se van tomando en el transcurso del proyecto. El estudio y análisis de las tecnologías debe partir desde la observación minuciosa de la visiones de mundo que estás inscriben y cristalizan, ya que desde aquí se desprenden los efectos y usos potenciales. Por ejemplo, para poder criticar el sistema de vigilancia automatizado se hace necesario indagar en los procesos de creación de dicho sistema antes de que se cristalicen, por lo general a través de metodologías etnográficas de los dispositivos socio-técnicos.
Cada que que utilizamos una tecnología nos estamos simultáneamente haciendo a nosotros mismos, configurando nuestra manera particular de relacionarnos con nuestro entorno. De ahí la importancia, entonces, de ahondar en una discusión ética sobre el diseño y efectos de las tecnologías en la conformación de nuestros entornos. Estas son parte de las inquietudes que, a través de diferentes líneas de investigación, estamos desarrollando en el marco de este Fondecyt sobre Smart Cities.