Cuando buscas en línea un nuevo par de zapatos, eliges una película para transmitir en Netflix o solicitas un préstamo para un automóvil, es probable que un algoritmo tenga su palabra sobre el resultado.
Las complejas fórmulas matemáticas están desempeñando un papel cada vez más importante en todos los ámbitos de la vida: desde la detección de cánceres de piel hasta la sugerencia de nuevos amigos en Facebook, la decisión de quién consigue un trabajo, cómo se despliegan los recursos policiales, quién obtiene un seguro a qué costo o quién está en un " lista de no volar ”.
Los algoritmos se están utilizando, de forma experimental, para escribir artículos de noticias a partir de datos sin procesar, mientras que la campaña presidencial de Donald Trump fue ayudada por los especialistas en marketing conductual que utilizaron un algoritmo para localizar las concentraciones más altas de "votantes persuadibles".
Pero si bien estas herramientas automatizadas pueden inyectar una medida de objetividad en decisiones que antes eran subjetivas, aumentan los temores sobre la falta de transparencia que pueden implicar los algoritmos, con una presión creciente para aplicar estándares de ética o "responsabilidad".
La científica de datos Cathy O'Neil advierte sobre las fórmulas de "confianza ciega" para determinar un resultado justo.
“Los algoritmos no son inherentemente justos, porque la persona que crea el modelo define el éxito”, dijo.
Desventajas amplificadoras
O'Neil sostiene que si bien algunos algoritmos pueden ser útiles, otros pueden ser nefastos. En su libro de 2016, "Armas de destrucción matemática", cita algunos ejemplos preocupantes en los Estados Unidos:
- Las escuelas públicas en Washington DC en 2010 despidieron a más de 200 maestros, incluidos varios instructores muy respetados, según los puntajes de una fórmula algorítmica que evaluaba el desempeño.
- Un hombre diagnosticado con trastorno bipolar fue rechazado para trabajar en siete minoristas importantes después de que una prueba de "personalidad" de un tercero lo considerara de alto riesgo según su clasificación algorítmica.
- Muchas jurisdicciones están utilizando la "vigilancia policial predictiva" para trasladar recursos a los posibles "puntos calientes". O'Neill dice que, dependiendo de cómo se introduzcan los datos en el sistema, esto podría conducir al descubrimiento de más delitos menores y un "circuito de retroalimentación" que estigmatiza a las comunidades pobres.
- Algunos tribunales se basan en fórmulas clasificadas por computadora para determinar las sentencias de cárcel y la libertad condicional, que pueden discriminar a las minorías al tener en cuenta factores de "riesgo", como sus vecindarios y los vínculos de amigos o familiares con el crimen.
- En el mundo de las finanzas, los corredores “extraen” datos de fuentes en línea y de otras fuentes de nuevas formas para tomar decisiones sobre crédito o seguros. Esto con demasiada frecuencia amplifica el prejuicio contra los desfavorecidos, argumenta O'Neil.
Sus hallazgos se hicieron eco en un informe de la Casa Blanca el año pasado que advirtió que los sistemas algorítmicos "no son infalibles, se basan en las entradas imperfectas, la lógica, la probabilidad y las personas que los diseñan".
El informe señaló que los sistemas de datos pueden ayudar idealmente a eliminar el sesgo humano, pero advirtió contra los algoritmos que "perjudican sistemáticamente a ciertos grupos".