Los algoritmos pueden mentir y engañar, pero ¿pueden detenerse?

Los algoritmos pueden determinar si obtiene una hipoteca o cuánto paga por el seguro. Pero a veces están equivocados, y a veces están diseñados para engañar.

Muchos algoritmos salen mal involuntariamente. Algunos de ellos, sin embargo, están hechos para ser criminales. Los algoritmos son reglas formales, generalmente escritas en código de computadora, que hacen predicciones sobre eventos futuros basados ​​en patrones históricos. Para entrenar un algoritmo, debe proporcionar datos históricos, así como una definición de éxito.

Hemos visto que las finanzas se han apoderado de algoritmos en las últimas décadas. Los algoritmos de negociación utilizan datos históricos para predecir movimientos en el mercado. El éxito de ese algoritmo es un movimiento predecible del mercado, y el algoritmo está atento a los patrones que históricamente ocurrieron justo antes de ese movimiento. Los modelos de riesgo financiero también utilizan los cambios históricos del mercado para predecir eventos cataclísmicos en un sentido más global, por lo tanto, no para una acción individual sino para todo un mercado. El modelo de riesgo para los valores respaldados por hipotecas era famoso, intencionalmente malo, y se puede culpar a la confianza en esos modelos Gran parte de la escala y los daños posteriores causados ​​por la crisis financiera de 2008.

Desde 2008, hemos escuchado menos de los algoritmos en finanzas y mucho más de los algoritmos de big data. El objetivo de esta nueva generación de algoritmos se ha desplazado de los mercados abstractos a los individuos. Pero la funcionalidad subyacente es la misma: recopile datos históricos sobre las personas, perfile su comportamiento en línea, ubicación o respuestas a cuestionarios, y use ese conjunto de datos masivo para predecir sus compras futuras, comportamiento de votación o ética laboral.

La proliferación reciente en los modelos de big data ha pasado desapercibida para la persona promedio, pero es seguro decir que los momentos más importantes donde las personas interactúan con grandes sistemas burocráticos ahora involucran un algoritmo en forma de un sistema de puntuación. Entrar a la universidad, conseguir un trabajo, ser evaluado como trabajador, obtener una tarjeta de crédito o un seguro, votar y incluso vigilancia en muchos casos se hacen algorítmicamente. Además, la tecnología introducida en estas decisiones sistemáticas es en gran medida opaca, incluso para sus creadores, y hasta ahora ha escapado en gran medida de una regulación significativa, incluso cuando falla. Eso hace que la cuestión de cuál de estos algoritmos esté trabajando en nuestro nombre sea aún más importante y urgente.

Tengo una jerarquía de cuatro capas cuando se trata de algoritmos incorrectos. En la parte superior están los problemas no intencionales que reflejan prejuicios culturales. Por ejemplo, cuando la profesora de Harvard Latanya Sweeney descubrió que Google busca nombres percibidos como negros anuncios generados asociados con actividades delictivas, podemos suponer que no hubo ningún ingeniero de Google escribiendo código racista. De hecho, los anuncios fueron entrenados para ser malos por los usuarios anteriores de la búsqueda de Google, que tenían más probabilidades de hacer clic en un anuncio de antecedentes penales cuando buscaban un nombre que sonara negro. Otro ejemplo: el Resultado de búsqueda de imágenes de Google para "cabello no profesional", que devolvió casi exclusivamente mujeres negras, recibe capacitación similar de las personas que publican o hacen clic en los resultados de búsqueda a lo largo del tiempo.

Lea la historia completa aquí ...