En mayo de 2010, provocado por una serie de escándalos de alto perfil, el alcalde de Nueva Orleans le pidió al Departamento de Justicia de los Estados Unidos que investigara al departamento de policía de la ciudad (NOPD). Diez meses después, el DOJ ofreció su análisis de ampollas: durante el período de su revisión desde 2005 en adelante, el NOPD había violado reiteradamente la ley constitucional y federal.
Usó fuerza excesiva y desproporcionadamente contra residentes negros; minorías raciales específicas, hablantes de inglés no nativos e individuos LGBTQ; y no logró abordar la violencia contra las mujeres. Los problemas, dijo El asistente del fiscal general Thomas Pérez en ese momento, era "serio, amplio, sistémico y profundamente arraigado dentro de la cultura del departamento".
A pesar de los inquietantes hallazgos, la ciudad entró en sociedad secreta solo un año después con la firma de minería de datos Palantir para implementar un sistema de vigilancia predictivo. El sistema utilizó datos históricos, incluidos registros de arrestos e informes policiales electrónicos, para pronosticar delitos y ayudar a dar forma a las estrategias de seguridad pública, según compañía y Gobierno de la Ciudad materiales En ningún momento esos materiales sugirieron ningún esfuerzo para limpiar o modificar los datos para abordar las violaciones reveladas por el Departamento de Justicia. Con toda probabilidad, los datos corruptos se introdujeron directamente en el sistema, reforzando las prácticas discriminatorias del departamento.
Los algoritmos de vigilancia predictivos se están convirtiendo en una práctica común en ciudades de los Estados Unidos. Aunque la falta de transparencia hace que las estadísticas exactas sean difíciles de precisar, PredPol, un proveedor líder, Se jacta que ayuda a "proteger" 1 en los estadounidenses 33. El software a menudo se promociona como una forma de ayudar a los departamentos de policía poco estirados a tomar decisiones más eficientes basadas en datos.
Pero una nueva investigación sugiere que no solo Nueva Orleans ha entrenado estos sistemas con "datos sucios". publicado hoy, que se publicará en NYU Law Review, los investigadores del AI Now Institute, un centro de investigación que estudia el impacto social de la inteligencia artificial, encontraron que el problema es omnipresente entre las jurisdicciones que estudió. Esto tiene implicaciones significativas para la eficacia de la vigilancia policial predictiva y otros algoritmos utilizados en el sistema de justicia penal.
"Su sistema es tan bueno como los datos que utiliza para entrenarlo", dice Kate Crawford, cofundadora y codirectora de AI Now y autora del estudio. “Si los datos en sí mismos son incorrectos, provocará que más recursos policiales se concentren en las mismas comunidades excesivamente vigiladas y a menudo racialmente atacadas. Entonces, lo que has hecho es en realidad un tipo de lavado tecnológico en el que las personas que usan estos sistemas suponen que de alguna manera son más neutrales u objetivos, pero en realidad han arraigado una forma de inconstitucionalidad o ilegalidad ".
Los investigadores examinaron las jurisdicciones de 13, enfocándose en aquellas que han utilizado sistemas de vigilancia predictivos y han sido objeto de una investigación encargada por el gobierno. El último requisito aseguraba que las prácticas policiales tuvieran documentación legalmente verificable. En nueve de las jurisdicciones, encontraron pruebas sólidas de que los sistemas habían sido entrenados en "datos sucios".
El problema no era solo datos sesgados por la focalización desproporcionada de las minorías, como en Nueva Orleans. En algunos casos, los departamentos de policía tenían una cultura de manipular o falsificar intencionalmente los datos bajo una intensa presión política para reducir las tasas oficiales de delincuencia. En Nueva York, por ejemplo, para desinflar artificialmente las estadísticas del crimen, los comandantes de los precintos regularmente les pedían a las víctimas en las escenas del crimen que no presentaran quejas. Algunos policías incluso plantaron drogas en personas inocentes para cumplir con sus cuotas de arrestos. En los sistemas de vigilancia predictivos modernos, que dependen del aprendizaje automático para pronosticar el delito, esos puntos de datos corruptos se convierten en predictores legítimos.
GIGO! Basura en; ¡La basura fuera!