La dependencia de Transport for London (TfL) de la información del sistema de identificación del conductor basado en la verificación facial de Uber está siendo objeto de un mayor escrutinio luego de múltiples casos de identificación errónea que llevaron a que los conductores sindicalizados perdieran sus licencias de alquiler privado.
Los conductores y su sindicato dicen que, a pesar de la veracidad cuestionable de la tecnología, TfL ha dependido demasiado de ella al tomar decisiones de revocación de licencias, lo que puede afectar gravemente los medios de vida de los conductores si no pueden operar legalmente su vehículo.
La aceptación incondicional de TfL de la evidencia proporcionada por el sistema de verificación basado en Microsoft de Uber ha dado lugar a que los conductores planteen numerosas impugnaciones legales que dicen que les han revocado injustamente sus licencias.
A principios de este mes (5 de julio de 2021), por ejemplo, un Tribunal de Magistrados ordenó a TfL que restableciera la licencia de un conductor de Uber, que descubrió que fue revocada sin previo aviso o apelación luego de una verificación de verificación facial fallida.
El Tribunal de Magistrados de la Ciudad de Londres determinó que TfL actuó directamente para revocar la licencia de alquiler privado del conductor por motivos de fraude de identidad y se basó únicamente en la evidencia del software de verificación facial de Uber sin realizar su propia investigación, como autoridad de licencias, sobre el incidente.
“El Tribunal señaló que en ningún momento había habido ningún riesgo para el público y que TfL había procedido directamente a la revocación, a pesar de que tenían otras sanciones disponibles”, escribió el abogado del conductor, Abbas Nawrozzadeh de Eldwick Law, en sus notas de la juicio.
“Se habían basado en las acciones de un organismo que estaba fuera de su poder de concesión de licencias y revocaron la licencia sin ninguna investigación sobre los hechos reales de ese día. El Tribunal describió la decisión como perversa e irrazonable, afirmando que, como organismo de concesión de licencias, TfL debería avergonzarse de llevar este caso a los tribunales, ya que representaba un despilfarro de fondos públicos ”.
Verificación facial
En declaraciones a Computer Weekly, Nawrozzadeh agregó que había estado “lidiando con una serie de estos casos” desde que Uber presentó su sistema de verificación facial Real-Time ID Check..
En el caso del 5 de julio, la identificación errónea se produjo mientras el conductor, un miembro de la App Drivers & Couriers Union (ADCU), trabajaba para Uber Eats, el brazo de entrega de alimentos de la aplicación de transporte. Sin embargo, el error resultó en la desactivación de las cuentas de Uber Eats y de los conductores por parte de la empresa.
Según las regulaciones de transporte de Londres, Uber está obligada a informar a TfL cuando un conductor es despedido a través de un formulario específico, que Computer Weekly entiende que debería desencadenar una “evaluación de aptitud” por parte del regulador para decidir si el conductor en cuestión debe continuar teniendo una licencia de alquiler privada.
Este proceso también implicaría normalmente que TfL notifique al conductor por escrito que ha recibido un informe adverso sobre él, para que tenga la oportunidad de responder y apelar, si TfL decide revocar su licencia.
Según el secretario general de la ADCU, James Farrar, los conductores normalmente pueden seguir trabajando mientras se apela una decisión, excepto en casos más graves en los que se percibe un riesgo de seguridad o fraude.
Cabe señalar que a la propia Uber se le permitió continuar operando mientras apelaba a su propia decisión de licencia desfavorable.
“Entonces pueden revocar de inmediato”, dijo a Computer Weekly. “Puede seguir apelando al Tribunal de Primera Instancia, pero mientras tanto no puede trabajar”.
Tras la identificación errónea del conductor por parte del sistema de verificación facial de Uber y la posterior desactivación de sus cuentas, TfL fue notificado e inmediatamente revocó su licencia, agregó Farrar. Este es un curso de acción que generalmente toma en respuesta a acusaciones graves, como violencia sexual o física.
Además, afirmó que la decisión de TfL se basó en muy pocos datos o en ninguno, y que el regulador solo le pidió a Uber que fundamentara la acusación cuando el conductor impugnó la decisión de TfL. “Incluso si se hubiera involucrado en algún tipo de fraude de identidad, que no [as the court decision found], solo lo habría hecho como conductor de reparto, pero TfL revocó el [private hire] licencia de todos modos ”, dijo. “No había duda de que hizo algo mal mientras actuaba como conductor con licencia”.
Computer Weekly le preguntó a Uber si le gustaría comentar por qué se desactivaron tanto las cuentas de Eats como las de los conductores, pero no recibió respuesta.
Como resultado de las conclusiones del tribunal, el conductor también recibió sus costos legales contra TfL, que Farrar describió como “extraordinarios”. “Por lo general, son inmunes a los reclamos de costos porque, si usted es una autoridad de licencias en interés de la seguridad pública, solo en circunstancias excepcionales se le otorgará un costo por una decisión de licencia adversa, incluso si se anula”, dijo. .
Al emitir una respuesta general a las preguntas de Computer Weekly, un portavoz de TfL dijo: “La seguridad del público que viaja es nuestra principal prioridad y cuando se nos notifica de casos de fraude de identidad de conductores, tomamos medidas inmediatas para revocar una licencia de conducir para que la seguridad de los pasajeros no está comprometido “.
También se le preguntó a Uber si le gustaría responder al fallo, pero Computer Weekly no recibió respuesta.
No es un incidente aislado
La difícil situación del conductor de ADCU de la que se enteró el Tribunal de Magistrados este mes está lejos de ser un incidente aislado, con respecto a los conductores de Uber que pierden sus licencias como resultado de errores de reconocimiento facial.
En marzo de 2021, la ADCU y su confianza de datos asociada, Workers Info Exchange (WIE), dijeron que habían identificado otros siete casos de conductores de Uber que perdieron sus trabajos y TfL les revocó sus licencias porque el sistema de verificación de identificación en tiempo real de la compañía falló. para reconocer sus rostros.
Por cierto, cuando se le pidió a TfL que comentara sobre el fallo de julio de 2021, hizo una solicitud fallida del nombre del conductor para corroborar que estaba comentando el caso correcto, lo que da alguna indicación sobre la cantidad de casos de esta naturaleza en los que está involucrado. .
La ADCU no quiso revelar el nombre del conductor a Computer Weekly debido a la preocupación de que pudieran enfrentar repercusiones de TfL.
En cuanto a por qué la herramienta de verificación facial de Uber puede considerarse propensa a errores, la investigación de los sistemas de Microsoft, así como las acciones de la propia Microsoft, sugieren que existe un sesgo contra grupos particulares, en particular las personas de color y las mujeres.
En 2018, una investigación del MIT indicó que los sistemas de detección y reconocimiento facial de Microsoft, específicamente la API Face utilizada por Uber, tenían prejuicios raciales y de género, y encontraron que tenían tasas de error mucho más altas al identificar mujeres o personas con piel más oscura.
“Las disparidades sustanciales en la precisión de la clasificación de hembras más oscuras, hembras más claras, machos más oscuros y machos más claros en los sistemas de clasificación de género requieren atención urgente si las empresas comerciales quieren construir algoritmos de análisis facial genuinamente justos, transparentes y responsables”, dijeron los autores Joy Buolamwini y Timnit. Gebru.
Ventas suspendidas
En junio de 2020, Microsoft, junto con Amazon e IBM, suspendió las ventas de sus tecnologías de reconocimiento facial a las fuerzas del orden de EE. UU. En respuesta a varias semanas de protestas masivas contra el asesinato policial de George Floyd el 25 de mayo.
El presidente de Microsoft, Brad Smith, le dijo a ITV en enero de 2019 que uno de los desafíos con la tecnología en su forma actual era que “no funciona tan bien para las mujeres como para los hombres, no funciona tan bien para las personas de color ”, agregando que era más probable encontrar errores, discrepancias y, en general,“ no identificar ”a las personas de estos grupos.
Al comentar sobre las acusaciones del sindicato sobre el sistema de verificación de identificación en tiempo real de Uber cuando se hicieron por primera vez en marzo, un portavoz de Microsoft dijo que la compañía estaba “comprometida con probar y mejorar Face API, prestando especial atención a la imparcialidad y precisión en todos los grupos demográficos”.
“También proporcionamos a nuestros clientes una guía detallada para obtener los mejores resultados y herramientas que les ayudan a evaluar la equidad en su sistema”.
Un portavoz de Uber agregó que el sistema fue diseñado para proteger la seguridad de los pasajeros al garantizar que el conductor o mensajero correcto esté usando la cuenta.
“Si bien ninguna tecnología o proceso es perfecto y siempre hay margen de mejora, creemos que la tecnología, combinada con el proceso minucioso implementado para garantizar un mínimo de dos revisiones humanas manuales antes de cualquier decisión de eliminar un controlador, es justa e importante. por la seguridad de nuestra plataforma ”, dijeron.
En una carta de abril de 2021 enviada directamente a la ADCU, que también se ha compartido con Computer Weekly, Microsoft le dijo al sindicato que “los errores en el proceso de revisión humana asociados con la implementación de Uber de nuestra tecnología de reconocimiento facial no proporcionan una base para que Microsoft cancele su licencia para usar la tecnología, especialmente cuando Uber ha reconocido el fracaso y está comprometida con la mejora ”.
Como parte de una investigación para Wired desde principios de marzo de 2021, otros 14 mensajeros de Uber Eats compartieron pruebas con el periodista Andrew Kersley que mostraban cómo la tecnología no reconocía sus rostros, lo que generó amenazas de rescisión y cierre de la cuenta.
En cuanto al impacto en los conductores, Farrar dijo que “han tenido que recurrir al Crédito Universal o han intentado encontrar algún medio de trabajo alternativo y no han podido conseguirlo; ha tenido un efecto devastador y mucho de estos muchachos son también el principal sostén de sus familias ”.
Computer Weekly le preguntó a Uber si le gustaría comentar sobre la afirmación de que su software de verificación facial ha llevado a la desactivación indebida de varias cuentas de conductores, pero no recibió respuesta.
Conductor despedido por otros procesos automatizados
La ADCU también está apelando una serie de otras decisiones de revocación de licencias de TfL en el Tribunal de Magistrados, que también se basan en información errónea que dio lugar a acusaciones de fraude por parte de Uber.
En abril de 2021, por ejemplo, el tribunal de distrito de Ámsterdam (donde se encuentra la sede europea de Uber) ordenó a Uber en una sentencia en rebeldía que reinstalara a seis conductores porque la decisión de desactivar sus cuentas y rescindir su empleo se basó únicamente en el procesamiento automatizado. , incluida la elaboración de perfiles ”, que contraviene el artículo 22 del Reglamento general de protección de datos (RGPD).
El conductor con sede en Londres Abdifatah Abdalla, por ejemplo, afirmó que fue acusado, sin proporcionar pruebas, de compartir los detalles de su cuenta con un tercero cuando la aplicación detectó dos intentos de inicio de sesión desde diferentes ubicaciones que resultaron en su desactivación.
Su licencia de alquiler privado fue revocada por TfL un mes después, dejándolo incapaz de conducir para aplicaciones alternativas de transporte privado como Kapten y Bolt.
En el mismo mes, el Tribunal de Magistrados de la ciudad de Londres ordenó por separado a TfL restablecer la licencia de alquiler privado de Abdalla, concluyendo que “no se ha llevado a cabo ninguna investigación”, y criticó además la “voluntad de aceptar” del regulador las pruebas proporcionadas por Uber.
Apelaciones
Todos los conductores involucrados en el caso de Ámsterdam ahora tienen que apelar por separado las decisiones de licencia de TfL en el tribunal de primera instancia del Reino Unido, ya que la revocación inmediata de una licencia significa que no se puede apelar a nivel de TfL, dijo Farrar.
“Tan pronto como TfL recibió estos avisos de despido [from Uber], tomó una opinión muy dura de que se trataba de amenazas a la seguridad e inmediatamente revocó esas licencias ”, dijo Farrar. “Normalmente, la revocación inmediata sería por algo como violencia física o sexual, pero en estos casos TfL dijo que fueron inmediatos y esos conductores y sin aviso – solo ‘boom’, kafkiano, estás desactivado de Uber y has perdido tu licencia.
“Nosotros [now] tener que dar la vuelta por separado y luchar por la restauración de las licencias … apelar a los magistrados para que revisen las decisiones de TfL, pero para hacerlo, el listón es bastante alto porque tienes que demostrar que la decisión es incorrecta … no es solo acerca de presentar una vista alternativa, debe alcanzar un estándar “.
Computer Weekly le preguntó a TfL si le gustaría comentar sobre el hecho de que múltiples fallos de magistrados han encontrado que se basó únicamente en evidencia de Uber sin realizar su propia investigación como autoridad otorgante de licencias sobre los eventos reales, pero no recibió respuesta sobre este punto.
Implementación apresurada de verificación facial
La ADCU ha afirmado anteriormente, y sostiene, que Uber se apresuró a implementar su sistema de identificación en un intento por recuperar su licencia de operación en Londres después de que TfL decidiera a fines de 2019 que no se renovaría por problemas con conductores no autorizados que usan la plataforma.
Evidencia entregada a TfL por Uber durante su licenciamiento …