El 18 de marzo de 2018, una camioneta de Uber que circulaba en modo autónomo con una operadora como respaldo en el asiento del conductor embistió y quitó la vida a Elaine Herzberg en Tempe, Arizona. El vehículo impactó a la mujer de 49 años mientras ésta atravesaba empujando su bicicleta una carretera de cuatro carriles, fuera de los cruces peatonales. La señora Herzberg fue trasladada a un hospital, donde desafortunadamente falleció a causa de sus heridas y se convirtió así en la primera víctima fatal en la historia de un accidente con un vehículo autónomo.

El accidente tuvo una gran difusión mediática y generó cuestionamientos sobre la forma en que se prueban estas nuevas tecnologías, lo que ocasionó que Uber, al igual que otras empresas, suspendieran por unos meses sus pruebas de vehículos autónomos. Uber alcanzó rápidamente un acuerdo monetario con la familia de la víctima para evitar mayores problemas legales y la familia de la señora Herzberg demandó al condado de Tempe.  Durante una investigación del caso, el fiscal del condado de Yavapai, Arizona, declaró que no hay base para la responsabilidad penal de Uber.

Por ser de su competencia, la Junta Nacional de Seguridad en el Transporte del gobierno de los Estados Unidos (NTSB por sus siglas en inglés) llevó a cabo una investigación del accidente. Como parte de sus funciones, la NTSB investiga y determina la causa probable de accidentes de transporte aéreo, marítimo, férreo y carretero, así como de ductos. Para ello aplica una sólida metodología de investigación que, más que asignar responsabilidades, busca establecer las causas y factores contribuyentes del accidente para emitir recomendaciones que eviten su repetición.

El 19 de noviembre de 2019 la NTSB publicó el reporte de su investigación, el cual destaca aspectos relacionados con el accidente que deben llamar la atención de autoridades, empresas y público en general sobre los protocolos seguidos para el diseño, aprobación y ejecución de pruebas tendientes al despliegue de tecnologías de inteligencia artificial (IA) y aprendizaje de máquina (ML sus siglas en inglés). Esto es igualmente importante, tanto para el uso de IA en máquinas que actúan en el mundo físico, como para sistemas que toman decisiones de alto impacto.

La NTSB concluyó que la causa probable del accidente fue la falla de la operadora de respaldo del vehículo para monitorear el entorno de conducción y el funcionamiento del sistema de conducción automatizada. Debido a que estaba distraída con su teléfono celular, la operadora no tomó oportunamente el control del vehículo cuando los sistemas de IA de reconocimiento de imágenes y sensores fallaron en identificar al peatón. El fenómeno de exceso de confianza en los sistemas automatizados de vehículos, aún en los sistemas disponibles comercialmente, que son mucho menos avanzados, comienza a ser un tema de preocupación.

 El reporte señala cinco factores contribuyentes al accidente, los tres primeros atribuibles a una inadecuada cultura de seguridad en Uber Technologies: (1) procedimientos inadecuados de evaluación del riesgo de seguridad, (2) supervisión ineficaz de los operadores en los vehículos, (3) falta de mecanismos adecuados para atender la complacencia a la automatización por parte de los operadores, (4) el cruce de la Señora Herzberg fuera de un paso de peatones, y (5) insuficiente supervisión de las pruebas automatizadas de vehículos del Departamento de Transporte de Arizona.

Imagen con la posición de la Sra. Herzberg y el vehículo autónomo en los 5.6 segundos transcurridos entre la detección y el impacto (la velocidad del vehículo se indica en millas por hora). Fuente: Reporte de accidente NTSB

Los hallazgos de la NTSB revelan que algunas decisiones de diseño y ejecución de estas pruebas parecen haberse tomado sin procedimientos formales que garantizaran un nivel adecuado de seguridad. Así, el diseño del sistema impedía frenar en situaciones de emergencia solo cuando un choque era inevitable, se desactivaron los sistemas de alarma de impacto frontal y frenado de emergencia de fábrica, se eliminó el segundo conductor de respaldo, no se revisaba el apego de los operadores a los procedimientos y éstos no contemplaban medidas para asegurar la atención del operador.

El reporte reconoce que, tanto Uber Technologies como el Departamento de Transporte de Arizona, han tomado medidas para reforzar sus procedimientos y solventar los hallazgos. Sin embargo, el contenido del reporte ratifica la necesidad de contar con alguna regulación para vigilar que el diseño, prueba y despliegue de herramientas de IA y ML que puedan tener un impacto o daño significativo sobre las personas o sus bienes, cumplan ciertos estándares que aseguren la correcta evaluación y, sobre todo, la prevención de los riesgos.

En la medida en que aplicaciones más complejas transitan del laboratorio a la vida real, las empresas de tecnología necesitan ajustar sus prioridades, a fin desarrollar una cultura de prevención de riesgos adaptada a las condiciones que rigen la actividad en que serán aplicadas sus innovaciones, las cuales pueden ser muy diferentes a las que están acostumbradas. Este proceso no es sencillo, dadas las presiones internas y externas para lograr resultados, por lo que conviene tener reglas y estándares obligatorios que complementen las políticas internas, que muchas veces son vagas.

Por su naturaleza física son mucho más evidentes los riesgos y efectos de aplicaciones como los vehículos autónomos o cualquier otra máquina operada con IA, pero también la automatización de decisiones de alto impacto con herramientas de ML genera riesgos que deben ser prevenidos para evitar consecuencias no deseadas que reduzcan los beneficios de la tecnología o disminuyan la confianza en su utilización. En todos los casos, se trata de agentes inteligentes en los que se delegan decisiones para tomar acciones que impactan a las personas (lee nuestro artículo sobre el tema).

Como toda consecuencia fatal de un accidente, la muerte de Elaine Herzberg es una tragedia. Aún más porque, al igual que en la mayoría de los casos, las investigaciones concluyen que podía haberse evitado. Ojalá que la señora Herzberg pueda ser recordada no como la primera víctima fatal de un accidente con un vehículo autónomo, sino como el caso que llevó a fortalecer las medidas para garantizar la seguridad en la prueba y despliegue de los vehículos autónomos. Así lograríamos que su pérdida no haya sido en vano.

¿Qué opinas? Comparte tus comentarios abajo. ¿Te gustó este artículo? Lee otros artículos de nuestro blog IF Inteligencia Futura aquí.