Diez de la noche de domingo. Un vehículo autónomo circula sobre una avenida despejada. En el asiento del piloto va una persona, sin manejar, solo para monitorear el comportamiento del sistema. Repentinamente, una mujer atraviesa la cinta asfáltica. El auto la atropella. Poco después, la mujer muere en el hospital.

     Se trata de un escenario de la vida real. Ocurrió el domingo 18 de marzo de 2018 a las 21:58 horas sobre la Avenida Mill del poblado de Tempe, Arizona, a 16 kilómetros de Phoenix. Elaine Herzberg fue atropellada y muerta por un vehículo autónomo. Elaine, tenía 49 años y caminaba al lado de su bicicleta, era de noche y no vio que se acercaba la camioneta Volvo X90, Modelo 2017 modificada de la empresa Uber Tecnology Inc., la cual estaba en la etapa experimental de sus taxis robots. En el asiento del conductor, Rafaela Vásquez, de 44 años, empleada de Uber, no llevaba pasajeros, pero iba viendo hacia abajo a la pantalla del sistema, o tal vez a su celular y cuando levantó la mirada, fue demasiado tarde. El peatón fue atropellado. A pesar de los esfuerzos en el hospital, Elaine murió a consecuencia de sus heridas (Wakabayashi & Griggs, 2018).

      El caso, identificado con la clave HWY18MH010 por la Junta Nacional de Seguridad del Transporte de los Estados Unidos (NTSB por sus siglas en inglés), presentó las siguientes variables: Elaine Herzberg cruzó en un sitio en que los conductores no esperan encontrar a una persona; Rafaela Vásquez no tenía puesta su mirada en el frente, tampoco sus manos en el volante, ni sus pies en los pedales. Hubo al menos dos versiones sobre las causas del accidente y la seguridad del vehículo autónomo: la primera versión es que el software de la camioneta Volvo X90 podría haber fallado; la segunda, que estaba (humanamente) mal configurado, sin la opción de “alerta temprana” (NTSB, 2018).

     Si bien la NTSB (2018) advierte en su comunicado preliminar que aún no es posible determinar las causas del accidente, la dependencia aportó valiosa información sobre lo ocurrido y explica que el vehículo utilitario contaba con un sistema de navegación autónomo, pero en el momento del accidente, estaba operado por un sistema de control por computadora adaptado por Uber, cuya filial es Advanced Technologies Group. El sistema está compuesto por cámaras de video, radares, Lidar (Light Detection and Ranging), que es un dispositivo que cartografía el panorama a través de imágenes creadas por un láser pulsado que va y viene generando la recreación virtual, sin importar las condiciones atmosféricas o climáticas, trabaja al igual que un radar, pero en lugar de usar ondas de radio utiliza halos de luz infrarroja. El sistema de Uber también cuenta con sensores de navegación, computadora y unidad de almacenamiento.

     El sistema de navegación tiene un modo automático de control por computadora, que puede ser desactivado por un botón o al tomar el conductor el control del volante o de los pedales del vehículo. Volvo Cars, por su parte, ha equipado a sus vehículos con un sistema nativo de funciones de ayuda y asistencia en la conducción. En 2015 obtuvo el Modelo XC90 una calificación de 25.9 puntos (72 %) de seguridad para los peatones, dichos datos de acuerdo a lo publicado por Euro NCAP (2016). Volvo entonces añadió una función de prevención de choques, con un frenado de emergencia automático que monitorea al conductor y a su entorno. Esta función está presente, excepto que sea desactivada al ser conducido por el sistema de control por computadora, no así cuando el conductor está al mando.

     Un dato adicional relevante dado a conocer por la NTSB (2018) es que el sistema Lidar del Volvo X90 se percató de que algo se acercaba al trayecto de su curso seis segundos antes de que el utilitario impactara, incluso detectó la bicicleta un segundo antes del atropellamiento, y el sistema había decidido que debía frenar de emergencia, pero no lo hizo: ¿Por qué...? Porque el sistema de frenado de emergencia está deshabilitado cuando opera el control por computadora. Los ingenieros de Uber Technology confiaron en que, en ese caso, la persona en el volante estaría ahí para frenar inmediatamente y, evitar así, los llamados “falsos positivos”, que consisten en que el auto se detenga abruptamente, por ejemplo, por una bolsa de plástico volando (NTSB, 2018).

 

LOS FACTORES QUE SE ENTRELAZAN EN EL ACCIDENTE:

 

· Elaine Herzberg: Había cruzado Mill Avenue en sentido opuesto y estaba a 110 metros de la esquina con Curry Road, en donde había un semáforo en funcionamiento. Tenía puesta ropa obscura. No volteó hacia el flujo vehicular sino hasta que tenía el auto prácticamente encima y, para colmo, los análisis toxicológicos resultaron positivos en marihuana y metanfetamina. La bicicleta no tenía luces, ni señales luminosas reflejantes (NTSB, 2018). Por todo lo anterior, según relató el artículo de Grossman (2018), el esposo y la hija de Herzberg llegaron a un rápido acuerdo con Uber, cuyo CEO es Dara Khosrowshahi. Sin embargo, posteriormente, familiares de Elaine demandaron al Estado de Arizona, específicamente a la administración del gobernador Ducey por haber permitido las pruebas, lo que para la familia y sus abogados sería la causa de fondo del accidente (Gidman, 2019) (Randazzo & Pineda, 2019).

· Rafaela Vásquez: El conductor de emergencia de Uber no tenía su atención en lo que ocurría frente al vehículo, sus manos no estaban en el volante, ni su pie en el pedal de freno con lo que se hubiese desactivado el modo por computadora, tal como puede observarse en el video divulgado por la Policía de Tempe (2018). A la velocidad que circulaba la camioneta Volvo se requieren, por lo menos, siete décimas de segundo o un segundo para reaccionar, lo que equivale a haber recorrido una distancia de entre 13 y 17 metros antes de pisar el freno; en cuanto pisó el freno, la distancia que el vehículo necesitó para detenerse fue de 20 metros aproximadamente (Nacto, 2019). Así que aun cuando Rafaela hubiera ido al mando, necesitaba por lo menos 30 metros para frenar desde que se percatara de que alguien cruzaba la avenida en un momento inesperado. Ella está libre.

· Uber Advanced Technologies Group: Uber había buscado las ciudades en donde las restricciones a la vialidad de vehículos autónomos fueran más laxas. Se encontraba en la fase de prueba en Pittsburgh, San Francisco y Toronto, además de Tempe. Después del accidente, Uber perdió la licencia para operar en Arizona, lo que significó el despido de más de 300 choferes que no tenían ninguna responsabilidad en el incidente (BBC, 2018). Uber, para disminuir sus costos operativos, había eliminado un segundo operador en el asiento delantero de copiloto, el cual tenía como función monitorear lo que ocurra dentro y fuera del vehículo. De hecho, meses después del accidente, volvieron a las calles en Pittsburgh (Korosec, 2018) pero con nuevas medidas de seguridad (Korosec, 2018b).

· Doug Ducey: El gobernador de Arizona, Douglas Anthony Ducey había quitado las restricciones legales mediante la Orden Ejecutiva 2015-09: “Self-Driving Vehicle Testing and Piloting in the State of Arizona; Self-Driving Vehicle Oversight Committee” [Prueba y operación de vehículos autoconducidos en el estado de Arizona; Comité de supervisión de vehículos autoconducidos] (Douglas, 2015) para que pudieran circular libremente en la fase experimental en su jurisdicción.

     Hasta aquí el análisis del caso Uber-Herzberg.

 

DISCUSIÓN

 

¿Cuál debe o debería ser la moral de los algoritmos aplicados a los automóviles sin conducción humana en el proceso de toma de decisiones?, ¿Debe el programador poner como prioridad la seguridad de los pasajeros o la seguridad del resto de peatones, ciclistas y otros conductores? Y, lo más difícil, ¿Cómo adivinar el comportamiento errático de las personas en las calles?

     Permítaseme hacer el siguiente símil sobre un algoritmo desarrollado en los años noventa por IBM llamado MiniMax y utilizado en la computadora Deep Blue para jugar ajedrez (Hsu, 1999). Los jugadores que fueron derrotados estaban convencidos de que podrían ganarle a la Inteligencia Artificial (IA) porque la máquina carecía de sentido común, intuiciones, por llamarlas de alguna manera. Deep Blue no podía usar su criterio, simplemente porque no lo tenía (Latson, 2015). Kasparov arguyó que perdió porque hubo intervención humana. Años después él mismo reconoció que no hubo trampa (Silver, 2014).

     Hasta ahora se pensaba que las máquinas no podrían improvisar por sí mismas, pero eso está cambiando gracias a los llamados sistemas de aprendizaje automático, capaces de aprender de sus propios errores y autogenerar nuevo conocimiento. La IA ha llegado hoy a límites insospechados para superar cualquier historia de ciencia ficción. La empresa DeepMind fue creada en 2010 y adquirida por Google en 2014 para el desarrollo de IA profunda. Uno de sus proyectos es AlphaZero, capaz de aprender por sí mismo y derrotar, sin compasión, a cualquier humano o máquina del pasado como Stockfish en ajedrez, o en el juego japonés Shogi o en el chino Go. El 6 de diciembre de 2017, AlphaZero logró auto-aprender millones de jugadas que habrían costado cientos de años asimilar a la inteligencia humana (Knight, 2017).

     Ahora la pregunta que nos compete es: ¿Podrá el gigante Google adaptar completamente la IA “alienígena”? (Knight, 2017) –como la llamó Demis Hassabis, CEO de DeepMind– de AlphaZero a sus propios vehículos del programa Waymo One? (Whitwam, 2018; Waymo, 2018).

     Como dato adicional, DeepMind está trabajando en otros proyectos como AlphaFold para resolver el problema del plegamiento de las proteínas y, con un poco de suerte, es probable que encuentre la cura de enfermedades como el Parkinson, el Alzheimer, la fibrosis quística o la enfermedad de Huntington en las que desencriptar las múltiples cadenas de ADN es determinante (Senior, Jumper y Hassabis, 2018).

 

CONCLUSIÓN

 

Me parece que quedan algunos aspectos a considerar para futuras investigaciones. Por ejemplo, mientras no exista intercomunicación entre los vehículos autónomos el factor humano aún parece insustituible para determinar, o tratar de adivinar, cuál será el próximo movimiento del otro conductor o del peatón distraído. Creo que la conducción autónoma deberá seguir siendo mixta, esto es, como cualquier otro piloto automático que requiere de supervisión.

     Se pueden utilizar hasta 20 procesadores Core de novena generación para procesar la gran cantidad de información que llega a través del Lidar, las cámaras electroscópicas, radares, sensores de ultrasonido, unidad de medición inercial, GPS y otros dispositivos que podrían ser incorporados en el futuro para la reproducción virtual del terreno, pero aún queda un eslabón perdido para darle el control total de los vehículos a un sistema inteligente y 100 % autónomo.
Los accidentes del sistema denominado Autopilot (Tesla, 2019) desarrollado por la empresa Tesla, son otro ejemplo de que la conducción autónoma debe esperar a que las posibilidades teóricas y las ideas estén a la par de las posibilidades técnicas y tecnológicas (Tesla Team, 2018).

     Además, los vehículos autónomos son ya una realidad, pero aún deberán salvar algunos obstáculos legales para su plena puesta en marcha. Un futuro en el que no exista el error humano y que el índice de accidentes automovilísticos de conducción autónoma sea igual a cero no es un escenario deseable o idílico, es un escenario necesario por el bien y la seguridad de todos los involucrados. Algunos habitantes de Arizona están atacando a los vehículos Waymo que circulan por sus calles (Romero, 2018).

     La pregunta inicial fue: ¿Quién mató a Elaine? Pero como podemos ver, la respuesta está en la cadena de decisiones que lleva a ignorar una variable o una serie de variables, por un sistema capaz de detectar un objeto ¡seis segundos antes de una colisión! Los sistemas, por tanto, puede considerarse eficientes. Los sistemas de aprendizaje automático deben ser agresivamente desarrollados y aplicados para garantizar que las máquinas sean más inteligentes y puedan auto-aprender más rápido y eficazmente que los hombres, pero no debe olvidarse que es la racionalidad instrumental, humana la que los construye. Las máquinas solo en la ciencia ficción se apoderan del planeta y nos esclavizan. No existe una moral autónoma en las máquinas, de hecho, no tienen moral y sería arriesgado, por decir lo menos, creer que con inteligencia profunda las redes neuronales artificiales logren aplicar, por sí mismas, criterios de decisión moral, exclusivamente humana. Por ejemplo, decisiones basadas en principios éticos y deontológicos.Así que me atrevo a responder que Elaine murió por factores humanos, no por un algoritmo de decisión autónoma o por una inteligencia artificial no muy inteligente. La NTSB, pronto, tendrá la última palabra.

 

REFERENCIAS