¿Quién responderá por los daños de las cosas conectadas?

¿
“Seguridad y responsabilidad de la IoT”

A finales de abril se publicaba en El País una noticia titulada ¿Quién es responsable de los daños que cause un robot? . La pieza recogía la preocupación creciente por la atribución de la responsabilidad de los robots y se ilustraba, al menos en su edición digital, con la foto del accidente del coche autoconducido de Uber que, a finales de marzo pasado, atropelló a una ciclista en la ciudad de Tempe, Arizona (EEUU).

No es el único accidente que se ha producido ni tampoco el único en el que hay una víctima mortal. El propio Elon Musk, ante los accidentes sufridos por sus coches Tesla, ha reconocido que, tal vez, se hayan pasado de frenada con la automatización y que la autonomía de sus coches debería de ser revisada.

Desde que el software es el conductor, nos encontramos con decisiones morales tomadas por cosas conectadas – IoT en sus siglas en inglés-  que no solo cuenta con sus clásicos elementos, esos que les permite sentir, actuar en el mundo físico, conectarse y contar lo que hacen, sino modelizar su comportamiento con base no en la programación sino en el aprendizaje y la toma de decisiones no preprogramadas –usando técnicas de machine learning, deep learning, o dueling neural networks-. Sin necesidad de ir tan lejos, el propio coche de Uber al que nos referíamos estaba programado para obviar los obstáculos. Y eso hizo, lo obvió pasando por encima de él.

Lo que nos deja con la pregunta inicial ¿Quién es responsable de ese atropello? ¿El controlador que estaba ahí para evitar que el coche hiciese daño? ¿El fabricante del coche? ¿El del software en el que estaba codificada la instrucción de ignorar los “bultos”? ¿El del operador del mismo? ¿De quién tomo la decisión moral? ¿De quién hizo el modelo matemático en el que se basó esa decisión? Tengamos en cuenta que no hemos llegado aquí de la manera lineal que planeaba Asimov: sin la recogida masiva de datos que han propiciado los teléfonos inteligentes, sin la hiperconectividad necesaria para mantener alimentados los sistemas y sin la aparición de las cosas conectadas, no podríamos hablar de robótica inteligente ni plantearnos tan siquiera el problema de atribución de responsabilidades que tenemos por delante. La complejidad de la tecnología y la variedad de actores implicados hace que la aplicación de los sistemas de responsabilidad de producto, que la limitan al día de la puesta del producto en el mercado sin tener en cuenta todo su ciclo de vida, se haya quedado simplemente obsoleta; un producto IoT puede ser perfectamente seguro el día de su lanzamiento al mercado y dejar de serlo casi de manera inmediata.  

El Parlamento Europeo, en vista del problema serio de atribución de responsabilidad que se nos plantea, hace una propuesta valiente: la de la responsabilidad por riesgo. Esto supone, en una aproximación muy técnica, atribuir la responsabilidad de los daños causados a quien tuviera la capacidad de mitigar el riesgo de su ocurrencia y no lo hiciese. Esta propuesta, que está llena de sentido, va a obligar, sin embargo, a repensar el modelo de negocio y los costes de producción de muchas empresas, y no solo las del sector industrial. Las empresas embarcadas en la transformación digital van a tener que considerar en integrar el análisis del riesgo digital como parte de los riesgos operativos con un alcance más amplio que el de la mera ciberseguridad. No solo se trata de evitar ataques. Lo que el nuevo ecosistema plantea es la necesidad de minimizar el riesgo de causar daño hacia fuera, a clientes y terceros, integrando la seguridad desde el diseño, por defecto y durante todo su ciclo de vida; un “gobierno ético del dato”; ser transparentes con sus modelos matemáticos (trasparencia algorítmica); y dotar a la función de un responsable al más alto nivel corporativo, incluyendo en sus consejeros expertos con capacidad de entender este entorno.

Ha llegado el tiempo de abrazar la seguridad o de pagar por su ausencia.

Sobre el autor

Paloma LLaneza

Abogada aunque buena persona. Auditora de sistemas y experta en ciberseguridad. Creadora de Consent Commons. Escritora, ensayista e ikebanaka. Mi universo personal en The LLaneza Firm.

Por Paloma LLaneza

Paloma LLaneza

Abogada aunque buena persona. Auditora de sistemas y experta en ciberseguridad. Creadora de Consent Commons. Escritora, ensayista e ikebanaka. Mi universo personal en The LLaneza Firm.

Sigamos en contacto

Blog