A medida que avanza la automatización y los sistemas informáticos se vuelven más sofisticados, surgen nuevas cuestiones para resolver. Algunas son muy complejas, como establecer la ética de los llamados sistemas inteligentes.

Hasta ahora los principios de la moral y la ética solo tenían sentido para el comportamiento de las personas. Sin embargo, a medida que muchas decisiones se delegan en sistemas cada vez más autónomos (coches, sistemas de vigilancia, defensa militar, etc.), tiene sentido meditar sobre cuál es la ética de las máquinas. ¿Existe alguna?

En ese sentido, Nicholas Carr señala que los especialistas en ética afirman que hay dos formas de programar el ordenador de un robot para tomar decisiones morales:

  • Un enfoque de arriba abajo: todas las reglas que gobiernan las decisiones del robot están programadas con antelación y el robot simplemente obedece las reglas sin cambios ni flexibilidad. Suena sencillo pero no lo es. No hay manera de prever todas las circunstancias que un robot puede afrontar. La rigidez de estas reacciones programadas puede traer problemas en situaciones no previstas, provocando que el robot funcione mal o haga cosas terribles.
  • Un enfoque de abajo arriba: el robot es programado con unas pocas reglas rudimentarias y se le envía al mundo exterior. Allí aprende con las técnicas de machine learning y desarrolla su propio código moral, adaptándolo a nuevas situaciones a medida que aparecen. Igual que un niño, un robot es puesto en situaciones heterogéneas y se espera que aprenda mediante el ensayo y error sobre lo que es y no es apropiado hacer. A cuantos más dilemas haga frente, más finos serán sus juicios morales. Pero este enfoque tiene problemas más espinosos: en primer lugar, es impracticable porque todavía tenemos que inventar algoritmos de aprendizaje de máquinas lo suficientemente sutiles y sólidos para la toma de decisiones morales. En segundo lugar, no hay espacio para el ensayo y error en situaciones de vida o muerte–el enfoque mismo sería inmoral. Y por último, no hay garantía de que la moralidad que desarrolle el ordenador refleje o guarde armonía con la moralidad humana.

Los seres humanos empleamos un enfoque híbrido de arriba abajo y abajo arriba a la hora de tomar decisiones morales. Las personas vivimos en sociedades que tienen leyes y otras restricciones para guiar y controlar el comportamiento; muchas personas también moldean sus decisiones y acciones para ajustarse a preceptos religiosos y culturales; y la conciencia personal, sea innata o no, impone sus propias reglas.

Por otro lado, la experiencia y el aprendizaje también juegan su papel: las personas aprenden a ser criaturas morales a medida que crecen. Lejos de la perfección, cada uno de nosotros tiene un criterio moral que puede ser aplicado a situaciones a las que no nos hemos enfrentado antes.

Por ahora está fuera de nuestro alcance desarrollar la tecnología necesaria para que un robot pueda tener este enfoque híbrido de los humanos. Pero incluso antes de eso, tendremos que descubrir cómo programar los ordenadores para que desplieguen nuestras facultades suprarracionales: emociones, habilidades sociales, conciencia de nosotros mismos–todos los elementos que necesitamos para tomar decisiones éticas.