Some Moral and Technical Consequences of Automation
Etapa 2 · Nace la IA (1943–1979) › Cibernética, información y computadores electrónicos
- Linaje
- Máquinas y cómputo
- Tipo
- Publicación
Quién
MIT
Qué ocurrió
Norbert Wiener publica en Science un artículo sobre las consecuencias de las máquinas que aprenden y que actúan más deprisa de lo que una persona puede vigilar.
Qué aportó
Formula lo que hoy se llama el problema del alineamiento: si una máquina persigue un propósito que no podemos corregir a tiempo, hay que estar seguros de que es el que de verdad queremos y no una imitación vistosa de él.
Desarrollo
A finales de los años cincuenta ya había programas que aprendían a jugar a las damas mejor que quienes los habían escrito. Wiener partió de ese hecho para discutir una idea extendida: que una máquina no puede hacer nada que su programador no haya previsto.
Su respuesta es que las máquinas que aprenden sí pueden sorprender a sus creadores, y que el peligro crece cuando actúan tan deprisa que una persona no sabe, hasta que es tarde, cuándo debe apagarlas. Para explicarlo recurre a cuentos de deseos cumplidos al pie de la letra, el genio de Las mil y una noches o «La pata de mono» de W. W. Jacobs, y a un caso concreto: una máquina entrenada con juegos de guerra podría buscar una victoria nominal a costa de la supervivencia del país, si las reglas del juego no coinciden con lo que de verdad se quiere.
De ahí su frase más citada: si usamos para nuestros fines un agente mecánico en cuyo funcionamiento no podemos intervenir con eficacia, más vale estar muy seguros de que el propósito que le damos es el que de verdad deseamos y no una imitación vistosa de él.
El artículo fue una de las primeras advertencias públicas sobre el control de las máquinas inteligentes. Los debates actuales sobre seguridad de la IA lo citan como antecedente del problema de especificar bien los objetivos de un sistema.
Bibliografía
Fuente original
Estudios y contexto
Cómo citar
«Some Moral and Technical Consequences of Automation». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/wiener-consecuencias-automatizacion
Última revisión de esta ficha: 13 de noviembre de 2026.