Los investigadores de Google DeepMind han estado trabajando en la seguridad de la inteligencia artificial general (AGI) y publicado un documento que explica los riesgos y los principios de un desarrollo seguro.
El archivo PDF contiene una enorme cantidad de detalles y tiene 108 páginas antes de la lista de referencias. Mientras algunos expertos en inteligencia artificial afirman que la AGI — es una quimera, los autores de DeepMind creen que podría aparecer en 2030. Los expertos han tratado de comprender los riesgos de crear una inteligencia sintética similar a la humana y creen que podría causar graves daños a la humanidad.
El estudio identifica cuatro tipos de riesgos de la AGI junto con sugerencias sobre cómo prevenirlos. El equipo de DeepMind considera que los problemas son el mal uso, la desalineación, los errores y los riesgos estructurales. El uso indebido y la desalineación se analizan en detalle en el documento, pero los dos últimos sólo se tratan brevemente.
El primer problema posible, uso indebido, similar a los riesgos existentes para la IA. Sin embargo, dado que la AGI será más poderosa por definición, el daño que puede causar es mucho mayor. Con demasiado acceso, una AGI podría abusar del sistema para hacer daño — por ejemplo, descubrir y explotar vulnerabilidades de día cero o crear un virus que pudiera utilizarse como arma biológica.
DeepMind afirma que las empresas que desarrollen AGI tendrán que realizar pruebas exhaustivas y crear protocolos de seguridad sólidos. También sugieren desarrollar un método para suprimir por completo las habilidades peligrosas, llamado «destete», pero no está claro si esto es posible sin limitar significativamente los modelos.
Divergencia — el estado en el que una máquina se deshace de las limitaciones impuestas por sus desarrolladores. La IA realiza acciones que sabe que no estaban previstas por el desarrollador. DeepMind afirma que su estándar de divergencia es más avanzado que el simple engaño o la intriga.
Para evitarlo, DeepMind sugiere que los desarrolladores trabajen en la robustez del modelo, realizando pruebas de estrés intensivas y monitorización para detectar cualquier indicio de engaño. AGI tiene estar en cajas de arena virtuales Con una seguridad estricta y supervisión humana directa, esto ayudará a mitigar los problemas.
Si la inteligencia artificial no sabía que su resultado sería perjudicial, y el operador humano no tenía intención de hacer daño, se trata de un error. Los modelos modernos de IA también cometen errores similares, pero la AGI puede cometer otros más importantes. DeepMind cita el ejemplo de los militares, que pueden desplegar AGI por rivalidad con un posible enemigo, pero no la «aseguran» suficientemente contra los errores.
El artículo no ofrece una solución muy buena para mitigar los errores. En él, los investigadores recomiendan evitar un salto brusco en el poder de la IA. Escriben sobre la lentitud del despliegue y las limitaciones de AGI, y recomiendan que los comandos AGI se ejecuten a través de un sistema «shield» que garantice su seguridad antes de la implementación.
Riesgos estructurales — consecuencias no deseadas de los sistemas multiagente. Por ejemplo, la AGI puede crear información falsa tan creíble que ya no sepamos en quién o en qué confiar. El documento también plantea la posibilidad de que la AGI acumule cada vez más control de los sistemas económicos y políticos. «Entonces un día levantamos la vista y nos damos cuenta de que las máquinas conducen por nosotros», — notas Ars Technica. Estos riesgos son los más difíciles de contrarrestar, dependiendo de la estructura social y de muchos factores.
Este documento no es la última palabra sobre la seguridad de la AGI — DeepMind señala que es sólo un «punto de partida para conversaciones vitales». Si los investigadores tienen razón, y la AGI cambiará el mundo en solo cinco años, tenemos que hablar de ello ahora.
Spelling error report
The following text will be sent to our editors: