Creadores de ChatGPT ahora clonan voces, pero por riesgo a la humanidad tomaron una gran decisión
Voice Engine es la nueva tecnología desarrollada por OpenAI, que es capaz de recrear de manera realista las voces humanas utilizando solo una muestra de audio de 15 segundos. Sin embargo, a pesar del avance que esto representa, la empresa ha decidido no lanzar esta tecnología al público en general debido a los riesgos que conlleva su mal uso.
Según la compañía, este sistema puede convertir texto a voz para crear voces sintéticas que conservan los acentos nativos de los hablantes, lo que puede ser útil para traducir contenido a otras lenguas o ayudar a personas con problemas de comunicación verbal.
El desarrollo de Voice Engine inició a finales de 2022, la empresa ya está trabajando en su implementación en diversas áreas. Entre los primeros usuarios de esta tecnología se encuentran empresas como Age of Learning, HeyGen, Dimagi, Livox y Lifespan, quienes han utilizado Voice Engine en aplicaciones educativas, de salud y comunicación.
Una tecnología que no puede caer en manos de todos
Desde que se dio el avance de la IA en el último año hemos conocido casos de estafas que usan esta tecnología para replicar las voces de los usuarios o de personas reconocidas. Por lo que la masificación de este tipo de sistemas, como el creado por OpenAI, debe darse de manera responsable y por eso no lo van a poner a disposición de todos.
“Reconocemos que generar un discurso que se asemeje a las voces de las personas, conlleva serios riesgos, que son especialmente importantes en un año electoral”, publicó la empresa en un comunicado.
Aunque Voice Engine tiene el potencial de facilitar la traducción de contenido y ayudar a personas con discapacidades de comunicación verbal, también plantea riesgos significativos en términos de seguridad y privacidad, como llamadas falsas o videos virales en redes sociales con información errónea.
“Estamos adoptando un enfoque cauteloso e informado para una publicación más amplia debido al potencial de uso indebido de la voz sintética”, indicó la empresa.
Aunque esta preocupación parezca un caso lejano, ya se han dado casos de llamadas automáticas con voces clonadas de políticos como el presidente Joe Biden durante el año electoral en Estados Unidos. Además, existe la preocupación de que los estafadores puedan utilizar estas voces sintéticas para acceder a cuentas bancarias que utilizan autenticación de voz.
A pesar de los riesgos asociados, OpenAI reconoce el potencial de la tecnología de clonación de voces en diversas áreas. Por ejemplo, Voice Engine podría permitir a los creadores de contenido traducir su trabajo a otros idiomas sin perder sus acentos nativos, lo que ampliaría su audiencia global.
“Voice Engine es un nuevo modelo de IA que puede convertir texto a voz para crear voces sintéticas, ayudando a las personas con problemas de comunicación verbal a usar su voz para, por ejemplo, llamar por teléfono”, explican los desarrolladores de OpenAI.
Qué está haciendo OpenAI para evitar estos riesgos
Además de no lanzar Voice Engine al público en general en este momento, la empresa está trabajando con socios estadounidenses e internacionales para garantizar que la tecnología se utilice de manera responsable y ética.
“Estamos colaborando con socios estadounidenses e internacionales de todo el gobierno, los medios de comunicación, el entretenimiento, la educación, la sociedad civil y más para garantizar que incorporamos sus comentarios a medida que la construimos”, explica OpenAI.
Entre las medidas de seguridad implementadas por OpenAI se encuentran la inclusión de marcas de agua para rastrear el origen de cualquier audio generado por Voice Engine, así como un monitoreo proactivo de su uso. Además, la empresa ha establecido políticas que prohíben el uso indebido de las voces sintéticas y requieren el consentimiento informado del hablante original.
