Krypton Solid

La última tecnología en raciones de 5 minutos

El modelo de lenguaje GPT-3 AI agudiza la generación de texto complejo

El arte de un buen truco de magia es hacer que la audiencia crea que la ilusión es real. El mago no dobló las leyes de la física haciendo desaparecer algo, sino que llamó nuestra atención hacia otra parte usando un juego de manos. La inteligencia artificial utiliza un enfoque similar: si podemos crear una ilusión que parezca real, entonces podemos hacer que una máquina parezca actuar como un humano.

Uno de los mayores trucos de magia de la IA es hacer que las máquinas se comuniquen con tanta claridad y fluidez como los humanos. Se ha vuelto fácil para las máquinas tener conversaciones breves de una o dos oraciones con humanos que responden preguntas específicas o manejan tareas específicas. Sin embargo, si le pide a la máquina que le explique algo complicado sin usar texto previamente generado por humanos, comenzará a perder el hilo de la conversación.

Es en este mundo de complicada generación de lenguaje natural (NLG) donde surgió la magia de GPT-3 para suspender nuestra incredulidad sobre lo que las máquinas son capaces de hacer.

El truco de magia de Big Data AI: GPT-3

El transformador generativo preentrenado de tercera generación (GPT-3) es un modelo de aprendizaje automático de red neuronal que ha sido entrenado para generar texto en múltiples formatos y requiere solo una pequeña cantidad de texto de entrada. El modelo de IA GPT-3 se entrenó con una inmensa cantidad de datos que dieron como resultado más de 175 mil millones de parámetros de aprendizaje automático.

Para poner las cosas en escala, el modelo de lenguaje entrenado más grande antes de GPT-3 fue el modelo Turing-NLG de Microsoft, que tenía 10 mil millones de parámetros. GPT-3, entrenado principalmente en datos digitales, supera ese número con más de 17 veces el número de parámetros.

Si «generativo» en el término GPT-3 se refiere a generar texto, y «pre-entrenado» se refiere al modelo que se está entrenando en toneladas de texto de entrada, ¿qué significa «transformador»? La arquitectura del transformador es una configuración de una red neuronal de aprendizaje profundo que organiza el flujo de datos para lograr una tarea de aprendizaje específica de una manera específica. En este caso, la arquitectura del transformador utiliza lo que se conoce como arquitectura codificador-decodificador, que permite a los codificadores procesar entradas en capas para crear representaciones de nivel superior y a los decodificadores tomar las salidas de estos codificadores y procesarlas para generar secuencias de salida.

Las arquitecturas transformadoras son una innovación relativamente reciente en las redes neuronales de aprendizaje profundo. Los enfoques anteriores utilizaban una forma arquitectónica conocida como redes neuronales recurrentes (RNN) que usaba bucles de entrada y salida de varios tipos para crear sistemas para manejar secuencias de información necesarias para el procesamiento de voz, traducción automática y resumen de texto, o para generar leyendas de imágenes únicas. Sin embargo, los RNN son de naturaleza secuencial, lo que significa que solo pueden aprender de manera efectiva secuencias de cierta longitud. Si bien los RNN pueden ser buenos para generar una oración o dos que mantengan la coherencia, fallan cuando se les pide que lo hagan en secuencias de texto más largas.

Las arquitecturas de transformadores evitan estos problemas porque en lugar de depender de secuencias de una duración específica, utilizan mecanismos de atención para generalizar secuencias que han aprendido. Un modelo previamente entrenado que utiliza este enfoque, las representaciones de codificador bidireccional de transformadores (BERT), demostró la viabilidad de este método y mostró la potencia que tienen las redes neuronales para generar largas cadenas de texto que antes parecían inalcanzables.

Casos de uso de GPT-3

Ahora, ¿qué podemos hacer con GPT-3? En el nivel más básico, los sistemas de IA GPT-3 pueden crear texto para una amplia gama de propósitos, incluidos artículos completos, poesía, historias y diálogos. La investigadora de IA Gwern Branwen mostró algunas creaciones de GPT-3 de escritura generada por IA en el estilo de Maya Angelou, William Shakespeare y Edgar Allan Poe.

La poesía y la prosa son solo la punta del iceberg de lo que GPT-3 es capaz de hacer. Con solo unos pocos fragmentos de código, GPT-3 puede crear código viable que se puede ejecutar sin errores. Muchos otros ejemplos prácticos de GPT-3 pueden incluir hacer que el sistema genere funciones de Excel, recetas, sistemas de conversación de juegos de rol y una variedad de otros programas que los usuarios pueden probar.

El texto generado es de tan alta calidad que la gente ha iniciado un discurso sobre su eventual uso. Aquellos que desconfían de GPT-3 se preocupan por su capacidad para posiblemente crear artículos de noticias falsos y engañar a los humanos en los sistemas de conversación. La tecnología podría incluso ser víctima del uso de sesgos lingüísticos de su predecesor.

Antes de lanzar las herramientas de IA GPT-3 a las empresas, OpenAI y Microsoft están probando la tecnología dentro de sus propias aplicaciones para garantizar la seguridad y el uso responsable.

Sesgo de IA en el modelado
Los sistemas de IA son propensos a prejuicios raciales, de género y de idioma a lo largo del proceso de modelado.

Los orígenes de GPT-3

GPT-3 surgió como un proyecto de investigación de OpenAI. Formado en 2015 por una letanía de pesos pesados ​​de la tecnología, incluidos Elon Musk, Ilya Sutskever, Sam Altman y Greg Brockman, OpenAI se concibió inicialmente como un contrapeso sin fines de lucro centrado en la investigación para DeepMind de Google. El trabajo de OpenAI abarca desde la investigación del aprendizaje por refuerzo hasta los robots de metaaprendizaje.

Como parte de su trabajo en redes generativas pre-entrenadas muy grandes, la compañía lanzó GPT-2, que mostró capacidades sin precedentes. Al volver al modelo, los desarrolladores pensaron que simplemente arrojar más datos al modelo GPT mostraría rendimientos disminuidos, como suele ocurrir con las pruebas de los límites de las redes neuronales. Sin embargo, GPT-3 sorprendió a los investigadores al desempeñarse cada vez mejor a escala y pasar de las tareas simples del lenguaje natural, como el resumen de texto y las actividades basadas en tareas, para aprender a seguir las instrucciones dadas en el texto y realizar tareas complejas.

Inicialmente desconfiado de lanzar los modelos de IA GPT-3 mucho más poderosos a la naturaleza, OpenAI lanzó el acceso al modelo en incrementos para ver cómo se usaría en el mundo real. Unos meses más tarde, el laboratorio abrió el modelo para un uso amplio de quienes solicitaron acceso durante el período beta, que finalizó el 1 de octubre de 2020. El precio del uso de GPT-3 ahora se basa en un sistema basado en créditos escalonados. Los usuarios a pequeña escala pueden probarlo gratis durante tres meses, mientras que los usuarios de producción a gran escala pagan cientos de dólares al mes.

En 2019, OpenAI cambió de una organización sin fines de lucro 501 (c) (3) a una empresa con fines de lucro controlada por su entidad sin fines de lucro en algo que la organización llama un modelo de «ganancias limitadas». Este nuevo modelo permite a la empresa recaudar dinero de los inversores de fuentes externas y dar a sus empleados una participación en la empresa en general, algo que el modelo sin fines de lucro no permitiría.

La licencia exclusiva de Microsoft GPT-3

Dado que la creación de modelos como GPT-3 requiere una gran cantidad de capital para financiar sus grandes necesidades de computación, datos, almacenamiento, ancho de banda y habilidades, no es de extrañar que OpenAI buscara inversores. En junio de 2019, poco después del cambio formal en la estructura de la empresa, Microsoft invirtió mil millones de dólares en OpenAI, que la compañía dijo que gastaría por completo en cinco años. En el momento de la inversión, parecía que Microsoft simplemente estaba interesado en ayudar a ampliar los esfuerzos para ampliar los límites de las capacidades de la IA, pero pronto quedó claro que Microsoft estaba interesado en más.

En septiembre de 2020, OpenAI anunció que Microsoft tenía una licencia exclusiva para el modelo GPT-3. Si bien OpenAI aún puede hacer que GPT-3 esté disponible para el público en un modelo de pago por acceso, Microsoft posee el uso y control exclusivos del código fuente, el modelo y los datos de GPT-3. Este control exclusivo significa que otras empresas no pueden adquirir ese modelo para sus propios usos.

¿Qué significa esto para los usuarios? Para el usuario ocasional de GPT-3, la propiedad de Microsoft podría no significar mucho si acceden al modelo para necesidades a corto plazo. Sin embargo, a largo plazo, Microsoft podría optar por evitar el uso de GPT-3 por parte de la competencia o cualquier otra parte. Microsoft podría desarrollar aún más GPT-3 en un modelo GPT-4 que no hará accesible a otros o incrustar las capacidades de GPT-3 en sus productos de formas que los competidores no puedan igualar.

Futuro de GPT-3

La gran pregunta para los científicos de datos es si GPT-3 representa un movimiento fuerte hacia la consecución de los objetivos de la inteligencia artificial general u otro truco de magia de big data. GPT-3 puede generar un texto impresionante que puede resolver una amplia gama de necesidades de contenido generado por máquina, pero por más impresionante que sea, estas máquinas son capaces de comprender el texto y los matices, o el modelo es simplemente un impresionante generado por computadora. ¿loro?

Imagina que pudieras hablar con un loro de la misma manera que GPT-3, dándole un texto de inicio y haciendo que el loro proporcione respuestas largas. Un loro incluso podría recitar un texto original similar a Shakespeare, pero ¿comprende lo que dice? La mayoría de los investigadores de IA admitirían que la mímica, por mágica que parezca, no es lo mismo que comprender el texto.

Existe una amplia gama de necesidades para la generación de lenguaje natural, desde chatbots hasta redacción de contratos y generación de código. GPT-3 representa la última generación de texto de vanguardia, que combina enormes volúmenes de datos con la informática para alcanzar niveles espectaculares de salida precisa. La licencia exclusiva de Microsoft insinúa aún más el valor de este modelo.

Sin embargo, hay más en el panorama de la IA que NLG, y ciertamente se desarrollarán más modelos que pueden funcionar de manera similar. Si bien la licencia exclusiva de Microsoft puede causar preocupación con respecto al acceso futuro a tecnologías avanzadas de NLG, si el pasado es un indicio, veremos inversiones e investigaciones continuas por parte de otros que proporcionarán aún más innovación en el espacio de la inteligencia artificial.

Deja un comentario

También te puede interesar...

Resumen del Día de los Inocentes 2017

El primero de abril trató de pasar desapercibido, consumiendo un sábado con gags y riffs mientras los editores de noticias dormían. ¡Nunca dormimos! Y nunca seremos engañados. Excepto esa vez que pensamos que Destiny 2

Definición de garrapata más

¿Qué es un Tick Plus? En el contexto del precio de los valores, se dice que una transacción completada que da como resultado un movimiento de precios hace un control hacia arriba o hacia abajo,

Verizon Wireless elevó su lema

La miseria ama la compañía, dicen. Con el espíritu de advertir a otros sobre algo antes de que sean víctimas, nos gusta correr la voz sobre el fracaso. Debido a la forma en que los

Novedades de Netflix: 15 de junio de 2019

La temporada 15 de Grey’s Anatomy ya está en Netflix Feliz sábado y, a diferencia de la mayoría de los fines de semana, tenemos algunas novedades que cubrir. El motivo es que hoy es mitad

Samsung Galaxy S6 práctico en MWC 2015

Samsung ha vuelto a la mesa de dibujo con el Galaxy S6, incorporando nuevos materiales, nuevo diseño y nuevas características para hacerlo único en comparación con el Galaxy S5 y modelos anteriores. Aquí está nuestro

Definición de la cláusula de liberalización

¿Qué es una cláusula de liberalización? Una cláusula de liberalización es una disposición de la póliza de seguro que permite ajustes a la cobertura existente para cumplir con los cambios en las leyes y reglamentos

Definición de inversión al significado

¿Cuál es la inversión promedio? La reversión promedio, o retorno al promedio, es una teoría utilizada en finanzas que sugiere que la volatilidad de los precios de los activos y los rendimientos históricos eventualmente regresarán

bajo peso

¿Qué es el bajo peso? La infraponderación se refiere a una de dos situaciones en términos de negociación y financiación. Una cartera infraponderada no tiene una cantidad suficiente de un valor en particular en comparación

Zona de resistencia

¿Qué es el área de resistencia? La zona de resistencia es el rango superior de precios de una acción que muestra resistencia de precios, siendo el rango inferior sus niveles de soporte. Comprender las áreas