GPT-3: la inteligencia artificial que genera lenguaje escrito

Los avances en inteligencia artificial (IA) parecen no tener límites y más cuando lo que se pretende alcanzar es la inteligencia artificial general. Esta es la IA que tiene la capacidad de aprender y realizar tareas de carácter intelectual como hacen las personas. Ahí es donde el GPT-3 se ha hecho un hueco sorprendiendo al mundo. En Astratech Consulting estamos a la última y os lo contamos todo.

¿Qué es el GPT-3?

El GPT-3 es un modelo de inteligencia artificial que permite la generación de lenguaje escrito. Esta acción se identifica como un modelo de lenguaje auto-regresivo.

Sus algoritmos se encuentran entrenados para reconocer patrones en datos y aprender gracias a ejemplos. De esta forma, componen una red neuronal recurrente que posee memoria a largo plazo.

Dentro de un texto, el lenguaje auto-regresivo usa su algoritmo para establecer la mejor continuidad de palabras, acorde a las palabras anteriores.

Eso es lo que hace el GPT-3: analiza los datos o el texto que nosotros le damos para ofrecer predicciones coherentes en base a ellos. De tal manera, responde a nuestra pregunta o continúa nuestra frase con sentido.

Digamos que se trata de una especie de “autocompletado” como el que hace Google en su buscador, pero a una escala muchísimo mayor. Esto es así porque no solo completa una frase, sino que puede realizar un texto completo para un artículo a raíz de dos o tres líneas dadas.

Pero, ¿Quién está detrás de la aparición del GPT-3? OpenAI es el artífice de este modelo de IA.

Esta compañía fue fundada en 2015 como una organización sin ánimo de lucro, de la mano de Reid Hoffman (co-fundador de LinkedIn) y Elin Musk (co-fundador de SpaceX y Tesla).

Su principal motivación era investigar y democratizar el acceso a la AGI (inteligencia artificial general por sus siglas en inglés).

Sin embargo, el deseo de OpenAI ha ido a mayores y en el año 2020 se asoció con Microsoft para lograr más avances en diversos ámbitos como:

• El campo del lenguaje (con modelos como GPT-3).
• La visión artificial.
• La robótica.

¿Cómo funciona el GPT-3?

GPT-3 es un modelo de IA de algoritmo deep learning, es decir, de aprendizaje profundo. Por ello, cuenta con 175.000 millones de parámetros y 96 capas, superando a modelos anteriores de procesamiento de lenguaje natural.

Para poner en marcha el GPT-3 se ha empleado un total de 500.000 millones de palabras. Estas se extrajeron previamente de Wikipedia, textos de web y colecciones de libros públicos.

Gracias a esto, como se ha explicado, el usuario solo tiene que empezar a redactar y el sistema completa de manera coherente. De esa manera se puede llegar a crear un escrito con la longitud que ha sido fijada por la persona.

Pero también posee otras características relevantes.

Diferentes estilos de escritura

Es capaz de adaptar el texto a diferentes estilos de escritura: con una redacción a modo de noticia sensacionalista, con jerga legal como si se tratase de un texto jurídico, tono poético, etc.

Sabe idiomas

Al haber incluido tanto contenido disponible en la red, se han traspasado páginas escritas en otros idiomas o en inglés traducidas.

Esto le ha servido al sistema para poder traducir, aunque el dominio de otros lenguajes está muy alejado del que tiene sobre el inglés.

Buscador de Internet

Con GPT-3, sus investigadores han creado también un buscador, a modo Yahoo o Google. No obstante, con un funcionamiento algo diferente.

En lugar de basarse solo en la búsqueda por palabras clave, también lo hace teniendo en cuenta la búsqueda semántica con lenguaje natural.

Por todo lo mencionado no es de extrañar que el modelo GPT-3 haya sorprendido tanto. Es uno de los primeros sistemas que ha revelado las grandes posibilidades de la AGI.

Los usos actuales del GPT-3 son aún muy limitados

De momento no se puede considerar el GPT-3 como una solución práctica frente a tareas industriales. Por ello, en su forma beta, su uso se limita a la continua investigación del mismo a través de una API.

Además, las limitaciones a las que se enfrenta el GPT-3 son varias:

• Los costes computacionales que requiere son muy altos a día de hoy.
• La IA puede leer más que el total de una persona a lo largo de su vida. Sin embargo, el cerebro humano sigue siendo más eficiente aprendiendo y usando datos.
• Los sesgos, muy comunes en la gran mayoría de algoritmos des aprendizaje automático.

¿Qué son los sesgos algorítmicos?

Un sesgo algorítmico se da cuando un sistema informático manifiesta los valores de los seres humanos implicados en la recolección y codificación de los datos utilizados para entrenar el algoritmo.

Este sesgo se puede localizar en todos lados (redes sociales, motores de búsqueda, etc.). Por ello, suele tener un impacto negativo en campos como la privacidad o empeorar sesgos sociales ya existentes tales como:

• Género.
• Raza
• Etnias
• Sexualidad

En el caso concreto de los modelos de lenguaje como el que nos atañe, el inconveniente es que aprende aquello que ha leído. Si se instruye a raíz de un texto que se obtiene de una web, puede colar sesgos que impliquen connotaciones racistas o de género, por ejemplo.

Por este motivo, aún queda mucho por pulir en el modelo GPT-3. Aun así, ya se vislumbra que tiene mucho futuro.

Futuro del GPT-3: ¿Cuál es su potencial?

Precisamente por continuar avanzando en el modelo GPT-3, se sabe que este tiene un gran potencial.

No hay más que ver la gran revolución que ya suponen otros modelos similares implantados de menor envergadura, como son:

• BERT y T-5, de Google.
• CTRL, de Salesforce.
• ROBERTA, de Facebook.
• GPT-2 (versión anterior del GPT-3), de OpenAI.

Su diseño, pensado para generar textos largos con coherencia de manera semi-automática, será lo que marque la diferencia.

Esto permitirá darle un uso más amplio: como asistente en las búsquedas de información, colaborar en la escritura de informes o noticias y como asistente conversacional, por ejemplo.

Pero con todas sus capacidades expuestas, también han surgido las dudas y los debates: ¿será el GPT-3 el causante de la pérdida de miles de empleos entre programadores, periodistas o escritores?

Todo avance en inteligencia artificial siempre genera este tipo de temores, pero desde el equipo de creadores piden tranquilidad.

El GPT-3 no tiene por qué suponer una amenaza. Más bien habría que agradecerle todo lo positivo que nos pudiese aportar. Por ejemplo, ¿qué tal hablar con tu yo del pasado?

Chateando con tu yo del pasado: lo que puede hacer la IA y el GPT-3

¿Te imaginas chatear con tu yo del pasado y contarle cómo te ha ido después de tomar x decisión? Pues gracias a los deepfakes y al GPT-3, esa idea tiene cabida.

Mientras los deepfakes permiten recrear a cualquier persona con sus expresiones, el GPT-3 podría facilitar el simular conversaciones que se llevarían a cabo en la vida real.

Se podría llegar a crear una especie de coach personal que fuésemos nosotros mismos, gracias a nuestra propia recreación en avatar usando audio, vídeos y fotos. Además, sería posible añadir guiones para distintos escenarios en una integración de GPT-3.

Posiblemente, en su inicio, la calidad de nuestras conversaciones sería un poco deficiente, pero nada indica que no se pudiese mejorar.

No obstante, más allá de nosotros mismos, la idea se podría extender a cualquier otro tipo de personas. Desde crearnos un amigo invisible (pero visible), hasta poder hablar con alguien a quien admiramos… o que ha fallecido.

Sí, esa idea ya ha sido explorada. Por ejemplo, Microsoft lo hizo con la posibilidad de un chatbot que permitiese hablar con personas difuntas, aunque luego determinaron que no había intenciones de desarrollar el proyecto.

Desde luego, aún no somos conscientes de todo lo que la IA nos puede aportar. En Astratech Consulting estaremos muy atentos de las novedades en Inteligencia Artificial y las iremos ampliando en futuros blogs.