Chatbot generativo en el idioma español utilizando la arquitectura de red neuronal Transformer

Abstract

Los agentes conversacionales o chatbot han ido progresando en los últimos años gracias a la inteligencia artificial. Siendo Eliza (1966), uno de los primeros programas en procesar lenguaje natural. Eliza busca patrones en la frase escrita por el usuario, para luego responder con una “frase modelo" registrada en su base de datos. Por otro lado, tenemos el actual Google Assistant, un asistente virtual en desarrollo, compuesto por módulos de deep learning, además posee la tecnología Google Duplex que utiliza Redes Neuronales Recurrentes (RNN) y módulos de Long short-term memory (LSTM) en su núcleo, con el fin de ayudar a los usuarios a completar tareas específicas. Si bien las RNNs se utilizan para modelar problemas de secuencia temporal, como la traducción automática neural (Casacuberta and Peris, 2017), estas redes procesan la entrada de manera secuencial, es decir, requieren más tiempo de entrenamiento y mayores recursos de hardware; en contraste a esto, surge transformer, una arquitectura encoder-decoder que procesa de forma paralela la secuencia de entrada mientras usa un mecanismo de self-attention (Gouws et al., 2018); por esta razón, se implementó un chatbot generativo en el idioma español utilizando la arquitectura de red neuronal transformer siguiendo el método propuesto por (Perez, 2016). En este proyecto se entrenaron y probaron varios modelos basados en Vanilla y Universal transformer; los mejores modelos fueron evaluados, obteniendo un 60% de respuestas buenas y un 76% de respuestas coherentes.