Implementación de un dataset para la evaluación de modelos de análisis de sentimientos en la clasificación de tweets

Abstract

El objetivo de esta investigación se centra en evaluar el etiquetado de tweets mediante Pysentimiento, un modelo transformer especializado para el análisis de texto, y posteriormente utilizar este dataset para entrenar modelos de aprendizaje supervisado no especializados en la tarea del análisis de sentimiento. Para ello se propone la construcción de dos datasets, de escenario político y pandemia, mediante una metodología que incluye a Twint, para la extracción de tweets, y a Pysentimiento, para etiquetar los datos automáticamente. También se incluye una etapa de verificación manual de una porción de los datos, para evaluar el impacto de contar con datos etiquetados manualmente en la fase de entrenamiento de los modelos. En tanto para realizar el análisis de sentimientos, los datos son pre-procesados y transformados previamente a la aplicación de cuatro modelos clasificadores de Machine Learning(ML): Naive Bayes (NB), Super Vector Machine (SVM), Random Forest (RF) y Multilayer Perceptron (MLP). Así mismo se propone una fase experimental para aumentar el rendimiento de estos modelos, de los cuales se obtiene que: (1) se debe trabajar basado en el análisis de las clase positiva y negativa (de acuerdo a los datasets obtenidos) con una proporción estratificada para el train/test, (2) la verificación manual mejora los resultados para ambos escenarios, (3) Naive Bayes es el mejor clasificador con 88,4 % de exactitud, 83,4 % de precisión, 89,8 % de exhaustividad y 86,5 % de F1-score, mientras que para el escenario pandemia Super Vector Machine es considerado como el mejor clasificador con 85 % de exactitud, 86,1 % de precisión, 77,8 % de exhaustividad y 81,7 % de F1-score.