Como te dirá cualquiera que haya tenido una relación, las emociones humanas son un concepto complicado. Esto es especialmente cierto para los especialistas en marketing que intentan comprender los beneficios cualitativos (el valor que va más allá de la funcionalidad básica) de su producto o servicio. No es difícil entender qué hace su producto, pero ¿sabe cómo hace sentir a sus consumidores?



significado del número 33

Lo haría si utilizara el análisis de sentimientos de escucha social para destilar las reflexiones no filtradas de las redes sociales de su público objetivo en conocimientos estratégicos procesables. Tomando todo el datos sociales disponibles en Twitter y categorizarlo por sentimiento positivo, negativo o neutral es una empresa importante, y no hay dos métodos iguales. Es por eso que HASHTAGS creó un sistema de análisis de sentimientos híbrido que combina los dos enfoques principales, listas de reglas y aprendizaje automático.



Listas de reglas

Una de las formas más sencillas de abordar el análisis de sentimientos es mediante el uso de reglas o diccionarios creados por humanos. Con este enfoque, el sistema se basa en una lista de palabras o frases que se asignan directamente a un sentimiento específico. Por ejemplo, cualquier Tweet que contenga la palabra 'choca esos cinco' podría etiquetarse como positivo, mientras que un Tweet que contenga 'horrible' sería negativo. Los sistemas como este son altamente personalizables y se pueden ampliar para incluir miles de reglas de palabras y frases.

En el lado negativo, los sistemas de reglas luchan con los Tweets que coinciden con reglas en conflicto, como 'La película no fue tan horrible como esperaba'. Aquí, 'horrible' podría etiquetarse como negativo, mientras que 'anticipado' sería positivo. Las reglas en conflicto etiquetan el Tweet como neutral, mientras que algunos lectores humanos lo interpretarían como ligeramente positivo y otros, ligeramente negativo.

Una limitación adicional de los sistemas basados ​​en reglas es la dependencia del esfuerzo y la comprensión humanos. El lenguaje evoluciona rápidamente (especialmente en Twitter) y un sistema basado en reglas requiere que alguien proporcione un flujo constante de nuevos términos y frases. Actualizar un sistema de opiniones no siempre es una prioridad máxima y un sistema puede quedarse obsoleto rápidamente. Incluso con una supervisión atenta, puede ser difícil identificar las tendencias cambiantes del idioma y determinar cuándo es necesario agregar nuevas reglas.

Aprendizaje automático

Uso de sistemas de análisis de sentimiento más avanzados Aprendizaje automático (ML) técnicas (a veces también llamadas Inteligencia Artificial o Procesamiento natural del lenguaje ). El aprendizaje automático es una familia de técnicas que utilizan estadísticas y probabilidad para identificar patrones complejos que se pueden usar para etiquetar elementos.

A diferencia de los sistemas basados ​​en reglas, los sistemas de AA son lo suficientemente flexibles como para detectar similitudes que no son evidentes de inmediato para un ser humano. Al observar muchos, muchos ejemplos, el sistema aprende patrones que suelen estar asociados con sentimientos positivos, negativos o neutrales.



Por ejemplo, un sistema de análisis de sentimiento de ML podría encontrar que los Tweets que contienen la palabra 'lluvia' y terminan con un signo de exclamación son negativos, mientras que los Tweets con 'lluvia' y dos signos de exclamación son positivos. Es posible que un ser humano no note este patrón o no comprenda por qué ocurre, pero un sistema de aprendizaje automático puede usarlo para hacer predicciones muy precisas.

Si bien los sistemas de aprendizaje automático pueden producir excelentes resultados, tienen algunas deficiencias. Cuando hay mucha variedad en el idioma, puede ser difícil para un sistema de AA filtrar el ruido para identificar patrones. Cuando existen patrones fuertes, pueden eclipsar los patrones menos comunes y hacer que el sistema de AA ignore las señales sutiles.

Enfoque de Sprout

Para construir nuestro sistema de análisis de sentimientos, diseñamos un sistema híbrido que combina lo mejor de los enfoques basados ​​en reglas y de aprendizaje automático. Analizamos decenas de miles de Tweets para identificar lugares donde los modelos de AA tienen problemas e introdujimos estrategias basadas en reglas para ayudar a superar esas deficiencias.



Al complementar los modelos estadísticos con la comprensión humana, hemos creado un sistema sólido que funciona bien en una amplia variedad de entornos.

brotar análisis de sentimiento

Todo sobre la precisión

En la superficie, el análisis de sentimientos parece bastante sencillo: simplemente decida si un Tweet es positivo, negativo o neutral. Sin embargo, el lenguaje humano y las emociones son complicados y detectar el sentimiento dentro de un Tweet refleja esta complejidad.

Considere estos Tweets. ¿Son positivos, negativos o neutrales?

https://twitter.com/alex/status/917406154321420289

Es posible que se sienta seguro en sus respuestas, pero es muy probable que no todos estén de acuerdo con usted. Las investigaciones han demostrado que las personas solo están de acuerdo con el sentimiento de los tweets 60-80% del tiempo.

Puede que seas escéptico. Nosotros también lo estábamos.

Para probarlo, dos miembros de nuestro equipo de ciencia de datos etiquetaron exactamente el mismo conjunto de 1,000 tweets como positivo, negativo o neutral. Pensamos que “trabajamos con Tweets todos los días; probablemente tendremos un acuerdo casi perfecto entre los dos '.

Calculamos los resultados y luego los verificamos dos y tres veces. La investigación fue acertada: solo estuvimos de acuerdo con el 73% de los tweets.

Desafíos en el análisis de sentimientos

La investigación (junto con nuestro pequeño experimento) muestra que el análisis de opiniones no es sencillo. ¿Por qué es tan complicado? Repasemos algunos de los mayores desafíos.

Contexto

Los tweets son una pequeña instantánea en el tiempo. Si bien algunos son independientes, los Tweets suelen ser parte de una conversación en curso o información de referencia que solo tiene sentido si conoce al autor. Sin esas pistas, puede resultar difícil interpretar los sentimientos de un autor.

Sarcasmo

La detección del sarcasmo es otro sabor del desafío del contexto. Sin información adicional, los sistemas de análisis de sentimientos a menudo confunden el significado literal de las palabras con su intención. El sarcasmo es un área activa de investigación académica, por lo que es posible que veamos sistemas en un futuro cercano que comprendan el snark.

Comparaciones

El sentimiento también se vuelve complicado cuando los Tweets hacen comparaciones. Si estoy realizando una investigación de mercado sobre verduras y alguien tuitea: 'Las zanahorias son mejores que la calabaza', ¿este tuit es positivo o negativo? Eso depende de tu perspectiva. Del mismo modo, alguien podría tuitear: 'La empresa A es mejor que la empresa B'. Si trabajo para la empresa A, este Tweet es positivo, pero si estoy en la empresa B, es negativo.

Emojis

Los emojis son un lenguaje propio . Mientras que a los emojis les gusta expresar un sentimiento bastante obvio, otros son menos universales. Mientras construíamos nuestro sistema de análisis de sentimientos, observamos de cerca cómo las personas usan emojis y descubrimos que incluso los emojis comunes pueden causar confusión. se usa casi por igual para significar 'tan feliz que estoy llorando' o 'tan triste que estoy llorando'. Si los humanos no pueden ponerse de acuerdo sobre el significado de un emoji, tampoco puede hacerlo un sistema de análisis de sentimientos.

Definición de neutral

Incluso el sentimiento 'neutral' no siempre es sencillo. Considere un titular de noticias sobre un evento trágico. Si bien todos estamos de acuerdo en que el evento es terrible, la mayoría de los titulares de las noticias están destinados a ser declaraciones informativas y objetivas. Los sistemas de análisis de sentimientos están diseñados para identificar la emoción del autor del contenido, no la respuesta del lector. Si bien puede parecer extraño ver noticias terribles etiquetadas como 'neutrales', refleja la intención del autor de comunicar información objetiva.

Los sistemas de análisis de sentimientos también varían en la definición de neutral. Algunos consideran que neutral es una categoría general para cualquier Tweet donde el sistema no puede decidir entre positivo o negativo. En esos sistemas, 'neutral' es sinónimo de 'no estoy seguro'. Sin embargo, en realidad, hay muchos Tweets que no expresan emoción, como en el siguiente ejemplo.

Nuestro sistema clasifica explícitamente los Tweets no emocionales como neutrales, en lugar de usar neutral como etiqueta predeterminada para los Tweets ambiguos.

Evaluación del análisis de sentimiento

Con tantos desafíos en el análisis de sentimientos, vale la pena hacer su tarea antes de invertir en una nueva herramienta. Los proveedores intentan ayudar a superar las complejidades centrándose en las estadísticas sobre la precisión de su producto. Sin embargo, la precisión no siempre es una comparación de manzanas con manzanas. Si planea usar la precisión como una vara de medir, aquí hay algunas cosas que debe preguntar.

¿La precisión informada es superior al 80%?
Dado que los humanos solo están de acuerdo entre sí entre el 60 y el 80% de las veces, no hay forma de crear un conjunto de datos de prueba en el que todos estén de acuerdo en que contiene las etiquetas de opinión 'correctas'. Cuando se trata de sentimiento, 'correcto' es subjetivo. En otras palabras, no existe un estándar de oro para usar en la precisión de las pruebas.

El límite superior de la precisión de un sistema de análisis de sentimientos siempre será el acuerdo a nivel humano: alrededor del 80%. Si un proveedor afirma tener más del 80% de precisión, es una buena idea ser escéptico. La investigación actual sugiere que incluso el 80% de precisión es poco probable; Los mejores expertos en el campo generalmente logran precisiones entre los 60 y los 60 superiores.

¿Cuántas categorías de sentimiento se están prediciendo?
Algunos proveedores evalúan la precisión solo en los Tweets que han sido identificados por evaluadores humanos como definitivamente positivos o negativos, excluyendo todos los Tweets neutrales. Es mucho más fácil que la precisión de un sistema parezca muy alta cuando se trabaja con Tweets muy emocionales y solo dos resultados posibles (positivos o negativos).

Sin embargo, en la naturaleza, la mayoría de los Tweets son neutrales o ambiguos. Cuando un sistema se evalúa solo en términos positivos y negativos, es imposible saber qué tan bien maneja el sistema los Tweets neutrales, la mayoría de lo que realmente verá.

¿Qué tipos de tweets se incluyen en su conjunto de prueba?
Se debe construir y probar un sistema de análisis de sentimientos en Tweets que sean representativos de las condiciones del mundo real. Algunos sistemas de análisis de opiniones se crean utilizando Tweets específicos del dominio que se han filtrado y limpiado para que sea lo más fácil de entender para un sistema.

Por ejemplo, un proveedor puede haber encontrado un conjunto de datos preexistente que solo incluye Tweets muy emocionales sobre la industria de las aerolíneas, excluyendo cualquier spam o tweets fuera de tema. Esto haría que la precisión fuera alta, pero solo cuando se usa en Tweets muy similares. Si trabaja en un dominio diferente o recibe Tweets no relacionados con el tema o spam, verá una precisión mucho menor.

¿Qué tamaño tenía el conjunto de datos de prueba?
Los sistemas de análisis de sentimiento deben evaluarse en varios miles de Tweets para medir el rendimiento del sistema en muchos escenarios diferentes. No obtendrá una medida real de la precisión de un sistema cuando un sistema solo se prueba en unos pocos cientos de Tweets.

Aquí en Sprout, creamos nuestro modelo a partir de una colección de 50.000 tweets extraídos de una muestra aleatoria de Twitter. Debido a que nuestros Tweets no son específicos de un dominio, nuestro sistema de análisis de opiniones funciona bien en una amplia gama de dominios.

Además, hacemos predicciones separadas para categorías positivas, negativas y neutrales; no nos limitamos a aplicar la neutralidad cuando fallan otras predicciones. Nuestra precisión fue probada en 10,000 tweets, ninguno de los cuales se utilizó para construir el sistema.

Vea el análisis de sentimiento de Sprout en vivo con los oyentes

Toda la investigación del mundo no sustituye a la evaluación de un sistema de primera mano. Pruebe nuestro nuevo sistema de análisis de sentimientos dentro de nuestro nuevo conjunto de herramientas de escucha social, Oyentes y vea cómo funciona para usted. En última instancia, la mejor herramienta de escucha social es la que satisface sus necesidades y le ayuda a obtener un mayor valor de las redes sociales. Permítanos ayudarlo a comenzar hoy.

Compartir Con Tus Amigos: