Sentiment Analysis – Mensch vs. Maschine?

Wer sich mit Social Media Monitoring beschäftigt, kommt derzeit an dem Schlagwort “Sentiment Analysis” – in Deutsch Stimmungsanalyse – nicht vorbei. Die meisten Anbieter bieten mittlerweile eine automatisierte Stimmungsanalyse an. Heute reicht es nicht mehr zu wissen, wie viele Gespräche im Social Web über das Unternehmen existieren. Der Kunde möchte nun auch wissen, ob die Nutzer das Produkt oder die Marke mag oder eben nicht. Aber kann eine automatisierte Sentiment Analysis überhaupt genau sein? Was für eine Methode steht dahinter? Und welchen Nutzen bietet diese Analysen dem Unternehmen oder der Marke?

Maria Ogneva, Direktoren von Biz360 – dem Unternehmen, das nebenbei bemerkt grade von der Attensity Group übernommen worden ist – ist davon überzeugt, dass die Stimmungsanalyse durchaus sinnvoll für Unternehmen ist. Auf Mashable erklärt sie warum.

Was ist überhaupt automatisierte Stimmungsanalyse:

Nach Wikipedia ist Sentiment Analysis das Ziel, festzustellen welche Haltung ein Nutzer in Bezug auf ein bestimmtes Thema hat. Die automatisierte Sentinemt Analysis ist der Prozess, einem Computer beizubringen, Stimmungen in Web-Inhalten durch Natural Language Processing (NLP) zu identifizieren und zu verstehen. Einige Anbieter verlassen sich auf ihr automatisiertes Tool, andere wiederum bearbeiten die Ergebnisse zusätzlich durch ein Analyseteam.

Da beispielsweise Sarkasmus schlecht maschinell erfasst werden kann, stimmt Maria Ogneva zu, dass eine automatisierte Analyse nie so gut sein kann, wie die eines Menschen. Bei einem Test mit Amazon’s Mechanical Turk hat die menschliche Analyse ihren Angaben nach jedoch auch nur 79 Prozent Übereinstimmung erhalten. Ogneva ist daher davon überzeugt, dass auch wenn die automatisierte Analyse nicht perfekt ist, sie trotzdem fast genauso gut ist wie eine menschliche Analyse.

Das sieht Jason Falls, Autor des Blogs social media explorer, anders. Er hat sich mit Jeffry Caitlin, dem CEO des führendem NLP Unternehmens Lexalytics, über das Thema unterhalten. Obwohl seiner Meinung nach ein NLP Programm sehr viele Stimmungen und Tonalitäten in einem Text erkennen kann, ist es eine große Herausforderung einem Computer beizubringen, Sarkasmus, falsche Positivmeldungen und dergleichen zu identifizieren. Je mehr Daten in Bezug auf Sentiment Analysis betrachtet werden, umso höher die Anzahl an genauen Treffern. Es handelt sich jedoch immer noch um eine Schätzung und die Ergebnisse sind nicht perfekt. Social Media Monitoring Dienstleistungen der Anbieter sind ziemlich gut, aber eben nicht perfekt. Menschliche Analyse ist besser, aber auch kostenintensiver und voraussichtlich zu teuer, zumindest für kleine und mittelständische Unternehmen. Automatisierte Stimmungsanalyse wird daher von vielen Unternehmen verwendet und alle sind zufrieden, richtig? Jason Falls sagt NEIN.

Jason Falls berichtet in seinem Artikel „Why you shouldn’t trust automated sentiment analysis“ über einen Test der Firma Sentiment360.

In einem Monitoring für CBS Television wurden die Gespräche über die Show NCIS verglichen. Sentiment360 hat mit der automatisierten Analyse 50% der Treffer einer Tonalität (positiv, neutral oder negativ) zuordnen können. Nachdem anschießend die Treffer zusätzlich durch Analysten bearbeitet worden sind, hat sich herausgestellt, dass es große Unterschiede zwischen der automatisierten und der menschlichen Analyse gab.

Verlauf der Analyse:

• Sentiment360 hat verschiedene Social Media Monitoring Dienstler benutzt um die Daten zu erheben (u.a. Radian6 und ScoutLabs)
• Es gab 50.000 Treffer über die Show in einem Zeitraum von einem Monat
• Etwa 84 Prozent der Ergebnisse wurden als neutral eingestuft, 11 Prozent waren positiv und 5 Prozent beinhalteten negative Kritik. Die meisten Ergebnisse konnte nicht einer bestimmten Meinung zugeordnet werden.
• Sentiment360 haben 3.000 dieser Treffer von ihrem Analystenteam nachbearbeitet. Die Ergebnisse wurden also nur stichprobenartig bearbeitet.

Die Ergebnisse der Analyse:

• 23 Prozent der Eintragungen waren irrelevant. NCIS wurde zwar erwähnt oder die Show wurde verlinkt, aber die Treffer enthielten keine weiteren relevanten Informationen über die Show oder waren schlicht SPAM
• Nach Entfernung der irrelevanten Ergebnisse gab es nur noch 30 Prozent neutrale Treffer. Das sind 54 Prozent Unterschied zur maschinellen Analyse
• Nach Bewertung der Analysten waren 63 Prozent der Ergebnisse, anstatt maschinell nur 11 Prozent, positiv

Lediglich bei den negativen Treffern gab es zwischen menschlicher und maschineller Analyse keine großen Unterschiede. Da Unternehmen in Bezug auf eine Krisenbewältigung vor allem an diesen Ergebnissen interessiert sind, ist meiner Meinung eine automatisierte Sentiment Analyse ausreichend. Um tiefergehende Informationen einer Marktanalyse zu erhalten ist immer noch eine menschliche Analyse sinnvoll und notwenig.

Jason Falls sieht dies jedoch etwas kritischer. Er nimmt zwar ebenfalls zur Kenntnis, das neutrale Treffer für Marken nicht so relevant sind, sieht aber aufgrund von 23 Prozent irrelevanten Treffern und mehr als 50 Prozent neutralen Ergebnissen die eigentlich einer Tonalität zugeordnet werden können, einen hohen Verbesserungsbedarf seitens der automatisierten Analyse.

Aus seiner Sicht ist für Unternehmen, die eine repräsentative Marktanalye anstreben, eine Stimmungsanalyse ebenfalls nicht ratsam. Falls rät Unternehmen, dass sie bei Nutzung einer automatisierten Sentiment Analysis immer in Kopf behalten müssen, dass die Genauigkeit der Angaben beschränkt ist.

Er kritisiert jedoch nicht nur automatisierte Tools. Die menschliche Analyse von Sentiment360 wird hauptsächlich von Mitarbeitern auf den Philippinen bearbeitet. Das Outsourcen ist günstiger und ermöglicht dem Unternehmen den Service weitaus günstiger anzubieten als der Wettbewerb. Sentiment360 versichert jedoch, dass es sich bei den Analysten um Akademiker oder sogar Doktoranden handelt.

Falls stellt hier die Frage, wer den Ergebnissen traut. Saatchi & Saatchi – eine international tätige Werbeagentur – hat Sentiment grade als ihren bevorzugten Social Media Monitoring Anbieter bezeichnet. “Sentiment360 demonstrated that their combination of machine listening and human analysis provided us with excellent intelligence. We had looked at a number of their competitors and Sentiment360 excelled in quality of the analysis, ROI and delivery time.” Nicht schlecht für eine Firma, die erst seit letzten Dezember besteht.

Der Service von Sentiment360 kostet allerdings auch 7.000 Dollar im Monat und ist damit für kleine und mittelständische Unternehmen uninteressant. Fall sieht dieses Unternehmen aufgrund seiner Preispolitik nicht unbedingt als Konkurrent für viele Wettbewerber. Für alle Unternehmen, die für ein Monitoring weniger als 2.000 Dollar ausgeben möchten – und das sind nach Meinung von Falls die Mehrheit der Firmen – kommt Sentiment360 nicht in Frage.

Der Vorteil von vergleichenden Analysen, wie Sentiment es kürzlich getan hat ist, Firmen wie Lexalytics und automatisierte Social Media Monitoring Anbieter sind auf diese Weise gezwungen ihre Algorithmen ständig zu verbessern oder eine menschliche Nachbearbeitung anzubieten.
Warum Sentiment Analysis wichtig ist:

Findet man zu einem Keyword 1 bis 10 Artikel, kann man diese ohne Probleme durchlesen. Problematisch wird es bei 100 oder 1000 Treffern. Um einen Einblick in die Gefühlswelt der Nutzer zu bekommen, ist es hilfreich Stimmungen angezeigt zu bekommen. So kann sich ein Unternehmen beispielsweise auf die negativen Stimmungen konzentrieren. Auf die Sentiment Analyse alleine sollte sich ein Unternehmen jedoch nicht verlassen. Ogneva empfiehlt eine Kombination aus Sentiment Analysis und Gesamtzahl der Treffer. Ein weiterer wichtiger Punkt von Sentiment Analysis ist der Vergleich mit dem direkten Wettbewerber. 20 Prozent negative Kritik kann gut oder schlecht sein. Wenn der Konkurrent beispielsweise nur 10 Prozent an schlechter Kritik erhält, sollte das Unternehmen analysieren warum die eigenen Nutzer so unzufrieden sind.

Um negative Stimmungen im Social Web zu entdecken, ist es nach Ogneva ratsam, gezielt nach den Phrasen wie „schlechte Qualität“, „geht oft kaputt“ und „funktioniert nicht“ zu suchen. Abschließend verweist sie auf ein Zitat von Nathan Gilliatt: “Insight isn’t automated; what you do next depends on what you find.”

Gilliatt hat diese Problematik in seinem Blogbeitrag „Sentiment Analysis is Not a Mood Ring“ genauer thematisiert. Seiner Meinung nach sollte die Stimmungsanalyse als Filter und nicht als Metric behandelt werden. Eine reine Betrachtung von positiven und negativen Veränderungen der Nutzermeinungen entspricht nach Gilliatt, einem Stimmungsring beim Farbwechsel zu beobachten. Allerdings bietet Sentiment Analysis für ihn die Möglichkeit, in einer kurzen Zeit sehr viele Daten/Quellen zu analysieren. Vorausgesetzt man akzeptiert die Ergebnisse.

Was man beachten sollte:

Wenn ein Kunde sich dafür entschieden hat, die automatisierte Stimmungsanalyse zu nutzen, sollte er verschiedene Punkte beachten.

• Eine Fehlerfreie Analyse existiert nicht: Eine automatisierte Stimmungsanalyse wird nie perfekt sein, selbst eine menschliche Analyse ist nicht 100% korrekt. Manche Anbieter bieten drei Sentiment Kategorien an, manche vier oder sogar mehr als fünf. Je mehr Kategorien es gibt, umso ungenauer sind die Ergebnisse.
• Trennung der Quellen: Die meisten Inhalte im Social Web sind neutral. Manche Quellen, wie beispielsweise Twitter, haben jedoch eine höhere Anzahl an neutralen Einträgen. Ogneva führt hier die Beispiele: „I just had a cup of coffee“ und „craving tacos for lunch - who’s in?“ auf. Mit diesem Wissen im Hinterkopf ist es wichtig, die Herkunft der Inhalte getrennt zu beobachten.
• Nachbearbeitung der Ergebnisse: Da Sentiment Analysis nicht wirklich genau ist, sollte der Nutzer die Ergebnisse bearbeiten können, um irrelevante Treffer zu entfernen.
• Datensatz vs. Artikel Sentiment: Erst seit kurzem ist die Analyse von Sentiment auf Artikelebene möglich. Im Laufe der Zeit haben einige Plattformen die Möglichkeit entwickelt, Sentiment innerhalb eines Datensatzes zu analysieren. Das heißt, mehrere Datensätze innerhalb eines Artikels können getrennt analysiert werden.

Für Ogneva spielt die Stimmungsanalyse auf Basis von Datensätzen eine hohe Rolle für eine Marke. Wenn ein Artikel verschiedene wichtige Keywords enthält, ist es sinnvoll diese einzeln und im Gesamtzusammenhang in Bezug auf die Stimmung zu betrachten.

Im Englischen wird hier übrigens von Entity (Datensatz) gesprochen. Mir ist hier keine sinnvolle Übersetzung eingefallen. Ich weiß, was gemeint ist, aber falls ihr eine bessere Übersetzung findet, nehme ich das gerne auf und ändere es ab ☺

Was kommt als nächstes:

Einer der wichtigsten Punkte in Bezug auf Sentiment Analysis ist, der Zusammenhang zwischen den erlangten Erkenntnissen und der daraus resultieren Reaktion seitens des Unternehmens. Der entscheidende Punkt ist, wie die Ergebnisse in die eigene Social Media Strategie integriert werden.

Der Schlüssel zum erfolgreichen Sentiment Priorisierung:

1. Meinungsführer: Da die Anzahl der Social Media Beiträge stetig steigt, müssen die Tools kontinuierlich weiterentwickelt werden. Wie findet das Unternehmen unter Tausenden von Tweets und Blog Artikeln die Treffer, die für die Firma relevant sind.

Um die Nennungen, die der Marke schaden, zu neutralisieren, ist es erforderlich negative Beiträge genauer zu betrachten. Welche Tweets/Posts sind von Meinungsführern publiziert worden und welche Reichweite hat der Eintrag bisher erlangt? Wer hat wo ebenfalls zu diesem Thema negativ berichtet? Wie geht man damit um, wenn die Meinungsführer die Inhalte auf verschiedenen Social Media Plattformen platzieren? Die Beobachtung von Meinungsführer wird ein wichtiger Bestandteil der Social Media Monitoring Industrie.

2. Reputation: Betrachtet man die Problematik des Meinungsführers weiter, sollte nach Ogneva jeder Nutzer ein Social Media Reputation Profil haben. Nutzer, die das Unternehmen bzw. das Produkt per se schlechter als der Durchschnitt bewerten, sollten statistisch nicht so hoch bewertet werden.

3. Intensität: Obgleich die automatisierte Stimmungsanalyse durch Algorithmen wichtig ist, sollten die einzelnen Einträge differenziert betrachtet werden. Hier führt Ogneva wieder zwei Beispiele auf: „I really hate product X and will never buy it“ hat eine völlig andere Bedeutung als bspw. „Product X is running a little slow today“.

Der letzte Absatz des Artikels befasst sich mit dem Zusammenhang von Sentiment Analysis und Customer Relationship Management (CRM) und wird hier nicht mehr thematisiert. Den Link zum vollständigen Artikel gibt es hier.