Sonntag, 11. Juli 2010

Mensch vs. Maschine - Das Experiment

David Nelles schreibt in seinem Artikel „Social Media Monitoring – mehr Kopf und weniger Maschine“, dass es in Deutschland vor 2-3 Jahren lediglich eine handvoll Social Media Monitoring Tools gab. Das kann ich nicht bestätigen oder widerlegen, da ich mich erst seit kurzem mit diesem Thema beschäftige. Was ich aber mitbekomme ist, dass immer mehr Unternehmen in diesem Bereich aktiv werden. Es ist sehr schwer, eine Marktübersicht über Social Media Monitoring Anbieter zu erstellen. Während Social Media Monitoring in Amerika bereits eine Selbstverständlichkeit ist, hat sich dieser Themenbereich nun auch in den Köpfen der Kommunikationsentscheider in Deutschland etabliert.

Aber was kann ein Social Media Monitoring Tool leisten? Ein Technologieanbieter kann durch seine Softwarelösung die recherchierten Ergebnisse anhand von festgelegten Themenwelten klassifizieren, zusammenfassen und in Grafiken umsetzen. Ein Monitoring System kann keine wirklich qualitative Analyse durchführen. Eine vollautomatische Tonalitäts-Analyse liefert nur sehr bedingt zuverlässige Ergebnisse. Darüber hinaus sind Crawler und Such-Algorithmen nicht in der Lage, Handlungsempfehlungen auszusprechen oder gefundene Insights in eine sinnvolle Strategie umzusetzen. Jedes Tool ist nur so gut, wie der Mensch bzw. Analyst, der die Daten auswertet. Die menschliche Komponente macht jedoch auch den Unterschied in Bezug auf die Kosten eines Monitorings.

Entscheidend ist schließlich die Qualität der Reportings und ggf. die Handlungsempfehlungen, die durch den Monitoring Anbieter geleistet werden. In Bezug auf die Qualität kommt es ebenfalls darauf an, ob die Analyse von einem erfahrenen Analysten oder durch einen Praktikant durchgeführt worden ist. Der Social Media Analyst sollte daher ein tiefes Verständnis vom untersuchenden Markt und dem Unternehmen des Kunden mitbringen. Obwohl der Kunde selbst am besten Kenntnis über den Markt und das Unternehmen hat und so selbst das Tool bedienen könnte, ist anzumerken, dass dem Kunden wiederum Analysekenntnisse fehlen.

Was ist nun, wenn ich als Unternehmen Gefahrenpotentiale frühzeitig entdecken möchte? Wenn man auf schnelle Reports in Krisensituationen angewiesen ist? Beim Anbieter von menschlicher Social Media Analyse werden die Ergebnisse zuerst durch ein Analystenteam bearbeitet, das braucht Zeit. Bei kleinen und mittelständischen Unternehmen den Überblick über Gespräche im Web 2.0 zu behalten, ist nicht das Problem. Große Unternehmen, über die täglich mehrfach in den Social Media Plattformen diskutiert wird, benötigen eine Lösung, die schnell Gefahrenpotentiale aufdecken kann.

Welche Rolle spielen kostenfreie Social Media Monitoring Tools? Sind sie sinnvoll, wenn ja für wen? Diese Fragestellungen haben mich dazu gebracht, verschiedene Social Media Monitoring Anbieter / Möglichkeiten in Bezug auf ein Thema zu untersuchen. Für die Analyse habe ich folgende Thesen definiert:
  1. Die Qualität der Daten/Ergebnisse ist bei einem Social Media Analyse Unternehmen (menschliche Analyse) besser
  2. Die Stimmungsanalyse beim automatisierten Tool funktioniert nur eingeschränkt
  3. Nur im Rahmen einer menschlichen Analyse werden Handlungsempfehlungen und mögliche Strategien erstellt
  4. Zur Erkennung von Gefahrenpotentialen eignen sich eher automatisierte Tools
  5. Die Analyse durch menschliches Personal ist kostenintensiver als durch ein automatisiertes Tool
  6. Kostenlose Tools bieten einen geringen Funktionsumfang als kostenpflichtige
  7. Kostenlose Tools – bis auf Social Mention - bieten keine qualitative Auswertung (Stimmungsanalyse) an
  8. Aufgrund unrelevanter Ergebnisse müssen die Suchoperatoren während des Tests bei den automatisierten Tools optimiert werden 
Lassen sich diese Thesen in der Praxis bestätigen? Dies soll in einem Versuch getestet werden. Ziel ist jedoch nicht, festzulegen welche Möglichkeit die beste für alle Anwender ist, denn das ist meiner Meinung nach schlicht unmöglich. Es gibt keine Standardlösung für alle Nutzer. Daher soll im Rahmen des Tests aufgezeigt werden, für welche Anforderungen beispielsweise Monitoring Lösung XY geeignet ist.

Aufbau
Im Rahmen der Analyse sollen die Ergebnisse verschiedener Social Media Monitoring Dienstleister unter verschiedenen Gesichtspunkten gegenübergestellt und herausgearbeitet werden, was ein Kunde von einem kostenlosen Tool erwarten kann, welchen Mehrwert bietet ein Standard Dashboard eines Anbieters bzw. eine Social Media Analyse der Ergebnisse.

Thema: Marke Bionade 

In diesem Test soll ein erstelltes Monitoring Dashboard mit Yahoo Pipes, gegen einem automatisierten internationalen Anbieter sowie einem Social Media Monitoring Unternehmen aus Deutschland und einem Anbieter einer menschlichen Social Media Analyse betrachtet werden. Der Test erfolgt vorerst anonym. Ob und in welcher Form ich Ergbnisse preisgebe, spreche ich zuvor mit den Testpartnern ab. Aus diesem Grund wird das Konzept auch nur teilweise auf dem Blog veröffentlicht. Inhaltlich gibt es natürlich noch mehr Inhalte. Ich werde hier allerdings die wichtigsten Punkte auflisten.

Obwohl alle Testkandidaten Social Media Monitoring anbieten, ist es schwierig die verschiedenen Produkte miteinander zu vergleichen, da man Äpfel nicht mit Birnen vergleichen kann. Einer der wichtigsten Aspekte im Rahmen der Analyse ist die Qualität der Daten/Ergebnisse. Da die Anbieter jedoch in Bezug auf verschiedene Punkte analysiert werden sollen, wurden folgende Kriterien aufgestellt:

Inhalte: Welche Daten werden von den jeweiligen Teilnehmern gefunden. Gibt es thematisch interessante Ergebnisse, die nur von einem Testkandidaten gefunden werden? Wie werden Meinungen von den verschiedenen Anbietern interpretiert? Bei Twitter hat Eveline Hauptkorn kürzlich folgende interessante Frage gestellt:

Eveline3112: "Lufthansa ist unbezahlbar" - wird so ein Spruch eigentlich in Social Media Monitoring Tools als positiv oder negativ gewertet? #grübel

Gibt es beispielsweise bei den automatisierten Tools falsche, nicht relevante Ergebnisse? Beim letzten Punkt sollen vor allem die automatisierten Tools untersucht werden. Bei der Social Media Analyse durch das Analystenteam wird davon ausgegangen, dass falsche Ergebnisse herausgefiltert werden.

Qualität: Welche qualitativen Ergebnisse werden erzielt. Ergebnisse in Bezug auf Tonalität werden von allen Anbietern bis auf Yahoo Pipes angezeigt. Im Rahmen der Sentiment Analysis ist es für ein automatisiertes Tool jedoch schwierig, Sarkasmus sowie falsche Positivmeldungen zu erkennen. Die Ergebnisse der automatisierten Tools sollen daher auf Relevanz überprüft werden. Bei einer zu hohen Anzahl an Daten erfolgt die Überprüfung der Ergebnisse stichprobenartig. Bei Bionade ist davon jedoch nicht auszugehen.

Gefahrenpräventation: Werden Gefahrenpotentiale früh aufgedeckt und der Kunde benachrichtigt? In welchem Zeitrahmen wird über das mögliche Gefahrenpotential benachrichtigt. Dieser Aspekt kann nur getestet werden, falls Gefahren auftauchen.

Reporting: Wie ist das Reporting aufgebaut, wie werden die Ergebnisse präsentiert? In welchem Zeitraum wird über Ergebnisse informiert?

Betreuung/Support: Wie erfolgt die Beratung/das erste Kundengespräch? Welche Unterlagen werden dem Kunden zur Verfügung gestellt? Gibt es für den Kunden einen festen Ansprechpartner, wie erfolgt die Beantwortung von Rückfragen während dem Testzeitraum/Analyse? Welche Art von Support / Unterstützung bei Problemen wird vom Anbieter angeboten?

Preis: Wie hoch sind die Kosten für die Analyse?

6 Kommentare:

  1. Hi Steffi,

    Vielen Dank für die Information. Mich würde interessieren welche nennenswerte Social Media Monitoring Anbieter es vor drei Jahren in Deutschland (in Deutschland ansässige Unternehmen) schon gab. Meiner Kenntnis nach, und ich habe damals für ein deutsches Monitoring Unternehmen gearbeitet, gab es da nicht viel mehr wie eine Hand voll.

    AntwortenLöschen
  2. Genau kann ich das auch nicht sagen, da ich mich damals noch nicht mit dem Thema beschäftigt habe und dieses Punkt nicht bei allen Anbieter abgefragt habe. Nach meinem Kenntnisstand (Studie Alexander Plum und Gespräche mit den Anbietern) gab es vor 2-3 Jahren bereits folgende Anbieter:

    Business Intelligence Group (B.I.G.), complexium, Consline, Ethority, Infospeed und VICO.

    Cogisum, Hyve, Nielsen und Unicepta auch, aber mit den Unternehmen habe ich mich noch nicht genauer beschäftigt.

    AntwortenLöschen
  3. Nach meinem Kenntnisstand nach haben Nielsen(Buzzmetrics) ihre Vertriebsorganisation in Deutschland erst vor knapp zwei Jahren augebaut und Hyve ist eigentlich auch einen etwas anderen Fokus wie der herkömmliche Monitoringanbieter. Okay, dann lass uns mal auf zwei Hände einigen ;)

    Eine Sache würde mich aber trotzdem noch interessieren. Du sprichst von der Untersuchungrundlage Social Media. Welche Plaformen meinst Du damit genau? Denn eines darf man nicht vergessen: Social Media Monitoring Tools können nicht
    ohne weiteres Social Networks crawlen. Einen Punkt den ich eigentlich für sehr wichtig halte, wenn es darum geht umfängliche Social Media Analyse anzufertigen.

    Beste Grüße

    David

    AntwortenLöschen
  4. Hi David,

    gut zu wissen. Die Studie von Alexander Plum basiert auf Fragebögen, die an die Anbieter verschick wurden. Demnach geben Hyve an, seit 2002 Erfahrung im Webmonitoring zu haben und Nielsen seit 1999 (damit ist Deutschland dann wohl eher nicht gemeint?). Mit beiden Unternehmen habe ich mich wie gesagt noch nicht näher beschäftigt.

    Ich verstehe unter Social Media Blogs, Foren, Microblogs (eigentlich hauptsächlich Twitter), Flickr und YouTube etc. und eben auch Social Networks. Vielleicht sollte ich dann doch die Definition von Social Media im Rahmen der Arbeit auf den Blog setzen. ;)

    Aber ich sehe das ähnlich wie du. Automatisierte Tools können Facebook & Co eben nicht ohne weiteres crawlen. In diesem Bereichen ist dann oft eine manuelle Recherche/Analyse erforderlich. Grade für Facebook gibt es ja mittlerweile einige kostenlose Tools die Status-Updates crawlen. Das geht aber nur bei frei zugänglichen Inhalten. Facebook Gruppen sind darin beispielsweise nicht enthalten. Zum Thema Facebook Monitoring werde ich in den nächsten Tagen auch noch einen Artikel schreiben.

    Beste Grüße, Steffi

    AntwortenLöschen
  5. Ich glaube http://infospeed.de/ sind schon längere Zeit dabei. Vor ein paar Jahren wurden hautsächlich Foren ausgewertet.

    AntwortenLöschen
  6. Habe das jetzt erst gesehen :-) Interessant nach ein paar Monaten zu entdecken was man so getwittert hat...
    Liebe Grüße
    Eveline

    AntwortenLöschen

LinkWithin

Related Posts with Thumbnails