Wie wir mobile App-Bewertungen mithilfe von Machine Learning analysiert haben.

    Vor kurzem haben wir, das Team von Data Science Big Data Sbertech, ein interessantes Pilotprojekt im Bereich des maschinellen Lernens absolviert: Wir haben versucht, Vorfälle in der Arbeit von Sberbank Online mobile anhand von Texten der Nutzerberichte in App-Stores zu identifizieren. Wir haben Bewertungen von Google Play für den Zeitraum von Oktober 2014 bis Oktober 2017 (882.864 Bewertungen) abgerufen, 92.711 Negative (1-2 Sterne) gefiltert und mit der Arbeit begonnen. Was sagen wir unter dem Schnitt?



    Beantworten Sie sofort eine mögliche Frage. Das Verhältnis von positiven zu negativen Bewertungen erwies sich in keiner Weise in Zusammenhang mit Vorfällen. Daher waren mehr Listmethoden erforderlich. Außerdem wollten wir die Themen der Vorfälle identifizieren.

    Um Anomalien zu identifizieren, haben wir das autoregressive Arima-Modell für den gleitenden Durchschnitt gewählt.

    ARIMA (p, d, q) für eine nicht stationäre Zeitserie Xt ist:


    wobei εt eine stationäre Zeitserie ist; c, ai, bj - Modellparameter; △ d - Operator Differenz - Zeitreihen der Ordnung d (unter sequentiellen dmal die Differenzen der ersten Ordnung - zuerst aus der Zeitreihe, dann aus den ermittelten Differenzen der ersten Ordnung, dann aus der zweiten Ordnung usw.).

    Während der gesamten Probe trainiertes Modell. Um ein normales Niveau der negativen Bewertungen für das ausgewählte Datum vorherzusagen, haben wir ein Intervall von drei Monaten davor verwendet. Die Vorhersage wurde eine Woche vor dem ausgewählten Datum erstellt, wobei die Diskretisierung an einem Tag erfolgte.

    Als nächstes bildete sich ein Vertrauensniveau. Dazu wurde für jedes Datum der berechnete Wert des Konfidenzintervalls zum Wert der Vorhersagefunktion addiert. Es wurde für das dritte Quantil der Verteilung aller Abweichungen der Vorhersagefunktion vom tatsächlichen Betrag der negativen Rückkopplung für das Dreimonatsintervall genommen, in dem die Vorhersage des Normalniveaus aufgebaut ist.

    Die Anomalie wurde aufgezeichnet, wenn der tatsächliche Betrag der negativen Rückmeldung über dem Vertrauensniveau (vorhergesagter Wert + Vertrauensintervall) lag. So sieht es in der Grafik aus:


    Rot ist die tatsächliche Anzahl der Bewertungen. Gelb ist der vorhergesagte Wert des Normalniveaus mit einem Konfidenzintervall.

    Für die weitere Analyse haben wir 5 verschiedene Peaks ausgewählt, die am 27. Februar 2017, 15.03.2017, 14. September 2017, 18.09.2017, 20.09.2017 gefallen sind.

    Die Aufdeckung der Vorfälle wurde durchgeführt, indem die Texte der Reviews mit zwei Modellen zusammengestellt wurden, die auf BIGARTM und Word2Vec mit integriertem Kmeans-Clustering basieren.

    Bibliothek BIGARTM (thematisches Modell)


    Das thematische Modell ist eine Darstellung der beobachteten bedingten Verteilung p (w | d) von Begriffen (Wörtern oder Ausdrücken) w in Dokumenten d der Sammlung D :


    wobei T eine Menge von Themen ist;
    - unbekannte Verteilung von Begriffen im Thema t ;
    - unbekannte Verteilung von Themen im Dokument d .

    Die Parameter des thematischen Modells - Matrizen und - werden durch die Lösung des Problems der Maximierung der Wahrscheinlichkeit ermittelt:



    Der Hauptvorteil gegenüber anderen Wahrscheinlichkeitsmodellen besteht im Vorhandensein von Regularisierern zum Glätten, Verdünnen und Dekorrelieren.

    Modell mit Word2Vec


    Das mit Word2Vec verwendete Modell basiert auf der Tensoralgebra. Darunter wurde ein Wörterbuch aller Wörter in den Rezensionen erstellt. Die Word2Vec-Vektorwortdarstellung wurde zum Basisraum für Cluster.

    Der Algorithmus ist so beschaffen, dass er versucht, die quadratische Gesamtabweichung der Clusterpunkte von den Zentren dieser Cluster zu minimieren:


    k ist die Anzahl der Cluster, S i ist die resultierenden Cluster, i = 1,2 ... k , und μ i sind die Massenzentren aller Vektoren x aus dem Cluster S i . Betrachten wir nun die Ergebnisse der Modelle anhand konkreter Beispiele.

    Anomale Zeit mit einem Höchststand 15.03.2017


    BIGARTM :
    Clusternummer
    Tags
    Beispiele für Cluster-
    Feedback (Quellvokabular)
    1
    Update Version Operation Konto Arbeitsfehler kann nicht installiert werden

    „Die alte Version funktioniert nicht. Ich brauche kein Update. Es ist kein Platz auf dem Telefon! Gib die Möglichkeit zurück, die alte Version zu verwenden !!! "

    " Ich kann die Anwendung überhaupt nicht installieren, es ist mehr als 50% Speicher auf dem Telefon, aber die Anwendung schreibt hartnäckig, dass die Installation nicht möglich ist, Fehler 24! Ich habe den Fehler behoben, ich habe ihn schon früher benutzt, er hat mir wirklich gut gefallen !!! "

    " Nach dem Update funktionierte er nicht mehr! Es erscheint ein Fenster mit der Meldung: "" In der Anwendung "Sberbank" "ist ein Fehler aufgetreten und auf Wiedersehen. Ich habe das verdammte Upgrade gemacht! Vor dem Update hat alles gut funktioniert, vollkommen zufrieden. Und im Kurs habe ich keinen solchen Mist! "
    2
    Verbindung go write work cannot_ memory kann nicht ständig ausflippen, schreckliches Löschproblem

    “Ich kann die Anwendung nicht eingeben, den Code eingeben, schreiben, ich kann die sichere Verbindung nicht wiederherstellen. Was ist der Deal?! Oder du bist gezwungen zu aktualisieren! Ich war mit dem alten Update zufrieden! Lösen Sie das Problem! “

    „ Was haben Sie mit einem großartigen Programm gemacht? Hat genickt und bedauert. Alle 2 Minuten erscheint ein Fenster mit dem Text „Die Verbindung zur Sparkasse wurde unterbrochen“. Ich entschied mich zu entfernen und neu zu installieren. Jetzt geht es gar nicht auf. Sofort aus dem Programm geworfen. Jungs, alte Version zurückschicken »
    3
    SMS kommen nicht, um die Code-Karte einzugeben, die Sie benötigen, um Ihnen zu danken, dass Sie nicht trainieren können, kann nicht abheben



    SMS kommt nicht mit einem Passwort zum Telefon.“ „Registriert sich nicht, schreibt, dass SMS mit dem Code kommt und nichts…“

    „Nach dem Update kommt SMS über die Eingabe, aber der Schwellenwert springt in 4 Sekunden aus. Wie zu sein

    Word2Vec + Kmeans:
    Clusternummer
    Tags
    Beispiele für Cluster-
    Feedback (Quellvokabular)
    1
    Aktualisieren Sie das Verbindungsprotokoll beim Aktualisieren
    “Ich kann die Anwendung nicht eingeben, den Code eingeben, schreiben, ich kann die sichere Verbindung nicht wiederherstellen. Was ist der Deal?! Oder du bist so gezwungen, aktualisiert zu werden! Ich war mit dem alten Update zufrieden! Lösen Sie das Problem! “

    „ Verbindung ist unterbrochen, Verbindung zu einem anderen Netzwerk herstellen - das sehe ich am häufigsten, wenn ich in die Anwendung einsteigen möchte. Aktualisierungen werden immer sofort angezeigt, wenn sie ausgehen. Wenn Sie gehen können, funktioniert alles gut. “

    2
    SMS in Telefon kommen
    „Nach dem Update kommt eine SMS über den Eingang, aber die Schwelle fliegt in 4 Sekunden heraus. Wie soll ich sein? "

    " SMS kommt nicht mit einem Passwort zum Telefon "

    " Bei der Registrierung wird SMS nicht mit dem Code geliefert ... "

    " Es ist nicht möglich, einzugeben. Der Code per SMS kommt nicht. Korrigieren Sie alles so schnell wie möglich. "

    BIGARTM
    Word2Vec + Kmeans


    • Nur 194 Bewertungen.
    • 3 Cluster identifiziert.

    Probleme beim Clustering:

    • Das Problem der Anwendung, die der Upgrade-Version zugeordnet ist.
    • Das Problem der Anwendung ist mit der Verbindung zur Sberbank verbunden.
    • Das Problem beim Senden des SMS-Codes des Benutzers.

    • Insgesamt 190 Bewertungen.
    • Identifiziert 2 Cluster.

    Probleme beim Clustering:

    • Das Problem beim Zugriff auf die Anwendung, die der Verbindungs- und Updateversion zugeordnet ist.
    • Das Problem beim Senden des SMS-Codes des Benutzers.


    Wie aus den Ergebnissen ersichtlich, hebt BIGARTM die Themen im Vergleich zu Word2Vec + Kmeans klarer hervor. Für das Word2Vec + Kmeans-Modell wurden kurze nichtinformative Reviews mit Wörtern ohne Vektordarstellung (fehlerhafte Wörter, Schimpfwörter usw.) nicht berücksichtigt.

    Interessanterweise wurden während dieses Zeitraums Vorfälle im internen System ServiceDesk nicht nach Versionsaktualisierungsproblemen klassifiziert und separat verarbeitet. Dies bedeutet, dass das Modell in diesem Fall die Arbeit besser erledigt als die Person.

    Frühe Anerkennung


    Und hier ein Beispiel, das die Fähigkeit unseres Modells zeigt, im Voraus zu arbeiten. Am 18. September 2017 wurde in ServiceDesk ein massives Problem in Bezug auf die Unfähigkeit registriert, sich bei der Anwendung anzumelden und Zahlungen für einige Benutzer zu tätigen. In der Arima-Grafik sehen wir zu diesem Datum einen starken Anstieg negativer Bewertungen sowie eine leichte Veröffentlichung vier Tage zuvor.



    Wir haben beide Emissionen analysiert.

    14. September 2017:
    BIGARTM
    Word2Vec + Kmeans


    • Nur 243 Bewertungen.
    • 3 Cluster identifiziert.

    Probleme beim Clustering:

    • Das Problem beim Geldtransfer. Das Problem mit der Schnittstelle.
    • Das Problem bei der Eingabe der Anwendung nach dem Update.
    • Das Problem mit dem Eingang zur Anwendung. Der Benutzer ist mit den Datenschutzbestimmungen nicht zufrieden.

    • Insgesamt 171 Bewertungen.
    • 1 Cluster identifiziert.

    Problem beim Clustering erkannt:

    • Das Problem, nach dem Update in der Anwendung zu arbeiten. Der Benutzer ist mit der Datenschutzrichtlinie nicht zufrieden, es gibt auch ein Problem mit dem Geldtransfer.


    18. September 2017:
    BIGARTM
    Word2Vec + Kmeans


    • Insgesamt 935 Bewertungen.
    • 3 Cluster identifiziert.

    Probleme beim Clustering:

    • Das Problem bei der Eingabe der Anwendung nach dem Aktualisieren der Version. Die Anwendung informiert den Benutzer über die veraltete Version.
    • Das Problem mit dem Eingang zur Anwendung. Der Benutzer gibt das Passwort mehrmals ein, die Anwendung hängt.
    • Das Problem der Anwendung im Zusammenhang mit dem integrierten Antivirus.

    • Insgesamt 828 Bewertungen.
    • 1 Cluster identifiziert.


    Problem beim Clustering erkannt:
    • Das Problem bei der Eingabe eines Passworts und der Eingabe der Anwendung. Versionsaktualisierungsfehler


    In welcher Beziehung stehen diese Ergebnisse zu den Daten von ServiceDesk?
    Datum der Anomalieerkennung
    Registrierte SM-Ausgabe
    Identifizieren der
    Wurzel des Problems bei der Verwendung von BIGARTM

    Identifizieren der
    Wurzel des Problems bei der Verwendung von Word2Vec + Kmeans

    2017-09-14
    00:00 - 24:00 Uhr

    Nach dem Aktualisieren der Anwendung wurde ein verstärkter Hintergrund für Aufrufe von aktualisierten Anwendungen gebildet.
    Das Problem beim Geldtransfer. Das Problem mit der Schnittstelle.

    Das Problem bei der Eingabe der Anwendung nach dem Update.
    Das Problem mit dem Eingang zur Anwendung.

    Der Benutzer ist mit den Datenschutzbestimmungen nicht zufrieden.
    Das Problem, nach dem Update in der Anwendung zu arbeiten. Der Benutzer ist mit der Datenschutzrichtlinie nicht zufrieden, es gibt auch ein Problem mit dem Geldtransfer.
    2017-09-18
    00:00 - 24:00 Uhr
    Im Zeitraum von 09:23 Uhr
    bis 15:20 Uhr Moskauer Zeit wurde für einen Teil der Kunden der Bank ein Anstieg der Einstiegszeit und der Operationen in Sberbank Online verzeichnet.
    Die Vorfälle hatten praktisch keine Auswirkungen auf die Arbeit von Kunden, die IOS einsetzen.
    Erhöhte Anzahl von Kundenanrufen im Contact Center der Bank (bis zu 1369 zusätzliche Anrufe in 15 Minuten).
    Das Problem bei der Eingabe der Anwendung nach dem Aktualisieren der Version. Die Anwendung informiert den Benutzer über die veraltete Version.

    Das Problem mit dem Eingang zur Anwendung. Der Benutzer gibt das Passwort mehrmals ein, die Anwendung hängt.

    Das Problem der Anwendung im Zusammenhang mit dem integrierten Antivirus.
    Das Problem bei der Eingabe eines Passworts und der Eingabe der Anwendung. Versionsaktualisierungsfehler

    Es ist offensichtlich, dass am 18. September zahlreiche negative Kundenbewertungen und Anrufe beim Contact Center durch das Fehlen einer angemessenen Reaktion auf den verstärkten Hintergrundereignis am 14. September verursacht wurden. Dieses Beispiel zeigt deutlich, dass das Modell helfen kann, ein Massenproblem zu vermeiden, indem es frühzeitig erkannt wird.

    Interessant ist auch, dass das Modell zur gleichen Zeit ein anderes Problem (mit dem integrierten Antivirus) entdeckte, das vor dem Hintergrund des Hauptproblems nicht hervorgehoben wurde. Für sie fehlt die Registrierung bei ServiceDesk.

    Fassen wir zusammen


    Maschinelles Lernen ist gut für die Analyse von Benutzerfeedback. Manchmal noch genauere manuelle Verarbeitung. Dies reduziert die Zeit, um Vorfälle einer mobilen Anwendung zu eliminieren und zu verbessern.

    Möglicherweise eignen sich solche Methoden nicht nur zur Erkennung von Vorfällen, sondern auch zur Analyse neutraler und positiver Rückmeldungen, um priorisierte Fälle von Benutzern hervorzuheben. Dies hilft dabei, die Funktionalität der Anwendung basierend auf Kundenpräferenzen zu entwickeln, ohne dass zusätzliche Kosten für deren Erfassung und Analyse entstehen. Aber diese Idee muss auch geprüft werden ...

    Jetzt auch beliebt: