Wer sind die Produktanalysten und warum werden sie im Team benötigt?

    Alle Unternehmen lieben heutzutage „Big Data“, und praktisch wird es in jedem Unternehmen eine Abteilung für Data Science-Analysten geben. In der Branche ist jedoch nicht klar, wer ein solcher Produktanalyst ist und wie sich dieser von einem Datenwissenschaftler oder einem UX-Forscher unterscheidet, der sich auf quantitative Methoden konzentriert.


    Zunehmend wird die Aufteilung der Produktanalysten, die:


    • Ziele und Metriken festlegen, den Produktentwicklungsvektor bestimmen
    • erforschen die Natur von Phänomenen, enthüllen kausale Zusammenhänge
    • prädiktive Algorithmen erstellen

    Zum Beispiel sieht eine ähnliche Struktur im Unternehmen tatsächlich so aus :



    In diesem Artikel möchte ich ein wenig von den Spezialisten abgrenzen, die sich ausschließlich mit maschinellem Lernen beschäftigen, und über die Vision der Rolle des Produktanalysten in unserem Wrike und über die Aufgaben, mit denen unser Food-Team täglich arbeiten muss , erzählen .


    Qualitativ vs. quantitativ


    In der Regel schätzen Entwickler und Unternehmen Zahlen: Quantitative Daten helfen, den aktuellen Status genau zu bestimmen, Dynamik aufzuzeigen und Marktaussichten zu bewerten. Gleichzeitig wird oft vergessen, dass die Zahlen selbst keine Gelegenheit geben, eine Antwort auf die Motivation der Menschen, die Ursache ihrer Entscheidung und weitere Handlungen zu geben.



    Qualitativ vor Quantitativ: Wie qualitative Methoden bessere Datenforschung unterstützen


    Daher machen wir bei Wirke keine klare Trennung zwischen Analysten, die qualitative und quantitative Forschung organisieren. Im Gegenteil, unserer Meinung nach müssen wir in einem kleinen Team (etwa 10 Personen) diese Fähigkeiten so weit wie möglich kombinieren können, indem wir quantitative Methoden verwenden, um Ideen für die qualitative Analyse zu entwickeln , die häufig in Verbindung mit einem Produktmanager und Designer durchgeführt wird.


    Tatsächlich haben wir in Bezug auf die Forschung zwei Erwartungen an den Analysten. Er sollte in der Lage sein:


    1. vielversprechende Wachstumspunkte für das Produkt finden
    2. Bestätigen Sie das Problem, indem Sie es formulieren und skalieren

    Als Nächstes erzählen wir Ihnen mehr über diese beiden Erwartungen und zeigen, wie genau der Analytiker die Verbindungsrolle zwischen dem Verständnis des Unternehmens für das Problem und den quantitativen Methoden übernimmt, die ihm beim Skalieren und Validieren helfen.


    1. Finden Sie die Wachstumspunkte des Produkts


    Ein Analytiker ist eine Person, die vielversprechende Wachstumspunkte für ein Produkt findet, indem sie Probleme und Aufgaben skaliert.

    Der erste Schritt, um die Aufgaben eines Produktanalytikers zu verstehen, besteht darin, zu bestimmen, zu welcher Klasse von Problemen er gehört. Drei Arten von Forschung werden normalerweise unterschieden:


    • Problemerkennung (Problemerkennung) - wenn wir nicht wissen, welche Probleme die Benutzer außerhalb der spezifischen Produktfunktionalität haben. Dies ist normalerweise die Interviewphase.
    • Problemvalidierung - wenn wir zu wissen scheinen, dass es bestimmte Aufgaben gibt, wir aber überprüfen möchten, dass eine sehr große Anzahl von Benutzern über sie verfügt. Dies ist eine Phase verschiedener Umfragen.
    • Lösungsvalidierung (Lösungsvalidierung) - wenn bereits spezifische Lösungen getestet werden, die erfunden oder prototypisiert wurden. Bühnenprototyping oder Beta-Test.

    Der Analytiker ist an allen drei Forschungsphasen beteiligt, der Schwerpunkt der Arbeit liegt jedoch nach wie vor auf der Validierung von Problemen und Lösungen. Angenommen, ein Produktmanager führte zusammen mit einem Analyst und einem Vermarkter zwanzig Interviews mit verschiedenen Kunden durch. Wie können wir verstehen, dass diesen Schlussfolgerungen vertraut werden kann und die angesprochenen Probleme für alle Benutzer relevant sind? Wie kann die Objektivität des gefundenen Entwicklungspotenzials aufgrund der Skalenbewertung sichergestellt werden? Mit anderen Worten, wie können wir überprüfen, ob das, was wir im Interview gefunden haben, tatsächlich ein potenzieller Wachstumspunkt für ein Produkt ist?


    Hier stellt sich heraus, wie die Werkzeuge und das Wissen über die Arbeit mit Daten, die qualitative und quantitative Forschung miteinander verknüpfen, maximiert werden. Verstehen Sie die Skala und finden Sie den richtigen Weg, um sie zu bestimmen - dies ist die Schlüsselkompetenz des Produktanalytikers. Hier ist nur ein kleines Beispiel, bei dem der analytische Ansatz es uns ermöglichte, den Prozess des Sammelns von Kundenschmerzen zu ändern und ihre Validierung durch das Produktteam anders anzugehen.


    Gespräche erkennen und analysieren


    Wrike hat eine Abteilung von Account Managern ( Customer Success Managern ), deren Hauptaufgabe darin besteht, Kunden nicht zu Verkaufszwecken zu unterstützen, sondern ihre Erfahrung im Umgang mit dem Produkt zu verbessern. Sie rufen Videoanrufe mit Kunden an, besprechen ihre aktuellen Schmerzen, erklären Best Practices, bieten Workflows und berichten über den Entwicklungsstand neuer Funktionen. Alle diese Gespräche wurden lange Zeit aufgezeichnet und von der Lebensmittelorganisation praktisch nicht genutzt - die Unternehmen bevorzugten es, persönlich mit den Kundenbetreuern zu kommunizieren, um sich ein Bild über die Schmerzen der Kunden zu machen. Dies könnte ein Element eines „beschädigten Telefons“ hinzufügen und enthüllte nicht immer den Kontext, in dem der Benutzer auf dieses Problem gestoßen ist.


    Eines der Initiativprojekte der Produktanalytik war die Entwicklung der Pipeline, durch die das Gespräch in ein Klartextformat umgewandelt wurde. Durch die Verwendung der Google Speech-API sowie mehrerer zusätzlicher Modelle für die Interpunktion konnten wir anhand der vielen Gespräche der Manager mit Kunden und nicht nur eines einzelnen Interviews schnell eine Vorstellung von der Größenordnung einiger Probleme und Funktionsanforderungen erhalten .. Dank einer solchen einfachen Quelle war es möglich, eine vollständige Suche nach Schlüsselwörtern durchzuführen, die sich auf bestimmte Funktionen oder Probleme bezogen, die Art der Benutzer zu beurteilen, die eine bestimmte Lösung forderten, und auch den Kontext zu verstehen, in dem sie am häufigsten auftauchte. Jetzt testen wir auch ein Modell der sentimentalen Analyse, das uns dabei hilft, die durchschnittliche Zufriedenheit mit einzelnen Teilen des Produkts automatisch zu erfassen und das Produktteam entsprechend zu informieren.


    2. Wir formen, skalieren und validieren Hypothesen


    Der Analytiker ist eine Person, die ein Problem auf der richtigen Abstraktionsebene formulieren, messen und auf Signifikanz prüfen und Handlungsempfehlungen abgeben kann.

    Unabhängig vom Stadium der Studie gibt es verschiedene Ebenen von Hypothesen (wir werden sie im Folgenden detailliert beschreiben), die helfen, die Benutzerinteraktion mit dem Produkt zu bewerten und weitere Entwicklungspläne zu erstellen. Hier stellt sich häufig die Aufgabe, das notwendige Niveau der Hypothese richtig einzuschätzen, ein Werkzeug zum Sammeln oder Validieren von Informationen auszuwählen. In der Tat ist der Prozess wie folgt:


    1. Formulierung von Hypothesen - zum Beispiel: "Für Admin-Benutzer einer bestimmten Kohorte ist es wichtig, dass sie auf der Grundlage eines wöchentlichen Berichts rechnen können."
    2. Erfassen von Nutzungsstatistiken - eine klassische Analyseaufgabe - um zu verstehen, ob die Zahlen auf die oben genannten Hypothesen reagieren können.
    3. Feedback sammeln - Recherche durch Marketing, Mailing-Listen oder durch interne Feedback-Tools
    4. Analyse und Validierung der Ergebnisse - Überprüfung der Ergebnisse einer Statistik. Bedeutung

    Lassen Sie uns noch auf den dritten Absatz eingehen, denn oft unterscheidet er den Produktanalytiker von einer Person, die sich mit Statistiken gut auskennt.


    Feedback-Sammlung


    Viele Unternehmen glauben, dass sie nach der Einrichtung eines Protokollierungssystems analytische Dienste wie Google Analytics an ihr Produkt anbinden und die Vorbereitung der Analyseplattform hier endet. Leider wird bei diesem Ansatz das wichtigste Element vergessen - die Notwendigkeit von Benutzer-Feedback, die Fähigkeit, ihn rechtzeitig zum richtigen Zeitpunkt nach seinen Aufgaben zu fragen und die Schwierigkeiten, mit denen er konfrontiert ist.


    Daher ist es von entscheidender Bedeutung, dass das Team über genügend Tools verfügt, um Benutzer unauffällig zu befragen und Feedback von ihnen einzuholen, nicht nur durch eine Art Marketingumfrage, sondern auch durch einen internen Mechanismus.



    Wir verwenden das interne QFF- Werkzeug (qualitatives Feedback-Formular), um Hypothesen zu formulieren und zu validieren und mögliche Szenarien für die Benutzererfahrung als dreistufige Pyramide (Produkt → Funktion → Interaktion) zu betrachten:


    1. Produktebene
    2. Funktionsumfang
    3. Ebene der spezifischen Interaktion

    Lassen Sie uns näher auf sie eingehen und zeigen, mit welchen Kennzahlen wir ihre Probleme verstehen.


    1. Produktebene


    Hier ist es für uns wichtig, die breitesten, funktionsübergreifendsten Bereiche des User Experience Trichters zu verstehen. Dies ist der Wunsch, Antworten auf die globalsten Fragen zu finden, sei es die Zufriedenheit mit dem Produkt als Ganzes oder ein Satz von Funktionen zum Lösen einer einzelnen Aufgabe (zum Beispiel kann das Koordinieren von Feiertagen eine Interaktion zwischen der Funktionalität von Kalendern, Aufgabenstatus, Planungsalgorithmen usw. erfordern).


    Es gibt keine klar regulierten Metriken, die in solchen Situationen angewendet werden müssen, es gibt immer Nuancen. In der Regel handelt es sich auf dieser Abstraktionsebene jedoch um Metriken wie NPS (Net Promoter Score) oder SUS (System Usability Scale). Die Metriken sind nicht unumstritten, aber in der Regel sind sie immer noch die Standards der Industrie und helfen, auf einer Skala von mehreren Quartalen zur Zielsetzung zu navigieren.


    2. Das Niveau der Funktionalität


    Auf dieser Ebene stellen wir bereits spezifischere Fragen, die sich direkt auf eine bestimmte Funktion beziehen. Aus dem obigen Beispiel - wir können das Problem der "Koordinierung des Urlaubs" im Allgemeinen bereits getrennt betrachten, nehmen jedoch nur einen bestimmten Teil des Produkts, beispielsweise Kalender. Wie wohl fühlen sie sich für die Wahrnehmung? Warum benutzen die Leute sie?


    Je nach Stand unserer Forschung können sich nicht nur die Fragen, sondern auch die Indikatoren unterscheiden, die wir von unseren Benutzern sammeln. Die einfachste ist die Zufriedenheit, die von Aufgabe zu Aufgabe mit verschiedenen Skalen (drei Emoticons oder Likert-Skala) und CES (Customer Effort Score) ausgelesen werden kann - wie schwierig oder einfach es für einen Benutzer ist, einige Aufgaben auszuführen.


    3. Die Ebene der Interaktion


    Die Aufgabe dieser Ebene besteht darin, eine bestimmte Iteration auszuwerten, die der Benutzer mit dem Produkt durchgeführt hat (z. B. hat er eine bestimmte Taste gedrückt). Es ist wichtig, dass das Ergebnis dieser Interaktion eine Art Aktion oder Entscheidung war, die wir nicht messen oder kontrollieren können. In der Regel handelt es sich hier um Zufriedenheit und nachfolgende Entscheidungen: Hat der Manager beispielsweise beim Blick auf den Kalender verstanden, wenn ein Mitarbeiter im Urlaub ist? Ist das Datenexportformat für den Benutzer geeignet? Da alle weiteren Aktionen entweder nur im Kopf des Benutzers oder außerhalb unseres Produkts ausgeführt werden, haben wir keine andere Methode zur Bewertung der Iteration.


    Tatsächlich ist die Ebene der Interaktionsbewertung ein Versuch, die CSAT-Metrik (Kundenzufriedenheit) zu bewerten, die häufig in Support- und anderen Services verwendet wird, bei denen Sie ein bestimmtes Ereignis bewerten müssen. In diesem Fall können auch Metriken wie CES verwendet werden, jedoch in einer "lokalen" Formulierung.


    Analyse und Validierung der Ergebnisse


    Nachdem wir die Hypothesen festgelegt, die Fragen formuliert und unsere Validierungsumfragen mit der richtigen Benutzererfahrung mit dem Produkt durchgeführt haben, stellt sich ein Problem, das wiederum vom Analysten besonderes Talent erfordert - diesmal im Bereich der Statistik und des Hypothesentests.


    Nach jeder Umfrage muss der Analytiker mit dem Vertrauen zufrieden sein, dem Sie den Ergebnissen, einschließlich der Ergebnisse Ihrer Arbeit, vertrauen können. Beeinflusst der Faktor der Arbeit in einem großen Unternehmen die Antwort? Und die Position des Mitarbeiters?


    Alle diese Hypothesen werden gründlich mit den erforderlichen Werkzeugen getestet: Wie beim richtigen A / B-Test hängt es direkt vom Analytiker ab, welche Ansätze in der jeweiligen Situation anwendbar sind. Regressionsanalysen können in der Regel häufig eingesetzt werden, sind jedoch nicht die einzige universelle Lösung, da hat eigene Anwendungsbereiche und Interpretationen. Bestimmte Methoden liegen immer im Ermessen des Analytikers.


    Anstelle des Schlusses


    Oben haben wir nur zwei Hauptfälle in der Arbeit des Analytikers aufgezeigt, und gleichzeitig haben wir bewusst nicht über alle Stufen seiner Arbeit gesprochen - eine ausführliche Beschreibung aller Arten von Forschung, Formulierungen von Hypothesen und die ordnungsgemäße Datenerhebung sind separate Artikel wert. Wir sind jedoch der Ansicht, dass selbst eine so hochformulierte Formulierung der Erwartungen an die Analyse und die Festlegung der Schlüsselmethoden seiner Arbeit jedes Produktteam erheblich stärken und zu besseren Produkten beitragen wird.


    Die Fähigkeit, Wachstumspunkte in den Daten zu finden (egal wie unstrukturiert sie auch sein mögen), sie korrekt in Hypothesen umzuwandeln, für alle aktuellen und zukünftigen Benutzer zu skalieren und zu validieren - jene Eigenschaften, die unsere Produktanalysten auszeichnen. Daher wissen wir mit Sicherheit, dass solche Anforderungen zu den greifbarsten Ergebnissen führen und es nicht zulassen, dass sie in die Betriebsroutine geraten. Daher empfehlen wir diese Prinzipien anderen Teams so kühn.


    Und wenn Sie über quantitative Analysen, Big Data und infrastrukturelle Aspekte, die alle Analysen in Wrike unterstützen, sprechen möchten, besuchen Sie uns auf dem Meeting im St. Petersburger Büro . Nun, oder komm einfach zu Besuch.


    Jetzt auch beliebt: