Nicht alle Kommentare sind gleich hilfreich.

    Alle Tiere sind gleich, aber einige Tiere sind gleicher als andere. Tierfarm, George Orwell ( Original ).

    Eine ganze Reihe von Artikeln über das Habré erhält eine beachtliche Anzahl von Kommentaren, zum Beispiel in den Artikeln " Best of the Month ", von denen es normalerweise mehr als einhundert gibt. Im Laufe der Jahre des Lesens des habr entstand der Eindruck, dass in etwa der Hälfte der Fälle für Kommentare der ersten Ebene dies das Bild ist

    (das Bild wurde auf der Grundlage des Habra-Artikels „Skeptic's List“ erstellt ).

    Unter dem Schnitt befindet sich die Geschichte, welche Sortierungen von Kommentaren es gibt, wo sie angewendet werden und eine kurze Diskussion darüber, wie Kommentare sortiert werden können (und warum).

    Generell ist das Problem des Sortierens von Kommentaren, Beiträgen und allem anderen nicht neu: Facebook-Infografiken , Sortieren von Kommentaren zu reddit hier und hier undEine kurze Beschreibung der Algorithmusparameter aus digg.

    Grundlegende Methoden zum Sortieren von Kommentaren der ersten Ebene


    Wir werden von einfach zu komplex gehen, die Methoden kurz beschreiben und charakterisieren. Beginnen wir mit den einfachsten und naivsten Methoden: der Mittelung und ihren Variationen (Details werden hier beschrieben ).

    Im Folgenden meinen wir, sofern nicht anders angegeben, mit Kommentar "Kommentar der obersten Ebene". Die Bedeutung ist ungefähr wie folgt: Kommentare der obersten Ebene sind an den Artikel selbst gerichtet, und Kommentare der zweiten, dritten usw. sind eine Diskussion um den Kommentar. Methoden, die den gesamten Zweig der Kommentare berücksichtigen, werden am Ende des Artikels kurz erläutert.

    Die Aufgabe besteht darin, den Kommentaren eine bestimmte Punktzahl zuzuweisen (Kommentargewicht) und die gesamte Liste nach diesem Parameter zu sortieren.

    Die Anzahl der Pluspunkte abzüglich der Anzahl der Minuspunkte



    Dies wird im urbandictionary Online-Wörterbuch verwendet .

    Diese Methode ist die einfachste, entspricht aber keineswegs den Erwartungen der Benutzer. Im obigen Bild sehen wir beispielsweise, dass eine Beschreibung mit 72% der positiven Bewertungen niedriger platziert ist als eine Beschreibung mit 70% der positiven Bewertungen.

    Relative Durchschnittsbewertung: Die Anzahl der Pluspunkte zur Gesamtanzahl der Bewertungen

    Eine der Sortieroptionen bei Amazon ist eine relative Durchschnittsbewertung. Angenommen, wir suchen nach einem Toaster und haben die Sortierung nach Nutzerbewertungen vorgenommen:

    Es stellt sich heraus, dass ein Element mit einer einzigen Bewertung von 5 * immer höher ist als jedes Element, das mindestens eine andere Bewertung (4 *, 3 *, 2 *, 1) aufweist *), unabhängig von der Anzahl dieser Bewertungen. Einfach ausgedrückt, wenn wir ein Produkt haben, das 9.999 Bewertungen von 5 * und eine von 4 * hat, dann ist dieses Produkt niedriger als ein Produkt mit einer Einzelbewertung von 5 *.

    Wahrscheinlichkeit, auf eine positive Bewertung zu warten

    Vor den Wahlen finden immer Meinungsumfragen statt, bei denen nach Angaben einer kleinen Zahl von Befragten versucht wird, das Gesamtbild der Welt wiederherzustellen. Aus der geringen Anzahl von Messungen, die uns zur Verfügung stehen, versuchen wir Folgendes zu verstehen: Mit der beobachteten Anzahl von Bewertungen (Vor- und Nachteile für das Produkt) und einer Wahrscheinlichkeit von mindestens 0,85, wie hoch ist der „tatsächliche Anteil“ positiver Bewertungen?

    Wie solche Dinge normalerweise in einer barrierefreien Sprache berechnet werden, steht in dem Buch:
    Probabilistische Programmierung und Bayes'sche Methoden für Hacker

    Kurz gesagt, solche Berechnungen sind zu zeitaufwendig, sodass sie die Formel für die Untergrenze des Wilson-Konfidenzintervalls verwenden (dh, Sie müssen den geschätzten Wert verwenden):


    p̂ — это наблюдаемое относительное число плюсов, n — общее количество оценок, zα/2 — берется из таблиц, это квантиль (1- α/2) стандартного нормального распределения (для 15% z=1 — 85% confidence, для 5% z=1.6 — 95% confidence)

    Если вам кажется, что сверху написано что-то в таком духе:


    То понятным языком и в деталях это описано здесь, в конце здесь и лучше всего это описано здесь. Там же можно найти короткие и понятные имплементации описанного метода (и много других проясняющих картинок).

    В различных вариациях, данный метод, как часть алгоритма ранжирования используют reddit, digg and yelp.

    Объяснение и пример от Randal Munroe (автора xkcd, он же внедрил этот алгоритм в reddit):

    Wenn der Kommentar nur ein Plus und null Minuspunkte enthält, beträgt die relative Anzahl der Pluspunkte 1,0. Da jedoch nur wenige Daten vorhanden sind [n - ca. author], das System wird es am Ende der Liste platzieren. Und wenn es 10 Pluspunkte und einen Minuspunkt hat, dann hat das System genug Vertrauen [in den Sinnbeweis; bestätigende Beweise], dass die Platzierung dieses Kommentars höher ist als der Kommentar mit 40 Pluspunkten und 20 Minuspunkten - wenn man bedenkt, dass der Kommentar zu dem Zeitpunkt, zu dem er 40 Pluspunkte erhält, mit ziemlicher Sicherheit weniger als 20 Minuspunkte hat. Und der Hauptcharakter des Systems ist, dass es, wenn es falsch ist (in 15% der Fälle), schnell genug Daten erhält, um den Kommentar mit weniger Daten ganz oben erscheinen zu lassen.


    Im Allgemeinen lautet die Intuition für ähnliche Bayes'sche Inferenzmethoden wie folgt: Wir haben eine gewisse Vorstellung davon, wie man im Durchschnitt für Beiträge abstimmt. Beispielsweise kann man ein Plus mit einer Wahrscheinlichkeit von 0,7 erhalten, und ein Minus mit einer Wahrscheinlichkeit von 0,3 ist eine Art verdorbene Münze. Nachdem wir eine neue Information zu einer bestimmten Münze erhalten haben, korrigieren wir unsere Vorstellung davon gemäß der Bayes-Regel:

    wobei H die Hypothese (Hypothese) ist, E die beobachteten Daten (Evidence) sind, P (E | H) = Wahrscheinlichkeit, das Ergebnis E zu erhalten, wenn die Hypothese H wahr ist zusammen geben sie uns die Möglichkeit zu sagen, wie hoch die Wahrscheinlichkeit der Hypothese H für das beobachtete Ergebnis E ist.

    Neue Sortieroptionen


    Die oben diskutierten Algorithmen verwenden nur die Anzahl der Vor- und Nachteile. In diesem Teil werden wir herausfinden, welche anderen Parameter das Ranking von Kommentaren beeinflussen können.

    Die Hauptquellen werden die folgenden Artikel sein:
    Reddit, Stumbleupon, Del.icio.us und Hacker News Algorithms Exposed!
    Funktionsweise des Hacker News-Ranking-Algorithmus Funktionsweise des
    Reddit-Ranking-Algorithmus

    Zeit

    Warum sollte jemand eine andere Zeit als die chronologische Sortierung verwenden müssen? Stellen Sie sich vor, wir gehen über den Link „Worüber diskutieren sie?“ Zu den Artikeln. Es ist ziemlich logisch (obwohl es natürlich wie bei anderen Beurteilungen umstritten ist), dass der Benutzer eine Diskussion und neue Kommentare erwartet. Dank ihnen fallen die Artikel in diesen Abschnitt.

    Was ist mit anderen großen Websites mit benutzerdefiniertem Inhalt? Wir werden uns Reddit- und Hacker-News ansehen

    Reddit-Algorithmus für Posts

    Reddit verwendet zwei verschiedene Ranking-Algorithmen: einen für Posts und einen für Kommentare. Für Kommentare verwenden wir die oben beschriebene Option mit der Untergrenze des Wilson-Konfidenzintervalls, aber für Posts wird die Zeit berücksichtigt:

    Beschreiben Sie kurz den Algorithmus.

    Sei A die Zeit in Sekunden, zu der der Post veröffentlicht wurde, B die Zeit, zu der die reddit-Ressource erstellt wurde, in Sekunden, dann t
    t = A - B
    d.h. Relative Post-Lebensdauer in Sekunden.
    x = Differenz zwischen der Anzahl der Plus- und Minuspunkte der Post.
    z = | x | wenn x! = 0, sonst z = 1.


    Hacker-News-Algorithmus

    Diese Ressource verwendet denselben Algorithmus zum Sortieren von Kommentaren und Beiträgen.
    Sei t die Anzahl der Stunden seit der Veröffentlichung, v die Anzahl der Stimmen, G eine Konstante (standardmäßig 1,8):


    Und warum Ziegenknopfakkordeon?

    Es scheint, dass im Falle von Kommentaren Ratings ausreichen sollten und Zeit keine bedeutende Rolle spielen sollte. Wenn andererseits die Anzahl der Kommentare zunimmt, kommen viele Benutzer einfach nicht zum Ende (versuchen Sie, durch 300-400 Kommentare zu scrollen). Eine mögliche Alternative besteht darin, nicht nach einem, sondern nach mehreren Parametern zu sortieren, d.h. Berücksichtige die Zeit, andere Dinge sind gleich. Wenn beispielsweise alle Kommentare 0 Stimmen haben, sind „neue Kommentare“ den alten vorzuziehen, da die alten Zeit hatten, eine bestimmte Anzahl von Pluspunkten zu sammeln, und wenn sie diese nicht erhielten, ist es möglicherweise sinnvoll, neuen Kommentaren den Vorzug zu geben.

    Alternativ können wir die Zeit als kleines Gewichtungselement in einer Rangfolgefunktion verwenden, beispielsweise in reddit-Posts oder Hacker-News-Kommentaren.

    Branchenweites Ranking

    Eine natürliche Annahme wird darin bestehen, Kommentare in einem Zweig mit einer gewissen Gewichtung zu berücksichtigen, die von ihrer Ebene / Position im Zweig abhängt (im trivialen Fall können wir den gesamten Zweig als Gruppe von Peer-Kommentaren betrachten, d. H. Mit derselben Gewichtung). Angenommen, v i + ist die Anzahl der Pluspunkte für Kommentar i (die gleiche Notation für Minuspunkte), und l i ist die Verschachtelungsebene von Kommentar i und I ist die Menge aller Kommentarindizes in der Verzweigung, dann können wir eine einfache Verallgemeinerung der ersten Methode anbieten unter Berücksichtigung des gesamten Zweigs:

    (hier meinen wir, dass v i + , l i tatsächlich Funktionen sind, die einen Skolar durch den Kommentarindex zurückgeben, daher sind sie nicht in den Eingabedaten).

    In ähnlicher (naiver) Weise kann man andere Methoden zur Bewertung von Kommentaren verallgemeinern. Warum ist das nötig? Wenn wir der Meinung sind, dass nicht nur Kommentare der ersten Ebene für das Ranking wichtig sind, sondern zum Beispiel die gesamte Diskussion, dann ist es wirklich wichtig, die gesamte Branche zu bewerten. Wenn wir auf das Bild am Anfang des Artikels achten, dann entstand im ersten Thread trotz des „stark zerlumpten“ ersten Kommentars (und, wie ich denke, für den Fall) eine ziemlich interessante Diskussion darüber.

    Gewicht und Benutzerprofil (e)

    Der genaue Digg-Algorithmus ist der Öffentlichkeit nicht bekannt, aber zumindest wissen wir, welche ungefähren Parameter dort enthalten sind ( Quelle für den Algorithmus):
    • Die Anzahl der Stimmen im angegebenen Zeitfenster: viele Stimmen für einen kurzen Zeitraum, besser als viele Stimmen für einen langen Zeitraum
    • Link-Quelle (dies ist digg-spezifisch, Nachrichten verweisen auf eine bestimmte Site mit einer Quelle): Wie oft gelangen Artikel aus dieser Quelle nach oben? (Holen Sie sich die Profis)
    • Autorenprofil
    • Abfahrtszeit: Wenn eine Gruppe von Personen gleichzeitig um drei Uhr morgens einen Artikel hinzufügt, könnte hier etwas falsch sein [ein kontroverser Parameter, nicht wahr? - Ca. Autoren]
    • Das Vorhandensein ähnlicher Links auf Digg selbst (Duplikate)
    • Wählerprofile
    • Anzahl der Kommentare
    • Anzahl der Aufrufe
    • ....

    Im Allgemeinen haben sie einen komplizierten Algorithmus. Aber was können wir prinzipiell daraus lernen? Sie können die Kommentare und das Gewicht der Stimmen für Posts in Abhängigkeit von verschiedenen Parametern auf unterschiedliche Weise berücksichtigen, und eine ausreichende Anzahl dieser Parameter ist bereits aus den Algorithmen anderer Ressourcen bekannt.

    In vielerlei Hinsicht ähnelt die Idee der Zeit, wie mit einem zusätzlichen Parameter: ceteris paribus. Wenn Sie Kommentare einstufen, können Sie das Gewicht des Benutzers (oder sogar seinen Beitrag zu einem bestimmten Hub) berücksichtigen. Wenn es also viele Kommentare zu dem Artikel gibt, wird eine "maßgebliche Meinung" darüber aufsteigen der Rest und wird zum Lesen zur Verfügung stehen.

    Fazit


    Das Kommentarranking ist ein beliebtes und oft nützliches Element vieler Ressourcen. Ob dies eine notwendige Frage an der Nabe ist Gibt es wirklich ein Problem mit einer Fülle von Kommentaren zu bestimmten Artikeln? Wenn nicht, wird es in Zukunft erscheinen? Benötige ich andere Sortierwerkzeuge?

    Sie sollten jedoch immer daran denken, dass die Hauptsache für jede Ressource nicht das Sortieren von Kommentaren ist, sondern die Qualität des Inhalts.

    Nur registrierte Benutzer können an der Umfrage teilnehmen. Bitte komm rein .

    Muss ich Kommentare zu Habrahabr sortieren?

    • 36% erforderlich (in einer der Formen und / oder Abweichungen vom Artikel) 448
    • 5,9% nötig, aber nur mit Stimmen 74
    • 2% benötigt; eine andere Version 25
    • 32,6% möglich; brauche ein kleines / vorübergehendes Experiment 405
    • 21,9% Nein, in keiner Form erforderlich 272
    • 1,3% Sonstiges (Antwort in den Kommentaren) 17

    Jetzt auch beliebt: