Uns wird ein Echtzeitvideo ohne Friese und Zucken versprochen.

Published on August 06, 2018

Uns wird ein Echtzeitvideo ohne Friese und Zucken versprochen.

Ursprünglicher Autor: Andrew Myers
  • Übersetzung

Jedes Mal, wenn ich Skype, Zoom oder Hangouts starte, freue ich mich auf neue Pfosten mit Video und Ton. Die Technologie enttäuscht mich selten: Krächzen, Hintergrundgeräusche, Sprachverlust, Aufteilen des Videos in Quadrate, eingefrorene Bilder und andere Freuden an Videokonferenzen verfolgen Videoanrufe, soweit ich mich erinnern kann. Das Interesse ist in vielerlei Hinsicht professionell: Zusätzlich zur programmierbaren Telefonie für normale Telefone, Webseiten und mobile Anwendungen liefern wir für Videoentwickler an Voximplant. Ich möchte Full HD, in Echtzeit, ohne Friese, in jedem Browser und auf einer Konferenz für 50 Personen - interessanterweise funktioniert das im Labor genauso. In einigen 3G-Parks kann eine Video-Konsultation mit einem Arzt eine schrittweise Strategie darstellen: Die Pakete gehen verloren! Moderner Technologie-Stack für jetztlässt nicht zu, dass das "blinkende" Internet auf gleicher Augenhöhe bekämpft wird, aber es wird ständig geforscht. Under the Cut - angepasst an die Habr-Übersetzung über Salsify : eine Video-Codec-Fusion und ein Netzwerkprotokoll, das Probleme bei der Übertragung von Videos in Echtzeit minimiert.

Ein Team aus Stanford führte ein Experiment durch: Es ersetzte das gesamte Patchwork moderner Videokonferenztechnologien durch ein einziges Komprimierungs- und Übertragungsprotokoll.

Videokonferenzen: Alliglag, Fffffreeze und Zucken


Nach einer Weile verschwinden die Probleme von alleine. Manchmal - zusammen mit dem Bild - bleibt stattdessen ein schwarzer Bildschirm. Die gelieferten Probleme liegen im Bereich von "Warten Sie ein paar Minuten, das Gitter blinkt" bis "Die Teleoperation kann abgeschlossen werden, der Patient ist gestorben". Die Wissenschaftler von Stanford gingen das Problem von Grund auf an, nachdem sie sowohl den Netzwerkstapel als auch den Codec und die Datenübertragungsmethode mit einem einzigen Ziel entwickelt hatten: Besseres Verhalten als Skype, FaceTime, Hangouts und Chrome + WebRTC.

Der Stanford-Doktorand Sajjad Foladi, der die Studie leitete, präsentierte die Ergebnisse auf der NSDI'18- Profilkonferenz . Die der Lösung zugrundeliegenden Ideen "von Grund auf neu" stehen allen Einsteigern zur Verfügung und können in kommerziellen Lösungen verwendet werden. Natürlich, wenn jemand den gesamten Stapel austauschen möchte .


„Die Videoübertragung über das Internet hat sich seit Jahrzehnten weiterentwickelt. Jetzt ist der Technologie-Stack eher eine Art Quilt “, sagt Keith Winstein, Associate Professor für Informatik . "Sajjad hat gezeigt, wie Sie diese Teile auf andere Weise zusammensetzen können, um mit weniger Verzögerung eine bessere Videoqualität zu erzielen."

Aber über den Zeitpunkt der Einführung des Winstein vorsichtiger. „Jetzt denken wir über Änderungen nach, damit die Übertragung von Live-Videos eines Tages zuverlässiger wird. Es wird für Telemedizin- und Robotereinsätze von großem Nutzen sein “, sagt er. "Aber in der Software, die jetzt verwendet wird, sind all diese Änderungen schwierig durchzuführen."

Neuer Ansatz, neuer Name


Das Stanford-Team nannte sein Framework „Schwarzwurzel“ (Kozlobornik, eine solche „Blume“, die in seiner Jugend einem Löwenzahn aus der Ferne ähnelt - eine Anmerkung des Übersetzers). Das Framework löst das Problem, das dadurch entsteht, dass „Echtzeit-Videoübertragung“ jetzt aus zwei verschiedenen Technologien besteht. Dies ist ein „Codec“, der Video komprimiert und ein „Netzwerkprotokoll“, das kleine Datenmengen über das Netzwerk überträgt und zu erraten versucht, wann die nächsten Datenmengen gesendet werden müssen, damit sie nicht auf dem Weg hinausgeworfen werden, da das Netzwerk überlastet und alles fehlerhaft ist. Das Problem ist, dass diese beiden Komponenten getrennt voneinander entwickelt wurden, oft von verschiedenen Unternehmen, und dann in Produkten wie Skype oder FaceTime kombiniert wurden.

Folady ist sich sicher: Um das Problem mit Friesen und Verzögerungen zu lösen, müssen der Codec und der Netzwerkstapel zusammenarbeiten. Schließlich ist es wichtig, nicht nur ein Paket über das Netzwerk zu senden. Sie benötigen die richtigen Daten in diesem Paket! Und vor 3 Sekunden noch kein Video, das auf der Empfangsseite immer noch als "zu alt" ausgeworfen wird. Wie der Projektmanager sagt: "Wenn das Transportprotokoll und der Codec die Synchronisation verlieren, beginnen Probleme." Aus diesem Grund hat das Team einen neuen Codec entwickelt, der so weit wie möglich in das Transportprotokoll integriert ist. Ein Algorithmus steuert die Komprimierung von Videoframes, die Bildung von Netzwerkpaketen und deren Versand. Somit "kennt" der Videostream in Echtzeit den Zustand des Netzwerks und versucht, ihn so weit wie möglich "einzupassen".

Selbst ein Frame, der zur falschen Zeit gesendet wird, kann zu Rucken und Friesen führen. Salsify sendet niemals einen Frame, wenn dies zu Netzwerkproblemen führen kann.

Sehen und glauben


Die Forscher führten zahlreiche Tests durch, um Salsify mit Microsoft Skype, Google Hangouts, Apple FaceTime und Google Chrome + WebRTC zu vergleichen. Im Durchschnitt reduziert Salsify die Verzögerung um das Vierfache (!!!) und die Bildqualität wird um 60% besser (durch die Methode zur Änderung der strukturellen Ähnlichkeit, SSIM). Bereit für den direkten Vergleich mit Chrome 65 WebRTC und Erstellung einer separaten Website für das Projekt. Open-Source- Projekt : Sie können die Entwicklungen herunterladen, lernen und nutzen.

Jeder hat Probleme mit Videokonferenzen. Es ist sehr cool, an einem Projekt zu arbeiten, das darauf abzielt, die Situation zu ändern.