Morty, wir sind bei UltraHD! Wie Sie einen Film in 4K ansehen, zeichnen Sie ihn durch ein wenig bekanntes neuronales Netzwerk

    Wahrscheinlich haben Sie von der Technologie von Yandex DeepHD gehört, mit deren Hilfe sie einst die Qualität sowjetischer Cartoons verbessert haben. Leider ist es noch nicht öffentlich verfügbar, und wir, gewöhnliche Programmierer, werden wahrscheinlich nicht die Kraft haben, ihre eigene Lösung zu schreiben. Als Besitzer des Retina-Displays ( 2880x1800 ) wollte ich vor kurzem "Rick and Morty" sehen. Was war meine Enttäuschung , als ich die Seife auf diesem Bildschirm sah sieht aus wie 1080 , in dem es Originale dieser animierten Serie! (Dies ist eine großartige Qualität und normalerweise ist es ziemlich genug, aber glauben Sie mir, die Netzhaut ist so angeordnet, dass die Animation mit ihren klaren Linien in 1080p seifig wirkt, wie 480p auf einem FHD-Monitor)

    Ich entschied fest, dass ich diese animierte Serie in 4K sehen wollte, obwohl ich absolut keine neuronalen Netzwerke schreiben konnte. Es wurde jedoch eine Lösung gefunden! Es ist merkwürdig, dass wir nicht einmal Code schreiben müssen, wir brauchen nur ~ 100 GB Speicherplatz und etwas Geduld. Das Ergebnis ist ein klares Bild in 4K, das mehr wert ist als jede Interpolation.

    Bild

    Vorbereitung


    Erstens müssen wir sofort verstehen, dass es beim Open Access keine Technologie gibt, mit der Video mithilfe von neuronalen Netzwerken verbessert werden kann. Allgemein. Es gibt jedoch mehrere Projekte, die die Fotos vergrößern können. Und wenn ja, lass uns unser Video in einen riesigen Stapel Frames umcodieren!

    Dies kann über Adobe Premiere Pro oder ein anderes Programm zum Arbeiten mit Video erfolgen, aber ich bin mir sicher, dass nicht jeder es installiert hat. Verwenden wir also das ffmpeg- Konsolenprogramm . Ich nahm die erste Episode der ersten Staffel und es begann:

    $ ffmpeg -i RiM01x01_4K.mp4 -q:v 1 IM/01x01_%05d.jpg

    Warum JPG, nicht PNG?
    Справедливый вопрос. Дело в том, что 31 000 PNG, которые бы мы получили бы на выходе, весили умопомрачительно много. Настолько много, что можно незначительно пожертвовать качеством.

    К слову, параметр -q:v 1 означает, что мы выводим JPG в максимально возможном качестве.

    Nach ca. 10 Minuten warten wir einen riesigen Ordner mit Bildern. Sie nahm mich 26 GB.

    Jeder dieser Frames muss noch verarbeitet werden!

    Wie werden wir verarbeiten?


    Ich habe drei Optionen gefunden, die mehr oder weniger normal funktionieren - dies ist das bekannte Let's Enhance , waifu2x (trainiert auf dem Anime) und Mail.ru Vision.

    Etwas später werde ich definitiv Beispiele zeigen.

    Mail.ru Vision und Let's Enhance haben die Bilder ziemlich gut verarbeitet, aber sie sind leider nicht Open Source. Das heißt, wir müssen den Erstellern für die Verarbeitung von 31.000 Bildern schreiben und wahrscheinlich viel bezahlen. Deshalb habe ich mir das restliche waifu2x angesehen, aber er hat mich nicht mit dem qualitativen Ergebnis zufriedengestellt, es gab Geräusche und Unschärfe. Immer noch "Rick and Morty" - das ist kein Anime.

    Ich wollte schon verzweifelt durch Github und thematische Foren blättern, aber ... Die Rettung kam plötzlich! Ich habe eine Option gefunden, die lokal auf dem Computer funktioniert, das Bild in weniger als einer Sekunde verarbeitet und eine hervorragende Qualität aufweist. Und Sie werden nicht glauben, wer noch einmal zu unserer Hilfe gekommen ist!

    Adobe Photoshop!

    Und nein, ich werde keine wahre Geschichte erzählen, wie man dort mit ein paar Filtern ein gutes Bild machen kann. Adobe hat wirklich das echte neuronale Netzwerk trainiert, das bei der Skalierung innerhalb des Programms ein Bild zeichnen kann!

    Zuerst müssen Sie das Originalbild öffnen, dann durch das Hauptmenü unter Bild> Bildgröße gehen ... und "Resampling" "Saving Parts 2.0" wählen.



    Das Ergebnis war angenehm überrascht! Vielleicht gerade vor Let's Enhance. Hier ist der versprochene Vergleich (das Originalbild ist ungefähr achtmal näher):



    - Und nun was, jedes Bild manuell über Photoshop bearbeiten?
    Natürlich nicht! In Photoshop gibt es ein Aktionswerkzeug, mit dem Sie zuerst eine Folge von Aktionen schreiben und diese dann auf einen ganzen Ordner mit Bildern anwenden können. Ich werde den gesamten Prozess nicht malen, es ist leicht zu google.

    Ich verließ meinen Laptop, um einunddreißigtausend Frames für die Nacht zu verarbeiten, und zwar mit dem Muster "zweimal upscale make and save". Ich bin morgens aufgewacht - alles ist fertig! Ein weiterer Ordner mit einigen Frames, jetzt aber in 4K und mit einer Größe von 82 GB .

    Zurück im Video


    Ffmpeg wird uns wieder helfen.

    Wir haben verstanden, dass wir die Audiospur völlig vergessen haben und sie aus der Originaldatei erhalten:

    ffmpeg -i RiM01x01_1080p.mp4 -vn -ar 44100 -ac 2 -ab 320K -f mp3 sound.mp3

    Und dann geben wir den Sound mit allen 4K-Frames in den Ordner. Alle unsere Bemühungen waren nicht umsonst, wir sind bereit für das endgültige Zusammenkleben!

    ffmpeg -i 01x01_%05d.jpg -i sn.mp3 -vcodec libx264 -preset veryslow -crf 10 -r 23.976 RiM_01x01_4K.mp4

    Seien Sie vorsichtig : Stellen Sie nach -r genau die Anzahl der Frames ein, die im Original vorhanden waren. Andernfalls passt der Ton nicht zum Bild!

    Fertig!


    Wir haben die erste Folge von "Rica and Morty" in 4K erhalten. Hier ist ein Beispiel . Natürlich war es ein bisschen langweiliger oder so ... Aber in der Tat hat dieser Ansatz einen großen Vorteil. Wenn Sie mit anderen Filmen oder Cartoons arbeiten, können Sie bequem durch Photoshop ihre Rahmen auf das Ideal bringen. Wir haben die perfekte Schärfe und den Farbausgleich für ein paar Frames aus dem Film aufgenommen, dann unsere Aktionen in Action aufgezeichnet, sie auf den gesamten Film verteilt und ein hervorragendes Ergebnis ohne mathematische Schwierigkeiten erzielt. Dies ist eine wunderbare Aufwertung, die dem durchschnittlichen Benutzer etwas näher kommt. Die kompliziertesten Dinge, die die Menschen seit Jahrhunderten laufen, werden schnell und ohne besondere Kenntnisse reproduziert - was ist das, wenn nicht die Zukunft?

    Jetzt auch beliebt: