Weitere Vorlesungen der Lehrveranstaltung "Entwurf hochbelasteter Systeme" (Herbst 2018) in Technopolis

Published on January 29, 2019

Weitere Vorlesungen der Lehrveranstaltung "Entwurf hochbelasteter Systeme" (Herbst 2018) in Technopolis

    Bild

    Im Rahmen des zweijährigen Programms "Java Developer of High-Load Applications" des Technopolis- Projekts (ein Gemeinschaftsprojekt von Mail.Ru Group und SPbPU) veröffentlichen wir weiterhin Vorlesungen über den Kurs "Design of High-Load Systems", den Studenten der Polytechnischen Universität St. Petersburg von einem Team von Ingenieuren aus Odnoklassniki vorgelesen werden. Im Jahr 2017 wurden 10 Vorträge gelesen und gepostet (30 Stunden Video)Das Thema Highload ist jedoch so umfangreich, dass es unmöglich ist, alles in einem Semester zu behandeln. Wir sind nur kurz auf die Hauptaspekte der Highload-Entwicklung eingegangen, von denen jeder einen eigenen Kurs wert ist. In diesem Jahr schließen wir weiterhin weiße Flecken und machen Sie auf sechs Vorlesungen zu neuen Themen aufmerksam: Wir beginnen mit dem parallelen Rechnen und dem Live-Codieren der ersten Phase des Kursprojekts, bevor wir uns mit den Überwachungs- und Diagnosetools von JVM befassen und dann mit Ausfallsicherheitsproblemen fortfahren. Und nach der Vorlesung über fortgeschrittene Algorithmen, die in Hochlastprojekten relevant sind, schließen wir den Zyklus mit einer Vorlesung über vorhandene Replikationsansätze und deren Anwendbarkeit auf verschiedene Aufgaben ab.

    Die ersten zehn Vorträge .

    Liste der neuen Vorträge:

    1. Schauspielermodell. Zukunft. Reaktive Ströme (Vadim Tsesko incubos )
    2. Livecoding zweite Phase des Projekts (Vadim Tsesko incubos )
    3. Überwachung und Diagnose JVM (Andrey Pangin Apangin )
    4. Site Reliability Engineering (Anton Ivanov- Keyplayer )
    5. "Moderne" Datenstrukturen (Dmitry Schitinin dormidoncheg )
    6. Replikation (Dmitry Schitinin dormidoncheg )


    Vorlesung 11. Akteurmodell. Zukunft. Reaktive Ströme (Vadim Tsesko incubos )



    Präsentationsvideo
    auf dem Technostrim-Kanal

    In der Vorlesung werden moderne Ansätze zur Organisation von Parallel-Computing vorgestellt, die in letzter Zeit immer beliebter werden: Aktormodell basierend auf Message-Passing in der Akka-Implementierung; abstract Future / Promise, Combinators und Callbacks für die Organisation der asynchronen Datenverarbeitung bei IO; und enthüllt auch die Essenz von Reactive Streams für die Streaming-Datenverarbeitung mit Gegendruck. Es gibt zahlreiche Beispiele für die Verwendung von Ansätzen in vorhandenen Systemen sowie Links zum Selbststudium.

    Vorlesung 12. Livecoding zweite Phase des Projekts (Vadim Tsesko incubos )



    Kurs Projekt
    Video auf dem Kanal Tekhnostroy

    Livecoding Basis des Entwurfs der Entscheidung, die Techno Studenten in diesem Jahr durchführen müssen. Ähnlich wie in der ersten Lektion, mit dem einzigen grundsätzlichen Unterschied: Dieses Mal haben wir von one-nio auf einen Hochleistungs-Webserver umgestellt. Auch dieses Mal haben wir ein Video mit einer detaillierteren Demonstration der Implementierung von Komponenten aufgenommen.

    Vorlesung 13. Überwachung und Diagnose von JVM (Andrey Pangin apangin )



    Die Präsentation des
    Videos auf dem Kanal Tehnostrim

    Lecture führt in die Möglichkeiten ein, eine Java-basierte Anwendung zu überwachen und typische Probleme zu analysieren: Deadlock, Speicherlecks, Leistungsengpässe. Berücksichtigt werden sowohl Standard-Dienstprogramme des JDK als auch gängige Software von Drittanbietern und Java-Profiler. Es zeigt, wie JMX, JVM TI und andere Schnittstellen bei der Entwicklung Ihrer eigenen Überwachungs- und Diagnosetools helfen.

    Vorlesung 14. Site Reliability Engineering (Anton Ivanov Keyplayer )




    Die Videopräsentation auf dem Kanal Tehnostrim

    Lecture widmet sich den Grundlagen des Schreibens von fehlertolerantem Code. Es werden die typischen Fehler analysiert, die in der Praxis zum Sturz hochbelasteter Systeme führen. Der erste Teil befasst sich mit den Problemen, die auf der Serviceebene auftreten: Ressourcenpools, deren Überlastung, langsamer Start und ordnungsgemäßes Herunterfahren. Im zweiten Teil befassen wir uns mit der Ebene der dienstübergreifenden Interaktion und gehen detailliert auf die Arten von Zeitüberschreitungen, Ausgleichstechniken und Probleme der Wiederholungen ein. Im letzten Teil werden Fragen der Überwachung und der Reaktion auf Vorfälle behandelt.

    Vorlesung 15. "Moderne" Datenstrukturen (Dmitry Schitinin dormidoncheg )



    Präsentationsvideo
    auf dem Kanal Tehnostrim

    Lecture widmet sich Datenstrukturen, die in klassischen Kursen in der Regel nicht berücksichtigt, in hochbelasteten verteilten Systemen aber in der Praxis effektiv eingesetzt werden. Oft handelt es sich dabei um probabilistische Datenstrukturen, die kompakt und schnell sind, aber ein ungefähres Ergebnis liefern. Mit HyperLogLog können Sie beispielsweise die Anzahl der verschiedenen Elemente in einem Datensatz mit mehreren Milliarden Elementen auf höchstens ein Kilobyte genau schätzen und das Ergebnis weicht nur um einige Prozent von dem genauen ab. Ein separater Abschnitt befasst sich mit Ansätzen zur Berechnung von Quantilen, deren Stärken und Schwächen berücksichtigt werden.

    Vorlesung 16. Replikation (Dmitry Shchitinin dormidoncheg )



    Die Präsentation des
    Videos auf dem Kanal Tehnostrim

    Replication zusammen mit shardirovanie liegt hoch belasteten fehlertoleranten verteilten Systemen zugrunde. Die Replikation mit einem dedizierten Leader ist in klassischen RDBMS weit verbreitet. Eine Konfiguration mit mehreren ausgewählten Führungskräften kann bei Systemen auftreten, die in mehreren Domänencontrollern betrieben werden, und tritt auch bei Problemen der gemeinsamen Bearbeitung auf. Die Replikation ohne dedizierten Leiter ist das Herzstück von NoSQL-Datenbanken wie Cassandra, Voldemort, Riak usw. Die Vorlesung behandelt die einzelnen Ansätze, den Umfang, die Stärken und Schwächen sowie die wichtigsten Implementierungsdetails.



    Die Playlist aller Vorträge befindet sich auf dem Link sowie auf Youtube .

    Das Kursprojekt ist hier .
    Unter den geschlossenen Pull-Anforderungen können verschiedene Lösungen angezeigt werden .

    Sendungen und Videoaufnahmen anderer Kurse des Technopolis- Projekts finden Sie in der offiziellen Projektgruppe in OK .

    Wir erinnern Sie auch daran, dass es auf dem Tehnostrim- Kanal aktuelle Vorlesungen und Meisterkurse zum Thema Programmierung und Datenanalyse von IT-Spezialisten aus allen Bildungsprojekten der Mail.Ru Group - Technoatom, Technopark, Technopolis, Technosphere und Technotrak - gibt.