Google spricht über ein exponentielles AI-Wachstum, das die Natur des Computerbetriebs verändert

Ursprünglicher Autor: Tiernan Ray
  • Übersetzung

Clif Young, ein Google-Programmierer, erklärt, wie die explosive Entwicklung von Deep-Learning-Algorithmen mit dem Scheitern von Moores Gesetz zusammenfällt, das seit Jahrzehnten als Faustregel für den Fortschritt von Computerchips gilt, und macht die Entwicklung grundlegend neuer Rechenschemata erforderlich




Die explosive Entwicklung von Algorithmen für KI und maschinelles Lernen verändert die Art des Rechnens - wie es in einem der größten Unternehmen heißt, das KI praktiziert - bei Google. Google-Programmierer Cliff Young sprach bei der Eröffnung der Herbstkonferenz über Mikroprozessoren, die von der Linley Group, einem beliebten Computerchipsymposium des ehrwürdigen Halbleiterherstellers, veranstaltet wurde.

Young sagte, dass die Verwendung von KI in dem Moment in die „exponentielle Phase“ eingetreten sei, als das Moore'sche Gesetz, die Faustregel für den Fortschritt von Computerchips über Jahrzehnte, vollständig unterbunden wurde.

"Die Zeiten sind ziemlich nervös", sagte er nachdenklich. „Digital CMOS verlangsamen sich, wir sehen Probleme mit dem 10-nm-Prozess bei Intel, wir sehen sie beim 7-nm-Prozess von GlobalFoundries, und gleichzeitig mit der Entwicklung von Deep Learning entsteht eine wirtschaftliche Nachfrage. CMOS, eine komplementäre Metalloxid-Halbleiter-Struktur, ist das am häufigsten verwendete Material zur Herstellung von Computerchips.

Während klassische Chips die Effizienz und Produktivität kaum steigern können, nehmen die Anfragen von KI-Forschern zu, so Young. Er gab einige Statistiken an: Die Anzahl der wissenschaftlichen Artikel über maschinelles Lernen, die auf der von der Cornell University gepflegten arXiv-Preprint-Site gespeichert sind, verdoppelt sich alle 18 Monate. Und die Anzahl der internen Projekte, die sich bei Google auf KI konzentrieren, verdoppele sich alle 18 Monate. Der Bedarf an Gleitkommaoperationen, die zur Verarbeitung der beim maschinellen Lernen verwendeten neuronalen Netze erforderlich sind, wächst noch schneller - alle dreieinhalb Monate verdoppelt er sich.

All dieses Anwachsen von Rechenanfragen wird zu "Moores Supergesetz" zusammengefasst, sagte Young, und er nannte das Phänomen "ein wenig beängstigend" und "ein wenig gefährlich" und "etwas, das es wert ist, sich Sorgen zu machen".

"Woher kommt dieses exponentielle Wachstum?", Fragte er auf dem Gebiet der KI. „Insbesondere geht es darum, dass Deep Learning einfach funktioniert. In meiner Karriere habe ich maschinelles Lernen lange ignoriert “, sagte er. "Es war nicht offensichtlich, dass diese Dinge abheben könnten."

Aber dann zeigten sich schnell Durchbrüche wie die Mustererkennung und es wurde klar, dass tiefes Lernen „unglaublich effektiv ist“, sagte er. „In den letzten fünf Jahren waren wir das Unternehmen, bei dem AI an erster Stelle steht, und haben die meisten Unternehmen auf der Grundlage von AI neu erstellt“, von der Suche bis zur Werbung und vielem mehr.



Das Google Brain-Projektteam, ein führendes KI-Forschungsprojekt, braucht "Riesenmaschinen", sagte Young. Beispielsweise werden neuronale Netze manchmal an der Anzahl der von ihnen verwendeten "Gewichte" gemessen, d. H. An Variablen, die auf das neuronale Netz angewendet werden, und beeinflussen, wie es die Daten verarbeitet.

Und wenn gewöhnliche neuronale Netze Hunderttausende oder sogar Millionen von zu berechnenden Gewichten enthalten können, benötigen Google-Forscher "Tera-Weight-Maschinen", also Computer, die Billionen von Gewichten berechnen können. Denn "jedes Mal, wenn wir die Größe des neuronalen Netzwerks verdoppeln, verbessern wir dessen Genauigkeit." Die Regel der KI-Entwicklung ist, immer größer zu werden.

Auf Anfrage von Google entwickeln sie eine eigene Reihe von Chips für MO, die Tensor Processing Unit. TPU und dergleichen werden benötigt, da herkömmliche CPUs und GPU-Grafikchips die Last nicht bewältigen können.

"Wir haben uns sehr lange zurückgehalten und gesagt, dass Intel und Nvidia sehr gut darin sind, Hochleistungssysteme zu entwickeln", sagte Young. "Aber wir haben diese Grenze vor fünf Jahren überschritten."

TPU sorgte nach seinem ersten öffentlichen Auftritt im Jahr 2017 für Aufsehen und behauptete, es übertreffe gewöhnliche Chips hinsichtlich der Geschwindigkeit. Google arbeitet bereits an der dritten TPU-Generation, nutzt diese in seinen Projekten und bietet über den Google Cloud-Dienst Computerfunktionen auf Abruf an.

Das Unternehmen stellt weiterhin immer größere TPU her. In der "Legacy" -Konfiguration werden 1024 TPUs gemeinsam mit einem neuen Supercomputertyp verbunden, und Google plant laut Young, dieses System weiter auszubauen.

"Wir bauen riesige Multicomputer mit einer Kapazität von zehn Petabyte", sagte er. "Wir treiben unermüdlich Fortschritte in verschiedene Richtungen gleichzeitig voran, und der Betrieb im Terabyte-Bereich wächst weiter." Solche Projekte werfen alle Probleme auf, die mit der Entwicklung von Supercomputern verbunden sind.

Zum Beispiel haben die Google-Ingenieure die Tricks des legendären Cray-Supercomputers übernommen. Sie kombinierten ein gigantisches "Matrix-Multiplikationsmodul", den Teil des Chips, der die Hauptlast des Rechnens für neuronale Netze trägt, mit einem "Vektor-Universalmodul" und einem "Skalar-Universalmodul", wie es in Cray getan wurde. "Die Kombination von Skalar- und Vektor-Modulen ermöglichte es Cray, alle hinsichtlich der Leistung zu übertreffen", sagte er.

Google hat eigene innovative arithmetische Designs für die Programmierung von Chips entwickelt. Eine bestimmte Art der Darstellung von reellen Zahlen mit der Bezeichnung bfloat16 sorgt für eine effizientere Verarbeitung von Zahlen in neuronalen Netzen. In der Umgangssprache spricht man von „Brain Float“.

TPU verwendet die schnellsten Speicherchips, Speicher mit hoher Bandbreite oder HBM [Speicher mit hoher Bandbreite]. Er sagte, dass die Nachfrage nach großen Mengen an Speicher beim Training neuronaler Netze rapide wächst.

„Während des Trainings wird das Gedächtnis intensiver genutzt. Man spricht von Hunderten von Millionen von Gewichten, aber es gibt Probleme bei der Verarbeitung der Aktivierung von "Variablen eines neuronalen Netzwerks".

Google passt auch die Art und Weise an, wie neuronale Netze programmiert werden, um das Eisen optimal zu nutzen. „Wir arbeiten an Modelldaten und Parallelität“ in Projekten wie „Mesh TensorFlow“ - Anpassungen der TensorFlow-Softwareplattform „Kombinieren von Daten und Parallelität auf der Skala des Pods“.

Young gab einige technische Details nicht bekannt. Er merkte an, dass das Unternehmen nicht über interne Verbindungen und über den Datenfluss auf dem Chip sprach. Er merkte lediglich an, dass "unsere Steckverbinder gigantisch sind". Er weigerte sich, auf dieses Thema einzugehen, was das Publikum zum Lachen brachte.

Young wies auf noch interessantere Bereiche des Computing hin, die uns bald einfallen könnten. Zum Beispiel schlug er vor, dass Berechnungen mit analogen Chips, Schaltungen, die Eingangsdaten in Form von kontinuierlichen Werten anstelle von Nullen und Einsen verarbeiten, eine wichtige Rolle spielen können. "Vielleicht wenden wir uns dem analogen Bereich zu. In der Physik gibt es viele interessante Dinge, die mit analogen Computern und NVM-Speicher zu tun haben."

Er äußerte auch die Hoffnung auf den Erfolg der auf der Konferenz vorgestellten Chip-Start-ups: „Hier gibt es sehr coole Start-ups, und wir brauchen sie, um zu arbeiten, da die Möglichkeiten des digitalen CMOS nicht unbegrenzt sind. Ich möchte, dass all diese Investitionen ausgelöst werden. “

Jetzt auch beliebt: