In den sich schnell verändernden Bereichen des maschinellen Lernens und des wissenschaftlichen Rechnens sind die beiden wichtigsten Faktoren, die in hohem Maße benötigt werden, die Geschwindigkeit des Betriebs und die Flexibilität. Das Programm JAX, das vom Google-Forschungsteam stammt, ist ein sehr bekanntes Tool, das bei der Beschleunigung von numerischen Berechnungen und Deep Learning ganz oben auf der Liste steht. JAX verfügt über alle grundlegenden NumPy-Funktionen und darüber hinaus über eine sehr vertraute Sprache mit einigen der fortschrittlichsten Funktionen, wie z. B. automatische Differenzierung, die es ermöglicht, maschinelles Lernen und für moderne GPUs/TPUs optimierten Code auszuführen, und zwar auch mit Just-in-Time-Kompilierung. In diesem Beitrag wird JAX auf der Suche nach der am besten geeigneten Art der Nutzung untersucht, die tatsächliche Fähigkeit mit der behaupteten verglichen und ein einfaches Tutorial angeboten, das für Neulinge in diesem Bereich geeignet ist.
Was ist JAX?
JAX ist eine leistungsstarke Bibliothek für numerische Berechnungen, die die Funktionalität von NumPy um verschiedene Funktionen erweitert, die die Produktivität des modernen maschinellen Lernens und des wissenschaftlichen Rechnens verbessern. Im Gegensatz zu älteren Bibliotheken konzentriert sich JAX auf die Organisation des Funktionstransfers, was dazu beiträgt, dass der von Forschern und Ingenieuren geschriebene Code sowohl kurz als auch leistungsstark ist. Die wichtigsten Merkmale von JAX sind die Unterstützung für automatische Differenzierung, Hardware-Beschleunigung und die einfache Integration in bestehende Python-Workflows.
Hauptmerkmale von JAX
JAX unterscheidet sich von anderen Toolkits für Zahlenverarbeitung durch die folgenden einzigartigen Merkmale:
NumPy-Kompatibilität: JAX unterstützt die meisten der Array-Operationen, die NumPy zu bieten hat. So müssen die Benutzer ihre alten Codes nicht wegwerfen, wenn sie Numpy-Operationen verwenden, und können auch die Vorteile der GPU/TPU-Beschleunigung nutzen.
Automatische Differenzierung: Durch die Bereitstellung von Reverse- und Forward-Mode-Autodiff als Teil der Bibliothek senkt JAX die Einstiegshürde für die mühsame Berechnung von Gradienten für maschinelles Lernen und Optimierungsanwendungen.
Just-in-Time-Kompilierung (JIT): Eines der Merkmale des JIT-Dekorators ist die Fähigkeit, Python-Funktionen direkt in einen effizienten Maschinencode zu kompilieren, was zu einem erheblichen Leistungsgewinn führt.
Hardware-Beschleunigung: Ohne jegliche Änderung des Codes kann JAX auf CPUs, GPUs und TPUs sowohl für einfache als auch für sehr umfangreiche Forschungsaufgaben reibungslos funktionieren.
Funktionstransformationen: Hocheffiziente Werkzeuge wie grad, vmap und pmap können nicht nur Funktionen durch Vektorisierung, Parallelisierung und automatische Stapelverarbeitung transformieren (und damit optimieren), sondern dies auch auf einfache und schnelle Weise tun.

Erste Schritte mit JAX: Ein grundlegendes Tutorial
Unser Ziel ist es in diesem Fall, ein kurzes Beispiel zu liefern, das die automatische Differenzierung und die JIT-Kompilierung von JAX vorstellt.
Zunächst einmal sollte JAX über pip installiert werden:
pip install jax jaxlib
Anschließend sollten die erforderlichen Module importiert werden:
jax importieren
import jax.numpy as jnp
von jax import grad, jit
Es ist eine gute Idee, eine Funktion zu wählen, die leicht zu verstehen und zu erklären ist, bevor man die Steigung einer anderen Funktion bestimmt:
def f(x):
return 3 * x ** 2 + 2 * x + 1
df_dx = grad(f)
print(df_dx(2.0)) # Ausgabe: 14.0
Die schnellere Ausführung kann nun durch JIT-Kompilierung gewährleistet werden:
@jit
def fast_f(x):
return 3 * x ** 2 + 2 * x + 1
print(fast_f(2.0)) # Ausgabe: 17.0
Dieses Tutorial zeigt nicht nur, wie gut JAX bei der Ermittlung von Gradienten ist. JAX bietet vmap und pmap für die Parallelisierung von Stapelverarbeitungsprozessen und Geräten an, um solche Operationen in den Kern zu integrieren.
Schlussfolgerung
JAX ist ein großer Fortschritt auf dem Gebiet der Array-Berechnungen, da es die Benutzerfreundlichkeit von NumPy mit den neuesten Leistungsoptimierungen kombiniert. Obwohl das Erlernen des Umgangs mit funktionaler Programmierung eine kleine Hürde ist, die es zu überwinden gilt, ist das Ausmaß an Geschwindigkeit und Anpassungsfähigkeit der daraus resultierenden Vorteile sehr lohnend. Ganz gleich, ob es um das Training von Machine-Learning-Modellen, wissenschaftliche Simulationen oder die Optimierung mathematischer Funktionen geht, JAX ist das Werkzeug, das dabei hilft, die Grenzen dessen, was in Python möglich ist, zu erweitern.