Metas KI-Weltmodelle: Von V-JEPA zu RoboJEPA – was Roboter künftig lernen können

Ein Roboter, der eine Tasse greifen soll, braucht mehr als die Fähigkeit, sie zu erkennen. Er muss abschätzen, was bei einer Bewegung geschieht: Erreicht der Greifer sein Ziel? Wird die Tasse verschoben? Und kommt der gewünschte Zustand tatsächlich zustande? Metas KI-Weltmodelle setzen genau bei dieser Verbindung zwischen Wahrnehmung, Vorhersage und Handlung an.

Die Forschung hat sich inzwischen deutlich weiterentwickelt. Nach V-JEPA 2 von Juni 2025 folgten V-JEPA 2.1 im März 2026 und das im Oktober 2026 veröffentlichte RoboJEPA-Paper. Die Arbeiten enthalten Versuche mit realen Roboterarmen. Sie zeigen allerdings weder einen universellen Haushaltshelfer noch eine bereits sicherheitszertifizierte Steuerung für Fabriken. Ihre Bedeutung liegt darin, körperliches Handeln auf eine lernbare Vorstellung möglicher Folgen zu stützen.

Dieser Beitrag vertieft den Hintergrund zu Metas berichteten Forschungsrobotern Max und Max 2. Wichtig bleibt die Trennung: Die hier beschriebenen Quellen belegen keine Integration von V-JEPA oder RoboJEPA in diese Prototypen. Die Verbindung ist eine mögliche Forschungsrichtung, keine nachgewiesene Produktausstattung.

Stand: 7. November 2026. Titelbild: KI-generierte redaktionelle Illustration. Die transparenten Greiferpositionen symbolisieren Vorhersagen; das Bild zeigt keinen authentischen Meta-Versuch.

Was ein Weltmodell eigentlich modelliert

Ein Weltmodell ist keine vollständige digitale Kopie der Welt. Es lernt aus Beobachtungen eine interne Darstellung von Zusammenhängen und kann daraus fehlende oder zukünftige Zustände vorhersagen. Für Robotik ist besonders die handlungsabhängige Variante interessant: Wie könnte sich die beobachtete Situation verändern, wenn der Roboter eine bestimmte Aktion ausführt?

Das unterscheidet eine reine Erkennung von einer Planungshilfe. Eine Kamera kann feststellen, dass eine Box auf dem Tisch liegt. Ein handlungsabhängiges Weltmodell soll zusätzlich abschätzen, wie eine Bewegung des Greifers die Szene verändert. Ein Planer kann mehrere mögliche Aktionen bewerten, bevor er eine davon auswählt. Nach der Bewegung beobachtet das System erneut, statt seiner ersten Prognose unbegrenzt zu vertrauen.

«Verstehen» ist dabei eine funktionale Beschreibung. Ein Modell kann in Tests nützliche Zusammenhänge abbilden, ohne menschliches Alltagsverständnis zu besitzen. Es kennt nur das, was sich aus Daten und Architektur lernen lässt. Unbekannte Materialien, verdeckte Hindernisse oder ungewohnte Kontakte können ausserhalb seiner zuverlässigen Vorhersagen liegen.

JEPA: Nicht jedes Pixel der Zukunft zeichnen

JEPA steht für Joint Embedding Predictive Architecture. Beobachtungen werden durch Encoder in gelernte Merkmalsdarstellungen übersetzt, sogenannte Embeddings. Ein Prädiktor sagt nicht zwingend ein fertiges Bild voraus, sondern die Merkmale eines fehlenden oder künftigen Ausschnitts. Dieser latente Raum ist eine verdichtete Darstellung, keine für Menschen unmittelbar lesbare Beschreibung. [1]

Das lässt sich an einer Werkbankszene erklären: Für die Aufgabe kann die räumliche Beziehung zwischen Greifer und Gegenstand wichtiger sein als jedes Lichtreflexmuster auf der Tischplatte. Ein Merkmalsmodell muss nicht alle schwer vorhersagbaren Bilddetails rekonstruieren. Es kann sich auf Strukturen konzentrieren, die seine Vorhersageaufgabe unterstützen.

Das ist aber keine Garantie, dass es automatisch die richtigen Details auswählt. Eine kleine scharfe Kante oder eine dünne Leitung kann für eine reale Bewegung entscheidend sein. Wenn der Encoder solche Informationen nicht ausreichend abbildet, wird der Planer durch ein scheinbar plausibles Zukunftsmodell nicht plötzlich sicher. Verdichtung ist eine technische Stärke und zugleich eine mögliche Fehlerquelle.

Ein verbreiteter Gegensatz ist deshalb zu grob: «Latent» und «autoregressiv» schliessen sich nicht aus. Latent bezeichnet den Darstellungsraum. Autoregressiv bedeutet, dass weitere Vorhersagen auf früheren Zuständen aufbauen. V-JEPA 2-AC sagt handlungsabhängige Zustände gerade autoregressiv im latenten Raum voraus. Die Forschung ist somit keine einfache Alternative zu jeglicher Autoregression. [2]

Von Bildern zu Videos und Aktionen

Metas JEPA-Linie entwickelte sich in mehreren Schritten. I-JEPA von 2023 bezog sich auf fehlende Bildregionen. V-JEPA von Februar 2024 übertrug die Vorhersage auf räumliche und zeitliche Bereiche von Videos. V-JEPA 2 wurde am 11. Juni 2025 als Weltmodell vorgestellt, verbunden mit Tests zum visuellen und physikalischen Schlussfolgern sowie ersten Robotikexperimenten. [1] [3]

Beim selbstüberwachten Vortraining benötigt das Modell keine von Menschen vergebenen Aufgabenlabels für jedes Video. Es lernt aus dem Zusammenhang zwischen sichtbaren und verdeckten Informationen. V-JEPA 2 nutzte laut Meta mehr als eine Million Stunden Video und ungefähr eine Million Bilder. Daraus entsteht noch keine fertige Robotersteuerung: Videos zeigen Veränderungen, liefern aber nicht automatisch die dazugehörigen Befehle an einen konkreten Greifer. [2] [3]

Für den körperlichen Einsatz kommt deshalb eine weitere Stufe hinzu. Die Variante V-JEPA 2-AC hält den gelernten Encoder fest und trainiert einen handlungsabhängigen Prädiktor mit Roboterdaten. Weniger als 62 Stunden aus DROID wurden dafür verwendet. «Ohne Aufgabenlabels» bedeutet hier nicht ohne Zustandsinformationen: Position, Orientierung und Greiferzustand liefern eine Verbindung zwischen Aktion und beobachtetem Ergebnis. [2]

Diese Unterscheidung ist für Unternehmen wichtig. Eine grosse Videobasis kann allgemeine visuelle Strukturen liefern. Die Anpassung an eine reale Maschine verlangt trotzdem passende Aktionsdaten, Sensorik und technische Einrichtung. Ein Roboter lernt nicht allein durch das Anschauen beliebiger Internetvideos zuverlässig jede betriebliche Aufgabe.

Wie ein Zielbild zur nächsten Bewegung führt

In den V-JEPA-Experimenten beschreibt ein Bild den gewünschten Zustand. Der Planer erzeugt mögliche Aktionsfolgen und lässt das Weltmodell ihre Auswirkungen abschätzen. Anschliessend bewertet er, welche vorhergesagten Merkmale dem Zielbild näherkommen. Die ausgewählte Bewegung wird ausgeführt, eine neue Beobachtung aufgenommen und die Planung wiederholt. Diese Vorgehensweise gehört zur Model Predictive Control. [2]

Der Vorteil ist, dass das System auf Abweichungen reagieren kann. Liegt ein Gegenstand nach einer Bewegung etwas anders als vorhergesagt, beginnt die nächste Planung mit dieser neuen Beobachtung. Es arbeitet nicht ausschliesslich eine starre Folge ab. Allerdings muss die Vorhersage hinreichend passend sein und die Suche nach Aktionen schnell genug erfolgen.

Mit jeder weiter vorausliegenden Bewegung wachsen die Schwierigkeiten. Vorhersagefehler können sich aufaddieren; zugleich entstehen viele mögliche Aktionsfolgen. Eine gute Einschrittprognose garantiert deshalb noch keine gute längere Planung. Genau diese Frage – wie sich Daten, Modellgrösse und Planungshorizont auf das Ergebnis auswirken – zieht sich durch die späteren Arbeiten.

V-JEPA 2: Reale Ergebnisse, aber mit wichtigen Hilfen

Die 2025er Veröffentlichung testete zwei Franka-Panda-Arme mit RobotiQ-Greifern in zwei Laboren, die nicht im DROID-Training enthalten waren. Je Aufgabe, Objekt und Labor wurden zehn Versuche ausgewertet. Bei Pick-and-place lagen die im Paper berichteten Labormittel bei 80 Prozent für eine Tasse und 65 Prozent für eine Box. [2]

Diese Zahlen brauchen ihren Versuchsrahmen direkt daneben. Die Aufgabe erhielt zwei zusätzliche Zwischenzielbilder neben dem Endziel. Auch Kamerapositionen wurden manuell ausprobiert. «Zero-shot» beschreibt hier den Verzicht auf ein neues aufgaben- oder laborspezifisches Training, nicht den Verzicht auf Einrichtung, Robotervorwissen oder Hilfestellung.

Beim separaten Greifen lagen die Ergebnisse zudem bei 65 Prozent für die Tasse und 25 Prozent für die Box. Man darf die Pick-and-place-Zahl deshalb nicht als allgemeine Erfolgsquote für beliebige Handgriffe verwenden. Ebenso wenig lässt sie sich auf komplette Schichten, chaotische Lager oder humanoide Haushaltsarbeit übertragen.

Auch Echtzeit war damit nicht nachgewiesen. Ein beschriebener Planungsvergleich benötigte auf einer RTX 4090 bei Horizont eins 16 Sekunden pro Aktion. Das ist für Forschung aufschlussreich, liegt aber weit entfernt von einer allgemein schnellen Produktionssteuerung. Die Dauer hängt zudem von Suchbudget, Hardware und Aufgabe ab. [2]

V-JEPA 2.1: Mehr Struktur, differenzierte Fortschritte

Der offizielle Release von V-JEPA 2.1 datiert vom 16. März 2026. Die Arbeit erweitert das Training unter anderem um Vorhersageverluste auf mehreren Encoder-Ebenen und nutzt eine grosse zusätzliche Bildbasis. Dadurch werden räumliche Struktur und lokale Merkmale stärker berücksichtigt. Das bedeutet noch nicht, dass eine ausgereifte hierarchische Langzeitplanung entstanden ist. [4] [5]

Im realen Tassentest stieg der Greiferfolg bei gleichem Planungshorizont von 60 auf 70 Prozent. Die Planungszeit lag in beiden Fällen bei drei Sekunden auf einer A100. Die ebenfalls berichteten 80 Prozent wurden erst mit längerem Horizont und verändertem Suchbudget erreicht; die Planung dauerte dabei 14 Sekunden. Eine pauschale Aussage «das Modell verbessert Greifen um 20 Prozentpunkte» würde Modell- und Planungsänderungen vermischen. [4]

Auch Navigationsresultate sind eng auszulegen. Die Veröffentlichung bewertet kurze Trajektorien im offenen Regelkreis auf vorhandenen Datensätzen. Das ist kein umfassender Nachweis autonomer Navigation mit laufender Rückkopplung in einer realen Halle. Für einen mobilen Roboter wäre gerade diese fortgesetzte Anpassung an Menschen, Hindernisse und neue Beobachtungen entscheidend.

RoboJEPA: Der neue Schritt vom Oktober 2026

Mit RoboJEPA untersuchen Meta-FAIR-Forschende und weitere Beteiligte, wie sich robotische Weltmodelle skalieren lassen. Das Paper wurde am 7. Oktober 2026 eingereicht; Code und Modell-Checkpoints sind öffentlich bereitgestellt. Die Prädiktoren reichen von 22 Millionen bis acht Milliarden Parametern und arbeiten über einem festgehaltenen V-JEPA-2.1-Encoder. [6] [7]

Die Trainingsmischung umfasst 23 Datensätze und zwölf Robotikplattformen. Berichtet werden 15'022 Videostunden, aber 6'692 Aktionsstunden. Diese Werte beschreiben nicht dasselbe: Mehrere Kameras können dieselbe Bewegung gleichzeitig aufzeichnen. Ausserdem enthält die Mischung Simulation. Sämtliche Videostunden als ebenso viele Stunden realer, unterschiedlicher Roboterarbeit auszugeben, wäre daher irreführend. [6]

Für die Robotik ist ein Fortschritt besonders interessant: Im realen Experiment genügt ein einzelnes Endzielbild, ohne die zusätzlichen Zwischenzielbilder der früheren Arbeit. Trotzdem bleibt der Rahmen begrenzt. Getestet wurde ein Franka-System mit Seiten- und Handgelenkkamera. Der Planer verändert Translation und Greiferzustand; die Orientierung bleibt fest. Es wurden 30 Episoden pro Modell und Aufgabe manuell bewertet. [6]

Das Acht-Milliarden-Modell erreicht laut Tabelle 67 Prozent beim Greifen, 50 Prozent beim Halten eines angehobenen Objekts und 27 Prozent bei Pick-and-place. Daraus folgt keine einfache Leistungskurve gegenüber den früheren 80 Prozent: Aufgaben, Hilfen und Auswertung unterscheiden sich. Das Paper warnt auch bei Vergleichen mit sprachgesteuerten VLA-Systemen ausdrücklich vor unterschiedlichen Zielvorgaben und Controllerbedingungen.

Die wichtigste Forschungsbotschaft ist somit nicht «alle Aufgaben gelöst». RoboJEPA zeigt Zusammenhänge zwischen Rechenaufwand, Vorhersagefehler und Planungsleistung unter den untersuchten Bedingungen. Die reale Planung verwendet jedoch einen GPU-Cluster, ist nicht in Echtzeit und verarbeitet keine Sprache. Das im Oktober erschienene arXiv-Paper ist eine aktuelle Primärveröffentlichung, kein unabhängiger Produkttest. [6]

Die Nachweise sind nicht direkt austauschbar

Die Tabelle ist keine Rangliste. Sie macht sichtbar, welche Aussage jeweils geprüft wurde. Für eine Beschaffung wäre eine eigene standort- und aufgabenspezifische Abnahme nötig. [2] [4] [6]

Ein Weltmodell ist kein vollständiges Robotiksystem

Selbst ein guter visueller Prädiktor benötigt weitere Bausteine: eine klare Aufgabenbeschreibung, Sensorverarbeitung, geeignete Bewegungssteuerung und einen kontrollierten Umgang mit Grenzen. Ein Sprachmodell könnte eine menschliche Bitte interpretieren; das Weltmodell könnte mögliche Aktionsfolgen bewerten. Beide Rollen sind nützlich, aber nicht identisch.

Metas VL-JEPA-Forschung untersucht auch Vorhersagen von Text-Embeddings. Die veröffentlichten Videotests betreffen jedoch keine ausgeführten Roboterhandlungen. Ein guter Anschluss zwischen Sprache und visuellen Merkmalen ist daher eine Forschungsrichtung, kein Beleg dafür, dass RoboJEPA bereits einen frei formulierten Arbeitsauftrag sicher umsetzt. [8]

Ähnlich wichtig ist Berührung. Ob ein Gegenstand rutscht oder ein Kontakt zu stark wird, lässt sich mit Bildern allein nicht immer ausreichend beurteilen. Die Kombination mit taktiler Sensorik erscheint deshalb sinnvoll. Doch weder ein Weltmodell noch ein zusätzlicher Sensor ersetzt die anwendungsspezifische Risikobeurteilung und validierte Schutzfunktionen.

Physikalische Testresultate zeigen ebenfalls verbleibende Lücken. Im IntPhys-2-Paper lag die getestete V-JEPA-2-h-Variante bei 57,51 Prozent, Menschen bei 96,44 Prozent und Zufall bei 50 Prozent. Das sind Ergebnisse dieser konkreten Modellvariante im damaligen Test – keine nachträgliche Bewertung von RoboJEPA. Sie illustrieren, warum «physikalisches Verständnis» stets mit dem zugehörigen Messverfahren erklärt werden sollte. [9]

Was künftig plausibel wird – und was offenbleibt

Die erste plausible Chance ist eine sparsamere Anpassung an neue Situationen. Ein Modell mit brauchbaren visuellen Grundlagen könnte weniger neue Demonstrationen benötigen als eine vollständig von Grund auf entwickelte Lösung. Wie gross dieser Vorteil im Betrieb ist, hängt aber von Aufgabe und Maschine ab. Die veröffentlichten Stundenangaben sind keine Garantie für den Einrichtungsaufwand eines Schweizer KMU.

Eine zweite Chance liegt in der vorausschauenden Planung. Statt eine Bewegung nur nachträglich als Fehler zu erkennen, könnte das System ungeeignete Folgen bereits in seiner internen Suche aussortieren. Das funktioniert nur innerhalb ausreichend zuverlässiger Vorhersagen. Unbekannte Kontakte oder lange Aktionsketten bleiben anspruchsvoll.

Die dritte Perspektive ist Übertragbarkeit zwischen Plattformen. RoboJEPA untersucht Daten aus mehreren Robotiksystemen, was Forschung an allgemeineren Prädiktoren unterstützt. Der tatsächliche Transfer zu einer neuen Maschine verlangt weiterhin passende Sensor- und Aktionsschnittstellen. Ein Ergebnis mit zwölf Trainingsplattformen beweist nicht, dass jeder neue Humanoide ohne weitere Arbeit einsatzbereit ist.

Für künftige Alltagsrobotik bleiben vor allem Rechengeschwindigkeit, Langzeitplanung und Fehlererholung offen. Ein Roboter muss nicht nur das gewünschte Ende erreichen, sondern bei Unsicherheit stoppen, nachfragen oder übergeben können. Ein sinnvoller Zukunftsausblick hat deshalb keine feste Jahreszahl für den universellen Haushaltshelfer. Er benennt die Voraussetzungen, die noch nachgewiesen werden müssen.

Die Schweizer Chance: Gute Daten und beherrschte Integration

Für Schweizer KMU ist die Frage nicht, ob sie ein Acht-Milliarden-Modell selbst vortrainieren sollten. Praktischer ist, welche wechselnden Aufgaben durch bessere Wahrnehmung und Planung unterstützt werden könnten. Ein hypothetischer Zulieferer mit unterschiedlichen Bauteilpositionen hätte andere Anforderungen als ein Betrieb mit stets identischen Werkstücken. Im zweiten Fall kann eine einfachere Automatisierung wirtschaftlicher und leichter zu prüfen sein.

Wertvoll werden dabei reproduzierbare Prozessdaten: Welche Objekte kommen vor? Welche Abweichungen sind zulässig? Wann musste ein Mensch helfen? Gute Daten verbinden Bilder mit Versionen, Aktionen und Ergebnissen. Ohne diese Disziplin kann eine eindrucksvolle Vorführung weder zuverlässig verglichen noch später verbessert werden.

Auch die Forschungsanbindung ist eine Stärke. ETH RobotX bündelt Robotikkompetenzen und bietet ein Industrieprogramm sowie Möglichkeiten gemeinsamer Projekte. Für einen konkreten betrieblichen Anwendungsfall kann der Austausch mit Fachleuten helfen, zwischen Forschungsversuch und Integrationslösung zu unterscheiden. Eine Verbindung von RobotX zu RoboJEPA oder Max wird damit nicht behauptet. [10]

Personendaten und Geschäftsgeheimnisse gehören ebenfalls in die Planung. Kameras können Mitarbeitende, Zeichnungen oder Kundendaten erfassen. Der EDÖB betont, dass das Schweizer DSG auf KI-gestützte Datenbearbeitungen direkt anwendbar ist. Zweck, Datenflüsse und Trainingsweiterverwendung müssen geklärt werden; bei hohen Risiken ist eine Datenschutz-Folgenabschätzung erforderlich. [11]

Unsere ergänzende Praxischeckliste zur Integration von KI-Robotern übersetzt diese Fragen in konkrete Nachweise für Pilot, Abnahme und Betrieb. Sie ergänzt die technische Forschungsperspektive, statt eine bestimmte Meta-Technologie als bereits kaufbare Lösung zu behandeln.

Fazit: Die Zukunft liegt im überprüfbaren Handeln

Metas Weltmodelle sind ein wichtiger Versuch, KI über reine Beschreibung hinauszuführen. V-JEPA lernt Videostrukturen, V-JEPA 2-AC verbindet sie mit Aktionen, V-JEPA 2.1 verbessert bestimmte Repräsentationen und RoboJEPA untersucht die Skalierung robotischer Vorhersage. Die Fortschritte sind konkret – ihre Grenzen ebenso.

Für die Robotik könnte daraus eine leistungsfähige Planungsschicht entstehen. Für Schweizer Unternehmen zählt am Ende jedoch nicht, wie überzeugend ein Roboter seine Zukunft vorstellt, sondern wie zuverlässig und sicher er die nächste Handlung im freigegebenen Einsatzbereich ausführt.

Primärquellen und weiterführende Informationen

[1] Meta: V-JEPA und die JEPA-Forschungslinie, 15. Februar 2024
[2] V-JEPA 2: Primärpublikation und Robotikprotokoll, Juni 2025
[3] Meta: V-JEPA 2 und physikalische Benchmarks, 11. Juni 2025
[4] V-JEPA 2.1: Primärpublikation, Revision vom 11. Juni 2026
[5] Meta FAIR: offizielles V-JEPA-Repository und Releasehistorie
[6] RoboJEPA: Skalierung, Daten und reale Versuche, 7. Oktober 2026
[7] Meta FAIR: RoboJEPA-Code und Modell-Checkpoints
[8] VL-JEPA: Vision-Language-Forschung, Revision vom 2. Februar 2026
[9] IntPhys 2: Testprotokoll und Ergebnisse der geprüften Modelle, Juni 2025
[10] ETH RobotX: Forschung und Industrieprogramm
[11] EDÖB: KI und Datenschutz, 24. September 2025