Zuckerbergs Muse Code unterliegt Anthropic auf Metas eigenen Benchmark-Charts

  • Zuckerberg startet Muse Code: Metas eigene Charts führen Claude Opus 5 auf Platz eins
  • Meta hat das führende Coding-Modell von OpenAI bei seinen Benchmark-Vergleichen ausgelassen.
  • Unabhängige Tests zeigen: Der wahre Spitzenreiter erzielt 89,5%, mehr als jede Meta-Zahl.
Promo

Mark Zuckerberg hat am Mittwoch Muse Code als Beta-Version vorgestellt, das erste Programmier-Tool mit künstlicher Intelligenz (KI) von Meta. Im direkten Vergleich, den Meta bei der Einführung veröffentlichte, übertrifft Anthropics Claude Opus 5 Muse Code in allen vier Kategorien.

Trotzdem hat Meta diese Charts veröffentlicht. Das Unternehmen vermarktet ein günstigeres Tool, nicht das bessere. Unabhängige Testdaten zeigen zudem, dass der Abstand sogar größer ist, als Meta angibt.

Gesponsert
Gesponsert

Folgen Sie uns auf X, um die neuesten Nachrichten direkt zu erhalten

Metas eigene Charts zeigen: Anthropic gewinnt in jeder Runde

Muse Spark 1.2 ist das Modell, das in Muse Code verwendet wird. Es erreichte 82,9 % im Terminal-Bench 2.1.

Claude Opus 5 erreichte beim gleichen Test 86,7 %. Terminal-Bench wurde vom Laude Institute und Forschern der Stanford University erstellt. Es umfasst 89 reale Aufgaben aus den Bereichen Systemreparatur, Datenarbeit und Sicherheit.

Platz zwei ist respektabel. Muse Code lag damit vor OpenAIs Codex mit 81,8 % und Grok Build mit 81,6 %.

Benchmark-Vergleichsdiagramm für Muse Spark 1.2
Benchmark-Vergleichsdiagramm für Muse Spark 1.2, Quelle: Zuckerberg

Das nächste Diagramm fiel deutlicher aus. DeepSWE 1.1 umfasst 113 Programmieraufgaben, bei denen während der Bewertung keine Verbindung zum Internet besteht. Muse Spark 1.2 landete mit 59,3 % auf dem dritten Platz.

Meta veröffentlichte dann einen eigenen Test, der auf 440 realen Pull Requests der eigenen Entwickler basiert. Muse Spark 1.2 erzielte dort 70,6 % und lag damit etwa neun Punkte hinter Opus 5.

Gesponsert
Gesponsert
Muse Spark 1.2 führte eine Kernel-Optimierungsaufgabe 24 Stunden lang auf NVIDIA Hopper aus – über 1.000 Tool-Aufrufe – und fand reale Verbesserungen auch noch nach der ersten Testphase.
Muse Spark 1.2 führte eine Kernel-Optimierungsaufgabe 24 Stunden lang auf NVIDIA Hopper aus – über 1.000 Tool-Aufrufe – und fand reale Verbesserungen auch noch nach der ersten Testphase.

Dieses Ergebnis liegt nur 2,3 Punkte über Muse Spark 1.1, dem Modell, das Meta im Juli veröffentlicht hat.

Das Modell, das Meta aus seinen Coding-Charts ausgelassen hat

Meta hat sich mit GPT-5.6 Terra verglichen. OpenAI bietet aber mit Sol ein stärkeres Modell an, das Meta in allen drei Programmier-Charts nicht aufführt.

Sol steht mit 89,5 % an der Spitze des unabhängigen Terminal-Bench-2.1-Leaderboards. Opus 5 folgt mit 89,1 %.

Beide Werte sind höher als die 86,7 %, die Meta für Opus 5 angibt. Meta hat eine schwächere Einstellung seines stärksten Konkurrenten gewählt und blieb trotzdem dahinter.

Im Vergleich zu Sol, dem echten Spitzenreiter, liegt Muse Spark 1.2 also 6,6 Punkte zurück, nicht nur 3,8.

Immerhin wurde Sol von Meta bei einer Aufgabe berücksichtigt. Bei einer Kernel-Aufgabe auf einer Grafikkarte (GPU) mit über 1.000 Tool-Aufrufen verbesserte Sol den Ausgangswert um 71,2 %. Muse Spark 1.2 erreichte 68,7 % und belegte Platz vier von sechs.

Eine Fußnote spricht allerdings für Meta. Muse Spark 1.2 taucht auf dem öffentlichen Leaderboard noch nicht auf. Dort wurden bislang nur 26 von 183 erfassten Modellen getestet. Die 82,9 % stammen weiterhin ausschließlich von Meta.

„Muse Spark 1.2 ist unser nächster Schritt auf dem Weg nach vorn, weitere größere und leistungsfähigere Modelle sind bereits in Planung”, schrieb Zuckerberg in einem Beitrag.

Zuckerberg könnte bald das Konkurrenzmodell selbst betreiben

Berichten zufolge ist Meta in Gesprächen, Rechenleistung an Anthropic zu vermieten. Das Geschäft könnte ein Volumen von 10 Mrd. USD über zwei Jahre erreichen. Dann würden Meta-Rechenzentren die Claude-Modelle betreiben, die Muse Code eigentlich verdrängen möchte.

Die Entwicklung hinter Muse Code war teuer. Zuckerberg zahlte im Juni 2025 14,3 Milliarden USD für Scale AI und dessen Gründer Alexandr Wang, der nun Meta Superintelligence Labs leitet.

Preis ist der einzige Hebel, der Wang bleibt. Die Kosten entsprechen dem Juli-Start von Metas erster kostenpflichtiger API bei 1,25 USD pro Million Input-Token und 4,25 USD pro Million Output-Token.

Eine Beitragsebene ist mehr als zehnmal günstiger. Entwickler qualifizieren sich dafür, indem sie Meta erlauben, ihre Arbeit für das Training zu nutzen. Wang nannte keine Zahlen zur Nutzung der Muse Spark-Reihe.

Die Zahlen von Meta erklären den Rabatt. Der Umsatz stieg um 28 % auf 60,8 Milliarden USD im letzten Quartal, jedoch fiel der operative Gewinn um 8 % auf 18,8 Milliarden USD.

Die operative Marge sank auf 31 % nach 43 % im Vorjahr. Meta investierte allein im Quartal 31,08 Milliarden USD in Anlagen und plant bis zu 145 Milliarden USD für das gesamte Jahr.

Muse Code bietet einige Funktionen, die Claude Code fehlen. Hintergrundagenten behalten den Kontext innerhalb einer Session, während Unteragenten in isolierten Kopien eines Repositorys arbeiten.

Meta hat so einen soliden Zweitplatzierten geschaffen und diesen wie eine Budget-Lösung bepreist. Die Beta-Version wird zeigen, ob Entwickler ein paar Punkte Genauigkeit gegen eine Rechnung eintauschen, die etwa ein Zehntel so hoch ausfällt.


Um die neuesten Marktanalysen zu Kryptowährungen von BeInCrypto zu lesen, hier klicken.

Haftungsausschluss

Dieser Artikel zielt darauf ab, genaue und aktuelle Informationen zu liefern. Den Lesern wird jedoch empfohlen, die Fakten unabhängig zu überprüfen und einen Fachmann zu konsultieren, bevor sie auf der Grundlage dieses Inhalts Entscheidungen treffen.

Gesponsert
Gesponsert