Elon Musk nennt Grok 4.5 ein Modell der Opus-Klasse, das schneller läuft und weniger kostet. Ein unabhängiger, selbstständiger Benchmark bestätigt diese Aussage nun mit Fakten.
Im AutomationBench-AA von Artificial Analysis belegte Grok 4.5 mit einer Punktzahl von 51,4% den ersten Platz und kostete dabei 0,34 USD pro Aufgabe. Es konnte sowohl Claude Fable 5 (48,6%) als auch Claude Opus 4.8 (48,5%) übertreffen.
Unabhängige Überprüfung von Elon Musks Aussage
SpaceXAI hat Grok 4.5 diese Woche öffentlich gemacht, basierend auf der V9-Basis mit 1,5 Billionen Parametern. Musks Einschätzung basierte zunächst auf internen Tests.
AutomationBench-AA sorgt nun für mehr Klarheit. Artificial Analysis führt den Benchmark unabhängig durch und hält die Aufgaben geheim, um eine Verfälschung zu vermeiden.
Der Test umfasst 657 Aufgaben in 40 simulierten Apps, darunter Gmail, Slack, Salesforce und HubSpot. Bewertet wird, wie viele Ziele ein Agent erreicht, ohne sich nicht an die Vorgaben zu halten.
Folgen Sie uns auf X, um immer die neuesten Nachrichten zu erhalten
Grok 4.5: Günstiger, schneller und weitgehend regelkonform
Mit 0,34 USD pro Aufgabe lag Grok 4.5 deutlich unter Fable 5 mit 1,35 USD sowie Opus 4.8 mit 1,46 USD. Am nächsten kam noch Gemini 3.5 Flash mit 0,49 USD pro Aufgabe.
Das Modell nutzte etwa 8.000 Output-Token pro Aufgabe, ungefähr ein Viertel des gesamten Token-Verbrauchs von Opus 4.8. Diese Effizienz ist der wichtigste Grund für die niedrigeren Kosten, was zu Musks Präsentation beim Start passt.
„Die Gesamtzahl der genutzten Token von 0,44 Millionen pro Aufgabe gehört zu den niedrigsten in der Rangliste. Diese hohe Effizienz und ein günstiges Token-Preismodell führen zu den niedrigen Kosten“, erklärte Artificial Analysis auf X.
Darüber hinaus konnte Grok 4.5 79,9% der Aufgaben-Ziele erfüllen und bestand 21,9% der Aufgaben vollständig. Im Bereich Finanzen, dem schwierigsten Anwendungsfeld, erreichte Grok 4.5 mit 71% die Spitzenposition, gefolgt von Fable 5 mit 64% und Opus 4.8 mit 62%.
Allerdings hat das Modell mehr Regeln verletzt als die stärksten Konkurrenten. Es gab im Schnitt 0,63 Regelverstöße pro Aufgabe, während Opus 4.8 auf 0,55 und Gemini 3.5 Flash auf 0,46 kam.
Gerade für Unternehmen, die Agents in reale Finanzsysteme bringen, ist dieser Unterschied wichtig, denn ein einziger Verstoß kann erhebliche Kosten verursachen.
Abonnieren Sie unseren YouTube-Kanal, um fundierte Einblicke von Expertinnen und Experten sowie Journalistinnen und Journalisten zu erhalten
