Ora testet KI-Agenten auf Live-Websites – der Benchmark bleibt offen

Zwei Prozent. So viele der 31.177 von Ora gescannten Sites erreichen laut Ora-eigener Anzeige Rang B oder besser, bei einem Durchschnittsrang von 38. Ora schätzt selbst, dass 99 Prozent des Webs noch nicht agentenbereit sind – eine Anbieter-Schätzung, kein neutraler Messwert. Am 21. August 2026 hat Vercel dazu eine Customer Story veröffentlicht: „Every major agent tested side by side on live sites“. Der aufwendigere Teil steckt unter dem Score: Laut Vercel betreibt Ora für jeden verglichenen Harness eine eigene Laufzeit und zeichnet dessen Schritte auf.

Was Ora tatsächlich misst

Der Ansatz ist konkreter als die üblichen Leaderboards. Ora schickt Agenten nicht durch synthetische Aufgabensammlungen, sondern auf live betriebene Websites, wo sie sich registrieren, Integrationen einrichten oder bezahlen sollen. Laut Vercel protokolliert journey.ora.ai dabei Kosten, Latenz und die Zahl der Schritte bis zum Abschluss.

Vercel beschreibt Modell und Harness getrennt – also das Sprachmodell einerseits und die Werkzeugumgebung andererseits, die es steuert. Diese Trennung ist der eigentliche Hebel: Ein schwaches Ergebnis sagt ohne sie nicht, ob das Modell die Aufgabe nicht verstanden hat oder ob die Werkzeugumgebung ihm den Weg verbaut. Verglichen werden laut Vercel Claude Code, ChatGPT, Gemini, Hermes, OpenClaw und Vercels eigenes eve. Das ist ein breites, aber von den beteiligten Anbietern zusammengestelltes Vergleichsfeld.

Frontend, Backend und Agent Runtime laufen auf Vercel. Für die Aussagekraft heißt das: Latenz- und Kostenwerte gelten für genau diese Infrastruktur, nicht als plattformneutrale Größe. Wer selbst misst, bekommt bei anderer Hosting-Topologie andere Zahlen.

Das Ergebnis, das in der Story hervorsticht: eve brauchte sieben Prozent weniger Schritte bis zum Ziel.

Wo die Zahlen noch nicht tragen

An dieser Stelle lohnt sich Skepsis. Der Text ist eine Customer Story: Vercel schreibt über einen Kunden, der auf Vercel läuft, und die hervorgehobene Zahl bezieht sich auf Vercels eigenen Agenten. Das macht die Messung nicht falsch, aber es macht sie zu einer Herstellerangabe. Ein Marktbenchmark ist das noch nicht.

Die beiden Hälften dieser Veröffentlichung sind unterschiedlich viel wert. Die getrennte Ausweisung von Modell und Harness ist der methodisch belastbare Teil, weil sie eine Fehlerursache lokalisierbar macht, die in aggregierten Leaderboards komplett verschwindet – das darf man ruhig übernehmen, unabhängig davon, was man von Ora hält. Die sieben Prozent sind der schwache Teil. Ohne Angabe zu Wiederholungen und Streuung ist der Abstand kaum interpretierbar; bei wenigen Durchläufen kann ein einzelner missglückter Versuch ihn erzeugen.

Die praktische Frage für Website- und Produktteams lautet deshalb nicht, wie eve abschneidet. Sie lautet: Lässt sich der Testaufbau reproduzieren? Ein belastbarer Vergleich müsste offenlegen, welche Aufgaben in welcher Version gelaufen sind, wie oft sie wiederholt wurden, wie stark die Ergebnisse streuen und ob die Harness-Konfigurationen für alle Teilnehmer gleich fair gewählt waren.

Was du stattdessen selbst prüfen kannst

Ablehnen muss man den Ansatz deshalb nicht, aber die Antwort gehört ins eigene Testprotokoll. Nimm die drei Abläufe, an denen bei dir wirklich Geld oder Nutzung hängt – Registrierung, Checkout, API-Integration – und lass einen Agenten sie durchlaufen. Wichtig ist dabei weniger, ob er ankommt, als wo er hängen bleibt: Sieh dir die Schritt-Traces an, statt nur das Ergebnis zu zählen. Wiederhole jeden Ablauf mehrfach, sonst misst du Zufall. Und dokumentiere Modell und Harness getrennt, weil du sonst nicht weißt, welche der beiden Stellschrauben du drehen musst.

Der praktische Punkt

Ora bewirbt den Dienst seit dem 22. August nach eigener Anzeige mit „See how well agents can find and use you“. Die Aufforderung ist berechtigt. Nur ist ein aggregierter Rang aus einem fremden Testaufbau keine Antwort darauf, ob dein Checkout einen Agenten durchlässt.

Als Mindestregel für den eigenen Betrieb reicht eine Zeile: Eine Prozentzahl aus einem Agenten-Benchmark ist erst dann eine Entscheidungsgrundlage, wenn Wiederholungszahl, Streuung und Harness-Konfiguration dabeistehen. Fehlt eines davon, ist es eine Marketingaussage mit Nachkommastelle. Offen bleibt, ob ein Anbieter mit eigenem Agenten im Feld diese Angaben überhaupt liefern kann, ohne den Vorsprung zu relativieren.