google

/

gemma-4-E4B-it

Like 1.85k

Follow

Google 73.3k

Clarification: the local SciCode runs reported 5.09% for BF16 and 23.73% for the quantized checkpoint. The official harness scored the submitted code as produced; the BF16 run frequently omitted the function definition. The measurements remain recorded, but the earlier broad comparison should not be read as a general conclusion about BF16 or quantization quality.

Local measurements of google/gemma-4-E4B-it.

Hardware: 2× RTX 5060 Ti (32 GB VRAM).
Scores apply to the stated local procedure and coverage, not to all versions of a model.

thinking_off · none

Checkpoint revision: ee0ef6023621cff504d758262d4e04895a5af4a2.

ARC-AGI-1 uses our own procedure on the public split; these scores are not directly comparable with official ARC Prize results.

ARC-AGI-1: These historical measurements use our own procedure on the public evaluation split. They are not directly comparable with official ARC Prize scores. A quoted tolerance between dataset splits does not establish equivalence of prompts, model configuration or evaluation procedure. Any future validated ARC-Prize-based series will be reported separately; it is not active in these results.

Chess Puzzles: Epochs 100 Stellungen (Task 2.0.1, qa_agent, exakter Vergleich). Werte vor 2026-10-25 standen auf einem Lichess-Ersatz und nach Epoch 1.x - nicht vergleichbar. Keine Stellungen oder Loesungen veroeffentlichen.

GPQA Diamond: Datensatz (198 Diamond-Fragen), beide Prompts, das Auslesen und die Bildung des Gesamtwerts folgen der Seite von Vals AI. Nicht veroeffentlicht und deshalb nicht belegt gleich: (1) Temperatur und Ausgabegrenze - gefahren wird die Variante (thinking_off 0 und 16384 Token, thinking_on Herstellerwerte und 65536), das Originalskript nimmt 0 und 1000; (2) der Umgang mit Denkmodellen - wir lesen nur die Endantwort, der Denkteil zaehlt nicht; (3) die Optionsmischung samt Seed - wir mischen wie das Originalskript (random.seed(0) ueber Incorrect 1-3 und Correct, in CSV-Reihenfolge, beide Teile gleich); Indiz dagegen: auf der Seite von Vals steht die Beispielfrage in beiden Prompts mit anderer Reihenfolge. Ebenfalls nicht belegt: ob Vals eine Systemnachricht schickt (wir keine; das Originalskript schon) und den Behelf "Frage 69 zaehlt falsch" des Originalskripts fuehrt (wir nicht). Nach "this question:" steht ein Leerzeichen wie in base_prompt() des Originals; die Seite zeigt dort eine Leerzeile, setzt aber auch den 5-shot-Prompt sichtbar um. Den Eroeffnungssatz traegt der Zero-shot-Prompt seit 2026-10-25 - Werte davor liefen ohne ihn. Solange limit gesetzt ist, Teilumfang - der Ausschnitt trifft beide Teile gleich (die Proben sind verschraenkt).

IFBench: Datensatz, Prompt, Pruefer, Hauptwert, Sampling und (seit 2026-10-22) die Grenze von 32 768 Token je Antwort folgen dem Swallow LLM Leaderboard (dort Eingabe plus Ausgabe, hier die Ausgabe). Nicht gleich oder nicht belegt: top_k nicht gesendet; die Denkstufe von gpt-oss (Swallow: medium); eine leere Endantwort nimmt wie eine fehlende den Denkteil; gemessen werden quantisierte Fassungen. Solange limit gesetzt ist, Teilumfang (die ersten n Prompts).

IFEval: Fuer IFEval gibt es keine feste Vergleichsspur auf llmbenchmarks.io. Der Datensatz (google/IFEval, 541 Prompts) und der Pruefer sind die offiziellen, die Zahl ist also mit veroeffentlichten IFEval-Werten vergleichbar - aber sie steht dort neben keiner Spalte von uns. Berichtet wird prompt_strict_acc; wer eine fremde Zahl danebenlegt, muss pruefen, welche der vier Quoten dort gemeint ist. Und: solange limit gesetzt ist, laeuft nur ein Teil der 541 Prompts - eine Zahl aus 200 Prompts ist keine IFEval-Zahl, sondern eine Stichprobe daraus.

MCP-Atlas: 1) Gemessen werden 75 von 75 festen Aufgaben (plan.yaml aufgaben_ids, Datensatz-Stand 8c563b55d7c9) aus 500 oeffentlichen - die festen sind genau die, deren Werkzeuge mit den 20 schluesselfreien Servern, unserer MongoDB (nur lesend) und dem GitHub-Server (Lesetoken) loesbar sind. Die uebrigen brauchen Zugangsdaten fuer Slack, Notion, Airtable, Google u. a. Die Sandbox wird vor jedem Lauf frisch gestartet. 2) Der Pruefer ist der externe Pruefer extern:gemini-3.1-flash-lite (judge.extern). Das Original bewertet mit Gemini 3.1 Pro - die Werte sind deshalb nicht direkt vergleichbar. Nicht an das Modell uebertragen: seed=42. 3) VERGLEICHSANKER ist die Spalte 'public 500' des Scale-Leaderboards, NICHT die Spalte 'all 1000' - die enthaelt 500 nicht veroeffentlichte Aufgaben, die uns gar nicht vorliegen. Versatz zwischen beiden Spalten laut Paper: -0,8 bis +9,6 Prozentpunkte, Public meist hoeher.; Bewusster Ausschnitt, kein voller Benchmark

SciCode: Vergleichswert ist die TEILAUFGABEN-Quote, nicht die Kopfzahl des offiziellen Leaderboards - die beiden liegen weit auseinander (Groessenordnung 1,5 % gegen 25 %). Beide Zahlen stehen unter extra.metriken. Konfiguration am 2026-09-08 an der Quelle geprueft (artificialanalysis.ai/methodology/intelligence-benchmarking): 'We test with scientist-annotated background information included in the prompt', Subproblem-Scoring, pass@1, 288 Subprobleme im Testsatz, DREI Wiederholungen. Alles davon ist jetzt gesetzt. Bleibende Abweichung: keine im Umfang mehr - seit 2026-09-15 der volle Satz (65 Hauptprobleme, 3 Epochen); gezaehlt wird bei uns je Hauptproblem, die Quelle zaehlt Teilprobleme. Die Quoten sind seit 2026-09-23 pass@1 gemittelt ueber die 3 Epochen; davor zaehlte nur, was in allen drei Epochen geloest war (zu niedrig, nicht mit neuen Werten vergleichbar). Seit 2026-10-06 (P26) zaehlen 13.6, 62.1 und 76.3 wie im offiziellen Harness nicht mit (288 statt 291 Teilaufgaben; vorher je Epoche drei geschenkte Treffer ohne Test, etwa 34,82 statt 34,14 %). Ebenfalls seit 2026-10-06 sind diese drei Schritte wie offiziell mit dem Musterloesungs-Code vorbelegt (SciCode eval/data/.txt, Commit e3158ea, der Auszug des offiziellen Harness - bei 13.6 und 62.1 nur init, vergleich.abweichung); davor schrieb das Modell sie selbst, und 15 Folgeschritte hingen an seinem Code. Werte davor sind mit neuen nicht vergleichbar. Eine unvollstaendig bewertete Probe (fehlende oder ungueltige Teilwerte - nur 0 und 1 -, fehlende Epochen) zaehlt nicht still mit kleinerem Nenner, sondern traegt eine Warnung; der Soll dafuer ist seit 2026-10-06 der festgenagelte Testsatz (config/scicode/problems_test.jsonl), nicht das Protokoll. Seit 2026-10-06 faehrt der Task den offiziellen Ablauf von SciCode (Commit e3158ea: je Teilschritt ein Prompt aus multistep_template.txt, der Vorlage von Artificial Analysis; Pruefung je Schritt wie test_generated_code.py mit 300 s Frist wie AA; gewerteter Code mit der Regex von AA, Code der Vorschritte in den Folgeprompts wie im Harness) statt des Ablaufs von inspect_evals (ein Gespraech ueber alle Schritte, eigene Vorlagen). Seit 2026-10-25 prueft ein gepinntes Abbild MIT matplotlib (SciCode, "requirements for execution"): davor scheiterte Aufgabe 80 (7 Teilaufgaben, bis zu 2,4 Prozentpunkte) fuer jedes Modell, ebenso jeder Schritt, dessen Modellcode selbst matplotlib importierte (ohne feste Obergrenze); Werte davor liegen zu niedrig und sind mit neuen nicht vergleichbar. Urteil vergleichbar seit der Urteilsprobe 2026-10-11 (Plan.md 74, vergleich.abweichung).

SimpleQA: INTERNE Reihe, kein Vergleichswert. llmbenchmarks.io fuehrt SimpleQA Verified (1.000 nachgepruefte Fragen, Epoch AI) - das ist der Task simpleqa_verified daneben. Zwei Datensaetze, zwei Zahlen, kein Ersatz fuereinander. Seit 2026-10-06 wie openai/simple-evals: die Frage ohne eigene Anweisung, ohne Denken mit der Systemnachricht "You are a helpful assistant.", 2048 Ausgabetoken und Temperatur 0,5, mit Denken nur die Frage (davor 512, Temperatur 0 und eine eigene Anweisung - nicht vergleichbar).

SimpleQA Verified: Datensatz, Revision, Anti-Ausweich-Prompt (Wortlaut, hinter der Frage), leerer Systemprompt, Epochs Bewertungsvorlage, Urteilsweg (Werkzeugaufruf submit(grade), nur die drei Noten), Nachbewerten ohne Urteil und die Kennzahl (Anteil richtig ueber alle Fragen) folgen Epoch AI. Anders: das Pruefmodell - Epoch benotet mit gpt-5.6-terra, bei uns extern Gemini 3.1 Flash-Lite (seit 2026-09-21, judge.extern), nie das gemessene Modell selbst; an Epochs 1.000 Antworten gemessen wertet unserer 1,1 Prozentpunkte grosszuegiger (2026-09-26). Temperatur: Epoch nimmt die API-Vorgabe jedes Modells, wir die Variante - thinking_on sendet die Herstellerwerte (am naechsten an der Vorgabe eines vLLM-Endpunkts, belegt gleich ist das nicht), thinking_off seit 2026-10-05 ebenfalls die Herstellerwerte (sampling_fest: hersteller), ohne Nachdenken.

thinking_on · none

Checkpoint revision: ee0ef6023621cff504d758262d4e04895a5af4a2.

GPQA Diamond: Datensatz (198 Diamond-Fragen), beide Prompts, das Auslesen und die Bildung des Gesamtwerts folgen der Seite von Vals AI. Nicht veroeffentlicht und deshalb nicht belegt gleich: (1) Temperatur und Ausgabegrenze - gefahren wird die Variante (thinking_off 0 und 16384 Token, thinking_on Herstellerwerte und 65536), das Originalskript nimmt 0 und 1000; (2) der Umgang mit Denkmodellen - wir lesen nur die Endantwort, der Denkteil zaehlt nicht; (3) die Optionsmischung samt Seed - wir mischen wie das Originalskript (random.seed(0) ueber Incorrect 1-3 und Correct, in CSV-Reihenfolge, beide Teile gleich); Indiz dagegen: auf der Seite von Vals steht die Beispielfrage in beiden Prompts mit anderer Reihenfolge. Ebenfalls nicht belegt: ob Vals eine Systemnachricht schickt (wir keine; das Originalskript schon) und den Behelf "Frage 69 zaehlt falsch" des Originalskripts fuehrt (wir nicht). Nach "this question:" steht ein Leerzeichen wie in base_prompt() des Originals; die Seite zeigt dort eine Leerzeile, setzt aber auch den 5-shot-Prompt sichtbar um. Den Eroeffnungssatz traegt der Zero-shot-Prompt seit 2026-10-25 - Werte davor liefen ohne ihn. Solange limit gesetzt ist, Teilumfang - der Ausschnitt trifft beide Teile gleich (die Proben sind verschraenkt).

IFBench: Datensatz, Prompt, Pruefer, Hauptwert, Sampling und (seit 2026-10-22) die Grenze von 32 768 Token je Antwort folgen dem Swallow LLM Leaderboard (dort Eingabe plus Ausgabe, hier die Ausgabe). Nicht gleich oder nicht belegt: top_k nicht gesendet; die Denkstufe von gpt-oss (Swallow: medium); eine leere Endantwort nimmt wie eine fehlende den Denkteil; gemessen werden quantisierte Fassungen. Solange limit gesetzt ist, Teilumfang (die ersten n Prompts).

IFEval: Fuer IFEval gibt es keine feste Vergleichsspur auf llmbenchmarks.io. Der Datensatz (google/IFEval, 541 Prompts) und der Pruefer sind die offiziellen, die Zahl ist also mit veroeffentlichten IFEval-Werten vergleichbar - aber sie steht dort neben keiner Spalte von uns. Berichtet wird prompt_strict_acc; wer eine fremde Zahl danebenlegt, muss pruefen, welche der vier Quoten dort gemeint ist. Und: solange limit gesetzt ist, laeuft nur ein Teil der 541 Prompts - eine Zahl aus 200 Prompts ist keine IFEval-Zahl, sondern eine Stichprobe daraus.

SimpleQA Verified: Datensatz, Revision, Anti-Ausweich-Prompt (Wortlaut, hinter der Frage), leerer Systemprompt, Epochs Bewertungsvorlage, Urteilsweg (Werkzeugaufruf submit(grade), nur die drei Noten), Nachbewerten ohne Urteil und die Kennzahl (Anteil richtig ueber alle Fragen) folgen Epoch AI. Anders: das Pruefmodell - Epoch benotet mit gpt-5.6-terra, bei uns extern Gemini 3.1 Flash-Lite (seit 2026-09-21, judge.extern), nie das gemessene Modell selbst; an Epochs 1.000 Antworten gemessen wertet unserer 1,1 Prozentpunkte grosszuegiger (2026-09-26). Temperatur: Epoch nimmt die API-Vorgabe jedes Modells, wir die Variante - thinking_on sendet die Herstellerwerte (am naechsten an der Vorgabe eines vLLM-Endpunkts, belegt gleich ist das nicht), thinking_off seit 2026-10-05 ebenfalls die Herstellerwerte (sampling_fest: hersteller), ohne Nachdenken.

Published evidence and current measurements:
https://llmbenchmarks.io/local-gpu-benchmarks/

Local measurements of xbill9/gemma-4-E4B-it-qat-q4_0-w4a16-ct-text-ple4.

Hardware: 2× RTX 5060 Ti (32 GB VRAM).
Scores apply to the stated local procedure and coverage, not to all versions of a model.

thinking_off · compressed-tensors

Checkpoint revision: fe72b64265b624362756f1ac00e664d71f732ba3.

ARC-AGI-1 uses our own procedure on the public split; these scores are not directly comparable with official ARC Prize results.

ARC-AGI-1: These historical measurements use our own procedure on the public evaluation split. They are not directly comparable with official ARC Prize scores. A quoted tolerance between dataset splits does not establish equivalence of prompts, model configuration or evaluation procedure. Any future validated ARC-Prize-based series will be reported separately; it is not active in these results.

Chess Puzzles: Stellungen (Epochs 100, Mirror-Commit 64d16385, sha256 e85df658...), Task-Texte, Geruest (qa_agent, woertlich) und Wertung (exakter Vergleich, kein Pruefer) sind die von Epoch, Task 2.0.1. Abweichungen und Laufeinstellungen: (1) lokaler Endpoint mit dem Fenster 131 072 - je Aufruf hoechstmoeglich, also das Fenster (Epoch: das Maximum des Modells, meist 128 000), Verdichtung ab 90 % des Fensters und Ausgabebudget 1 000 000 Token wie Epochs Vorgaben; (2) ein am Fenster abgelehnter Aufruf (vLLM antwortet mit HTTP 400 statt stop_reason model_length) beendet die Probe ohne Abgabe, wie qa_agents eigene Fensterregel - nicht als Lauffehler; (3) den Denkteil frueherer Zuege behandelt die Chat-Vorlage des Modells (Epoch setzt bei Zhipu und Alibaba preserve_thinking); (4) die erzwungene Schlussantwort laeuft mit der Vorgabe-Denkstufe des Modells wie im oeffentlichen Mirror (Epoch intern: die niedrigste); (5) Temperatur: Epoch nimmt die API-Vorgabe jedes Modells - thinking_on sendet die Herstellerwerte, thinking_off seit 2026-10-25 ebenfalls (sampling_fest: hersteller); (6) Teilumfang, solange limit gesetzt ist. Ohne belegte Werkzeugaufrufe faehrt ein Modell den Task nicht. Werte vor 2026-10-25 (Epoch 1.x mit Pruefermodell auf einem Lichess-Ersatz) sind NICHT vergleichbar.

GPQA Diamond: Datensatz (198 Diamond-Fragen), beide Prompts, das Auslesen und die Bildung des Gesamtwerts folgen der Seite von Vals AI. Nicht veroeffentlicht und deshalb nicht belegt gleich: (1) Temperatur und Ausgabegrenze - gefahren wird die Variante (thinking_off 0 und 16384 Token, thinking_on Herstellerwerte und 65536), das Originalskript nimmt 0 und 1000; (2) der Umgang mit Denkmodellen - wir lesen nur die Endantwort, der Denkteil zaehlt nicht; (3) die Optionsmischung samt Seed - wir mischen wie das Originalskript (random.seed(0) ueber Incorrect 1-3 und Correct, in CSV-Reihenfolge, beide Teile gleich); Indiz dagegen: auf der Seite von Vals steht die Beispielfrage in beiden Prompts mit anderer Reihenfolge. Ebenfalls nicht belegt: ob Vals eine Systemnachricht schickt (wir keine; das Originalskript schon) und den Behelf "Frage 69 zaehlt falsch" des Originalskripts fuehrt (wir nicht). Nach "this question:" steht ein Leerzeichen wie in base_prompt() des Originals; die Seite zeigt dort eine Leerzeile, setzt aber auch den 5-shot-Prompt sichtbar um. Den Eroeffnungssatz traegt der Zero-shot-Prompt seit 2026-10-25 - Werte davor liefen ohne ihn. Solange limit gesetzt ist, Teilumfang - der Ausschnitt trifft beide Teile gleich (die Proben sind verschraenkt).

IFBench: Datensatz, Prompt, Pruefer, Hauptwert, Sampling und (seit 2026-10-22) die Grenze von 32 768 Token je Antwort folgen dem Swallow LLM Leaderboard (dort Eingabe plus Ausgabe, hier die Ausgabe). Nicht gleich oder nicht belegt: top_k nicht gesendet; die Denkstufe von gpt-oss (Swallow: medium); eine leere Endantwort nimmt wie eine fehlende den Denkteil; gemessen werden quantisierte Fassungen. Solange limit gesetzt ist, Teilumfang (die ersten n Prompts).

IFEval: Fuer IFEval gibt es keine feste Vergleichsspur auf llmbenchmarks.io. Der Datensatz (google/IFEval, 541 Prompts) und der Pruefer sind die offiziellen, die Zahl ist also mit veroeffentlichten IFEval-Werten vergleichbar - aber sie steht dort neben keiner Spalte von uns. Berichtet wird prompt_strict_acc; wer eine fremde Zahl danebenlegt, muss pruefen, welche der vier Quoten dort gemeint ist. Und: solange limit gesetzt ist, laeuft nur ein Teil der 541 Prompts - eine Zahl aus 200 Prompts ist keine IFEval-Zahl, sondern eine Stichprobe daraus.

MCP-Atlas: 1) Gemessen werden 75 von 75 festen Aufgaben (plan.yaml aufgaben_ids, Datensatz-Stand 8c563b55d7c9) aus 500 oeffentlichen - die festen sind genau die, deren Werkzeuge mit den 20 schluesselfreien Servern, unserer MongoDB (nur lesend) und dem GitHub-Server (Lesetoken) loesbar sind. Die uebrigen brauchen Zugangsdaten fuer Slack, Notion, Airtable, Google u. a. Die Sandbox wird vor jedem Lauf frisch gestartet. 2) Der Pruefer ist der externe Pruefer extern:gemini-3.1-flash-lite (judge.extern). Das Original bewertet mit Gemini 3.1 Pro - die Werte sind deshalb nicht direkt vergleichbar. Nicht an das Modell uebertragen: seed=42. 3) VERGLEICHSANKER ist die Spalte 'public 500' des Scale-Leaderboards, NICHT die Spalte 'all 1000' - die enthaelt 500 nicht veroeffentlichte Aufgaben, die uns gar nicht vorliegen. Versatz zwischen beiden Spalten laut Paper: -0,8 bis +9,6 Prozentpunkte, Public meist hoeher.; Bewusster Ausschnitt, kein voller Benchmark

SciCode: Vergleichswert ist die TEILAUFGABEN-Quote, nicht die Kopfzahl des offiziellen Leaderboards - die beiden liegen weit auseinander (Groessenordnung 1,5 % gegen 25 %). Beide Zahlen stehen unter extra.metriken. Konfiguration am 2026-09-08 an der Quelle geprueft (artificialanalysis.ai/methodology/intelligence-benchmarking): 'We test with scientist-annotated background information included in the prompt', Subproblem-Scoring, pass@1, 288 Subprobleme im Testsatz, DREI Wiederholungen. Alles davon ist jetzt gesetzt. Bleibende Abweichung: keine im Umfang mehr - seit 2026-09-15 der volle Satz (65 Hauptprobleme, 3 Epochen); gezaehlt wird bei uns je Hauptproblem, die Quelle zaehlt Teilprobleme. Die Quoten sind seit 2026-09-23 pass@1 gemittelt ueber die 3 Epochen; davor zaehlte nur, was in allen drei Epochen geloest war (zu niedrig, nicht mit neuen Werten vergleichbar). Seit 2026-10-06 (P26) zaehlen 13.6, 62.1 und 76.3 wie im offiziellen Harness nicht mit (288 statt 291 Teilaufgaben; vorher je Epoche drei geschenkte Treffer ohne Test, etwa 34,82 statt 34,14 %). Ebenfalls seit 2026-10-06 sind diese drei Schritte wie offiziell mit dem Musterloesungs-Code vorbelegt (SciCode eval/data/.txt, Commit e3158ea, der Auszug des offiziellen Harness - bei 13.6 und 62.1 nur init, vergleich.abweichung); davor schrieb das Modell sie selbst, und 15 Folgeschritte hingen an seinem Code. Werte davor sind mit neuen nicht vergleichbar. Eine unvollstaendig bewertete Probe (fehlende oder ungueltige Teilwerte - nur 0 und 1 -, fehlende Epochen) zaehlt nicht still mit kleinerem Nenner, sondern traegt eine Warnung; der Soll dafuer ist seit 2026-10-06 der festgenagelte Testsatz (config/scicode/problems_test.jsonl), nicht das Protokoll. Seit 2026-10-06 faehrt der Task den offiziellen Ablauf von SciCode (Commit e3158ea: je Teilschritt ein Prompt aus multistep_template.txt, der Vorlage von Artificial Analysis; Pruefung je Schritt wie test_generated_code.py mit 300 s Frist wie AA; gewerteter Code mit der Regex von AA, Code der Vorschritte in den Folgeprompts wie im Harness) statt des Ablaufs von inspect_evals (ein Gespraech ueber alle Schritte, eigene Vorlagen). Seit 2026-10-25 prueft ein gepinntes Abbild MIT matplotlib (SciCode, "requirements for execution"): davor scheiterte Aufgabe 80 (7 Teilaufgaben, bis zu 2,4 Prozentpunkte) fuer jedes Modell, ebenso jeder Schritt, dessen Modellcode selbst matplotlib importierte (ohne feste Obergrenze); Werte davor liegen zu niedrig und sind mit neuen nicht vergleichbar. Urteil vergleichbar seit der Urteilsprobe 2026-10-11 (Plan.md 74, vergleich.abweichung).

SimpleQA: INTERNE Reihe, kein Vergleichswert. llmbenchmarks.io fuehrt SimpleQA Verified (1.000 nachgepruefte Fragen, Epoch AI) - das ist der Task simpleqa_verified daneben. Zwei Datensaetze, zwei Zahlen, kein Ersatz fuereinander. Seit 2026-10-06 wie openai/simple-evals: die Frage ohne eigene Anweisung, ohne Denken mit der Systemnachricht "You are a helpful assistant.", 2048 Ausgabetoken und Temperatur 0,5, mit Denken nur die Frage (davor 512, Temperatur 0 und eine eigene Anweisung - nicht vergleichbar).

SimpleQA Verified: Datensatz, Revision, Anti-Ausweich-Prompt (Wortlaut, hinter der Frage), leerer Systemprompt, Epochs Bewertungsvorlage, Urteilsweg (Werkzeugaufruf submit(grade), nur die drei Noten), Nachbewerten ohne Urteil und die Kennzahl (Anteil richtig ueber alle Fragen) folgen Epoch AI. Anders: das Pruefmodell - Epoch benotet mit gpt-5.6-terra, bei uns extern Gemini 3.1 Flash-Lite (seit 2026-09-21, judge.extern), nie das gemessene Modell selbst; an Epochs 1.000 Antworten gemessen wertet unserer 1,1 Prozentpunkte grosszuegiger (2026-09-26). Temperatur: Epoch nimmt die API-Vorgabe jedes Modells, wir die Variante - thinking_on sendet die Herstellerwerte (am naechsten an der Vorgabe eines vLLM-Endpunkts, belegt gleich ist das nicht), thinking_off seit 2026-10-05 ebenfalls die Herstellerwerte (sampling_fest: hersteller), ohne Nachdenken.

thinking_on · compressed-tensors

Checkpoint revision: fe72b64265b624362756f1ac00e664d71f732ba3.

GPQA Diamond: Datensatz (198 Diamond-Fragen), beide Prompts, das Auslesen und die Bildung des Gesamtwerts folgen der Seite von Vals AI. Nicht veroeffentlicht und deshalb nicht belegt gleich: (1) Temperatur und Ausgabegrenze - gefahren wird die Variante (thinking_off 0 und 16384 Token, thinking_on Herstellerwerte und 65536), das Originalskript nimmt 0 und 1000; (2) der Umgang mit Denkmodellen - wir lesen nur die Endantwort, der Denkteil zaehlt nicht; (3) die Optionsmischung samt Seed - wir mischen wie das Originalskript (random.seed(0) ueber Incorrect 1-3 und Correct, in CSV-Reihenfolge, beide Teile gleich); Indiz dagegen: auf der Seite von Vals steht die Beispielfrage in beiden Prompts mit anderer Reihenfolge. Ebenfalls nicht belegt: ob Vals eine Systemnachricht schickt (wir keine; das Originalskript schon) und den Behelf "Frage 69 zaehlt falsch" des Originalskripts fuehrt (wir nicht). Nach "this question:" steht ein Leerzeichen wie in base_prompt() des Originals; die Seite zeigt dort eine Leerzeile, setzt aber auch den 5-shot-Prompt sichtbar um. Den Eroeffnungssatz traegt der Zero-shot-Prompt seit 2026-10-25 - Werte davor liefen ohne ihn. Solange limit gesetzt ist, Teilumfang - der Ausschnitt trifft beide Teile gleich (die Proben sind verschraenkt).

IFBench: Datensatz, Prompt, Pruefer, Hauptwert, Sampling und (seit 2026-10-22) die Grenze von 32 768 Token je Antwort folgen dem Swallow LLM Leaderboard (dort Eingabe plus Ausgabe, hier die Ausgabe). Nicht gleich oder nicht belegt: top_k nicht gesendet; die Denkstufe von gpt-oss (Swallow: medium); eine leere Endantwort nimmt wie eine fehlende den Denkteil; gemessen werden quantisierte Fassungen. Solange limit gesetzt ist, Teilumfang (die ersten n Prompts).

IFEval: Fuer IFEval gibt es keine feste Vergleichsspur auf llmbenchmarks.io. Der Datensatz (google/IFEval, 541 Prompts) und der Pruefer sind die offiziellen, die Zahl ist also mit veroeffentlichten IFEval-Werten vergleichbar - aber sie steht dort neben keiner Spalte von uns. Berichtet wird prompt_strict_acc; wer eine fremde Zahl danebenlegt, muss pruefen, welche der vier Quoten dort gemeint ist. Und: solange limit gesetzt ist, laeuft nur ein Teil der 541 Prompts - eine Zahl aus 200 Prompts ist keine IFEval-Zahl, sondern eine Stichprobe daraus.

SimpleQA Verified: Datensatz, Revision, Anti-Ausweich-Prompt (Wortlaut, hinter der Frage), leerer Systemprompt, Epochs Bewertungsvorlage, Urteilsweg (Werkzeugaufruf submit(grade), nur die drei Noten), Nachbewerten ohne Urteil und die Kennzahl (Anteil richtig ueber alle Fragen) folgen Epoch AI. Anders: das Pruefmodell - Epoch benotet mit gpt-5.6-terra, bei uns extern Gemini 3.1 Flash-Lite (seit 2026-09-21, judge.extern), nie das gemessene Modell selbst; an Epochs 1.000 Antworten gemessen wertet unserer 1,1 Prozentpunkte grosszuegiger (2026-09-26). Temperatur: Epoch nimmt die API-Vorgabe jedes Modells, wir die Variante - thinking_on sendet die Herstellerwerte (am naechsten an der Vorgabe eines vLLM-Endpunkts, belegt gleich ist das nicht), thinking_off seit 2026-10-05 ebenfalls die Herstellerwerte (sampling_fest: hersteller), ohne Nachdenken.

Published evidence and current measurements:
https://llmbenchmarks.io/local-gpu-benchmarks/