Deutscher KI-Benchmark v2.1 & Labor-Berichte

Wir haben 62 Sprachmodelle von 0,8 bis 128 Milliarden Parametern und 78 zusätzliche Quantisierungs- und Engine-Varianten durch denselben deutschen Testparcours geschickt: 100 Aufgaben in 10 Disziplinen (Halluzination, JSON, Anweisungstreue, Logik, Coding, Zusammenfassung, Extraktion, E-Mail, Multi-Turn, Wissensgrenze), jede Frage 10-mal pro Modell. Bewertet wurden alle 139.000 Antworten (über 264.000 Judge-Urteile inkl. Re-Scorings) durch zwei unabhängige lokale Judge-Familien: Qwen 3.8-27B (NVFP4, NInfer) und Gemma 4-31B (Q4, llama.cpp). Die Rangkorrelation zwischen beiden liegt bei 0,996; gegen 100 handbewertete Antworten (Gold-Set) stimmen sie zu 81 bis 82 Prozent überein (bei binären Faktenkriterien zu 100 Prozent). Die wichtigsten Erkenntnisse aus Testrunde 2: • Platz 1 Gesamt: Qwen 3.5-27B Thinking (93,3 / 100, Q4_K_M, ~36 s Antwortzeit auf der RTX 5090). • Bester Non-Thinker überhaupt: Qwen 3.8-Flash-Next ohne Thinking auf der Engine Strata (92,3 / 100, ~170 Tok/s auf 5090 + 96 GB RAM, läuft ab 12 GB VRAM + 64 GB RAM). Aber Vorsicht: Schaltet man bei Flash-Next den Thinking-Modus ein, fällt das Modell auf 86,9 (Strata) bzw. 88,2 Punkte (llama.cpp), weil die Halluzinations-Disziplin auf 25,5 Punkte einbricht! • Bestes Non-Thinking-Modell für eine einzelne 24/32-GB-Karte: Qwen 3.8-27B (90,5 / 100). In llama.cpp (Q4_K_M) läuft es mit 69 Tok/s auf der 5090, in NInfer (NVFP4 mit MTP3) mit 143,8 Tok/s bei C=1. • Preis-Leistungs-Sieger für 8 GB VRAM: Qwen 3.5-9B Thinking (91,3 / 100, Platz 4 im Gesamtfeld, ~18 s Antwortzeit).

Eine der hartnäckigsten Mythen in Foren lautet: „In 4-Bit quantisierte Modelle werden dumm.“ Wir haben es nicht geschätzt, sondern auf der RTX PRO 6000 Blackwell (96 GB VRAM) gegen die unkomprimierten BF16-Originale nachgemessen: 14 Modellpaare, jeweils 1.000 Durchläufe. Die komplette Quantisierungs-Leiter am Beispiel Qwen 3.8-27B: • BF16 (51 GB VRAM): 90,8 Punkte • Q8_0 (27 GB VRAM): 91,6 Punkte • Q6_K (20 GB VRAM): 91,9 Punkte • Q5_K_M (18 GB VRAM): 90,4 Punkte • Q4_K_M (15,6 GB VRAM): 90,5 Punkte • Q2_K (9 GB VRAM): 89,4 Punkte Alle sechs Stufen liegen innerhalb von 2,5 Punkten! Aber: Das gilt nur für Modelle ab der 27B-Klasse. Bei kleinen Modellen wie ministral-3-3b fällt der Score von BF16 (66,6) über Q4 (66,1) bei Q2 auf 56,0 Punkte (−10,6 Punkte). Ebenso messbar schädlich ist Abliteration (das nachträgliche Herausoperieren von Sicherheitsfiltern): Qwen 3.8-27B fällt dadurch bei völlig harmlosen deutschen Büroaufgaben von 90,5 auf 84,7 Punkte (−5,8 Punkte).

Beim Kauf von KI-Hardware schauen viele zuerst auf die Gigabyte-Zahl auf dem Karton. Ob sich ein lokales Modell im Alltag wie ein Werkzeug oder wie eine Sanduhr anfühlt, entscheiden aber zwei andere Werte: Speicherbandbreite (fürs Antworten) und Tensor-Rechenleistung (fürs Einlesen langer Dokumente / Prefill). Der direkte Vergleich mit gpt-oss-20b und 30.000 Token Kontext (ein langes Dokument im Prompt): • NVIDIA RTX 5090 (32 GB GDDR7, 1.792 GB/s): 299 Tok/s beim Antworten und 2,5 s fürs Lesen von 30k Token (mit aktuellem llama.cpp Build b10853 und 430-W-Power-Limit sogar 368 Tok/s und 1,7 s Prefill!). • Mac Studio M3 Ultra (819 GB/s Unified Memory): Solide 116 Tok/s beim Antworten, aber 22 Sekunden Wartezeit beim Einlesen der 30.000 Token, weil den Apple-Chips vor dem M5 dedizierte Matrix-/Tensor-Beschleuniger für schnellen Prefill fehlen. • NVIDIA DGX Spark (128 GB Unified Memory, aber nur 273 GB/s Bandbreite): 10 Sekunden beim Lesen, aber nur 86 Tok/s beim Antworten (und im Llama-2-7B-Vergleich sogar nur 57 Tok/s – das ist das Tempo einer alten GTX 1080 Ti). Beim Stromverbrauch relativiert sich die Angst vor großen GPUs schnell (bei 37 Ct/kWh BDEW-Schnitt 2026): Eine RTX 5090 (310 W im KI-Schnitt, 30 W Leerlauf) kostet bei 4 Stunden täglicher Nutzung rund 14 Euro Strom im Monat (+ knapp 7 € im Leerlauf). Eine RTX 3060 liegt bei rund 8 Euro im Monat.

Wer nur auf die Parameterzahl schaut, reserviert oft unnötig viel VRAM für mittelmäßige Ergebnisse. Unsere Benchmark-Daten (Scoring v2.1) zeigen drei spannende Ausreißer: 1. Gemma 4-31B (86,8 Punkte) schlägt OpenAIs gpt-oss-120b (85,5 Punkte) und mistral-medium-3.5-128b (79,2 Punkte in Q2) bei deutschen Büro- und Logikaufgaben – obwohl es nur ein Viertel der Parameter hat und als Dual-Judge in unserer Pipeline eine Rangkorrelation von 0,996 zu Qwen 3.8-27B erreicht. 2. Spezial-Fine-Tunes halten oft nicht, was der Name verspricht: Das deutsche steuerllm-28b landet im Gesamttest abgeschlagen bei 57,0 Punkten. 3. Vorsicht bei den neuen Qwen-3.8-Distills auf Deutsch: Während Qwen 3.8-27B (90,5) und Qwen 3.8-Flash-Next (92,3) überragen, liegen die kleinen Qwen-3.8-Distills mit 4B (69,3 Punkte) und 9B (77,2 Punkte) auf Deutsch spürbar hinter den regulären Qwen-3.5-Modellen gleicher Größe (76,6 bzw. 80,8 Punkte; mit Thinking erreicht Qwen 3.5-9B sogar 91,3 Punkte!).

Der schnellste Weg, Gedanken in den Rechner zu bringen, ist nicht die Tastatur, sondern die eigene Stimme – vorausgesetzt, man muss danach nicht zwei Sekunden auf einen US-Server warten. Unser Setup aus github.com/winidi/dictate und github.com/winidi/dictapost: • Engine: Parakeet DE (flozen1981/parakeet-primeline-onnx) über sherpa-onnx im lokalen Socket-Daemon. • Latenz: ~50 ms Decode-Zeit auf 4 normalen CPU-Threads nach dem Loslassen des Hotkeys – der Grafikspeicher bleibt zu 100 % frei für dein Sprachmodell. • Herkunftsmarke (#dictapost): Aus den Wort-Shingles deiner echten Spracheingabe wird ein kompakter MinHash-Sketch berechnet. Selbst wenn ein lokales Modell wie Qwen 3.8-27B danach Kommas setzt oder Versprecher glättet, bleibt mathematisch prüfbar, dass der Text von dir gesprochen und nicht von einem Bot halluziniert wurde.