RANG #2 VON 62Q4_K_M · GGUFThinking (CoT)👁️ Vision32k Kontext
Qwen 3.5-35B-A3B-Thinking
Geprüft im deutschen Praxis-Benchmark v2.1 über 100 reale Aufgaben (je 10 Durchläufe = 1.000 Einzeltests) mit Dual-Judge-Verifikation.
VERIFIZIERTER GESAMT-SCORE V2.1
92.6/ 100
Judge 1 (Qwen 3.8-27B)
92.0 / 100
Judge 2 (Gemma 4-31B)
93.2 / 100
DATEIGRÖSSE (GGUF)
20.5 GB
VRAM INKL. 32K KV-CACHE
22.6 GB
SPEED AUF RTX 5090 (32 GB)
197.8 Tok/s
SPEED AUF RTX 3090 (24 GB)
~106.8 Tok/s
Stärken- & Schwächen-Profil
Durchschnittliche Punktzahl (0 bis 10 Punkte) über jeweils 10 Aufgaben à 10 Runs pro Disziplin.
Code & DebuggingPython, TypeScript, SQL & Fehleranalyse im Realprojekt
9.6 / 10 Logik & DeduktionMehrstufige Schlussfolgerung, Planung & Randfälle
9.9 / 10 AnweisungstreueStrikte Einhaltung komplexer Format- und Negativregeln
10.0 / 10 Strukturiertes JSON / Tool-UseValide Schemata, Funktionsaufrufe & API-Payloads
9.9 / 10 Daten-ExtraktionPräzises Auslesen aus Verträgen, Rechnungen & Tabellen
9.8 / 10 Zusammenfassung (Deutsch)Komprimierung langer deutscher Fachtexte ohne Informationsverlust
9.7 / 10 Multi-Turn-DialogKonsistenz über mehrere Rückfragen und Kurswechsel hinweg
9.9 / 10 Wissensgrenze & Recht/DSGVOSaubere Abgrenzung von gesichertem Wissen vs. Spekulation
8.8 / 10 Halluzinations-SicherheitErkennung erfundener Werke, Paragraphen und Falschannahmen
7.5 / 10 Deutsche GeschäftskorrespondenzNatürlicher, präziser Tonfall ohne KI-Floskeln
7.5 / 10 Q2_K vs. Q4_K_M vs. Q8_0 vs. BF16
Wie viel Qualität kostet stärkere Kompression, und ab welcher GPU-Größe passt welche Stufe komplett in den VRAM?
Copy-Paste Startbefehle
Getestete Parameter für 32k Kontext, Flash-Attention und komplettes GPU-Offloading.
llama.cpp (llama-server · Empfehlung)
llama-server -m ./models/qwen3.5-35b-a3b-thinking-q4_k_m.gguf -c 32768 -ngl 99 -fa --host 0.0.0.0 --port 8080 --reasoning-format deepseek
Ollama (Schnellstart)
ollama run qwen3.5-35b-a3b
NInfer / Strata (MoE & High-Throughput)
ninfer serve --model qwen3.5-35b-a3b-thinking --quant q4_k_m --ctx 32768 --kv-q8
ALTERNATIVEN & DIREKTVERGLEICH
Interaktiven Vergleich öffnen →