Flint gegen Qwen 3.8 27B: Aufgaben, 36 Läufe und Messskript
Die vier Aufgaben aus dem Vergleich Flint gegen Qwen 3.8 27B im Wortlaut, alle 36 Läufe von Mac mini und ThinkStation PGX mit Seiten, Funktionen, Antworten und Messwerten, die 18 versteckten Tests und zwei Skripte zum Nachprüfen und Selbstmessen mit Ollama.
Jede Zahl aus dem Video nachrechnen, jede Antwort nach den Regeln aus dem Test neu bewerten und Flint oder Qwen 3.8 27B mit denselben Aufgaben und Einstellungen auf deinem eigenen Rechner messen.
Diese Dateien sind dabei.
flint-vs-qwen-testpaket/114 Dateien · 252,3 KB als ZIP
dashboard.html24,5 KB
messen.py16,1 KB
messwerte-summen.csv1,2 KB
messwerte.csv6,1 KB
MESSWERTE.md8,6 KB
pruefen.py12,7 KB
README.md5,3 KB
TESTAUFBAU.md11,5 KB
aufgaben/
live-tempotest.txt0,1 KB
T1-sonnensystem.md0,6 KB
T2-arbeitszeit.md1,5 KB
T3-rechnung.md1 KB
T4-raetsel.md0,5 KB
ergebnisse/
mac/
flint/
T1/
r01.denken.txt21,4 KB
r01.html5,4 KB
r01.txt5,4 KB
T2/
r01.denken.txt14,4 KB
r01.py1,4 KB
r01.txt1,4 KB
r02.denken.txt30 KB
r02.py1,5 KB
r02.txt1,6 KB
r03.denken.txt51 KB
r03.py1,4 KB
r03.txt1,4 KB
T3/
r01.denken.txt23,4 KB
r01.txt0,2 KB
r02.denken.txt23,8 KB
r02.txt0,2 KB
T4/
r01.denken.txt15,3 KB
r01.txt0 KB
r02.denken.txt26,2 KB
r02.txt0 KB
r03.denken.txt12,3 KB
r03.txt0 KB
qwen/
T1/
r01.denken.txt1 KB
r01.html7,3 KB
r01.txt7,4 KB
T2/
r01.denken.txt22,4 KB
r01.py2 KB
r01.txt2 KB
r02.denken.txt20,1 KB
r02.py2,1 KB
r02.txt2,1 KB
r03.denken.txt18,6 KB
r03.py2 KB
r03.txt2 KB
T3/
r01.denken.txt2,7 KB
r01.txt1,3 KB
r02.denken.txt2 KB
r02.txt1,3 KB
T4/
r01.denken.txt2,1 KB
r01.txt1 KB
r02.denken.txt2,9 KB
r02.txt1,2 KB
r03.denken.txt3 KB
r03.txt1,2 KB
results.jsonl10,4 KB
run.log2,9 KB
pgx/
flint/
T1/
r01.denken.txt37,5 KB
r01.html4,5 KB
r01.txt4,5 KB
T2/
r01.denken.txt28,4 KB
r01.py1,4 KB
r01.txt1,4 KB
r02.denken.txt22,8 KB
r02.py1,3 KB
r02.txt1,3 KB
r03.denken.txt28,5 KB
r03.py1,4 KB
r03.txt1,4 KB
T3/
r01.denken.txt14,6 KB
r01.txt0,2 KB
r02.denken.txt13,3 KB
r02.txt0,2 KB
T4/
r01.denken.txt13,3 KB
r01.txt0 KB
r02.denken.txt18,4 KB
r02.txt0 KB
r03.denken.txt7,8 KB
r03.txt0 KB
qwen/
T1/
r01.denken.txt0,6 KB
r01.html9 KB
r01.txt9 KB
T2/
r01.denken.txt9,8 KB
r01.py2,3 KB
r01.txt2,3 KB
r02.denken.txt16,7 KB
r02.py2 KB
r02.txt2 KB
r03.denken.txt9,3 KB
r03.py1,8 KB
r03.txt1,9 KB
T3/
r01.denken.txt2,3 KB
r01.txt1,3 KB
r02.denken.txt2,5 KB
r02.txt1,2 KB
T4/
r01.denken.txt2,6 KB
r01.txt1,6 KB
r02.denken.txt2,4 KB
r02.txt0,8 KB
r03.denken.txt2,3 KB
r03.txt0,9 KB
results.jsonl10,3 KB
run.log2,9 KB
loesung/
flint-korrigiert/
mac-T2-r02.py1,5 KB
mac-T2-r03.py1,4 KB
pgx-T2-r02.py1,3 KB
pgx-T2-r03.py1,4 KB
LOESUNGEN.md3,2 KB
T2_reference.py1 KB
T2_tests.py1,7 KB
T3_loesung.json0,2 KB
T4_loesung.txt0,6 KB
So startest du.
dashboard.html im Browser öffnen und mit python3 messen.py auswerten ergebnisse die Zahlen aus dem Video nachrechnen.
Eine Aufgabe aus aufgaben/ an dein Modell geben, die Antwort mit python3 pruefen.py bewerten und erst danach in loesung/ schauen.
Mit python3 messen.py lauf --modell flint den ganzen Test gegen deinen eigenen Ollama-Server laufen lassen und mit pruefen.py --alle auswerten.
So sieht die Anleitung aus.
Der Anfang der README aus dem Paket. Die vollständige Anleitung liegt im ZIP.
README.md
Flint gegen Qwen 3.8 27B: Aufgaben, alle 36 Läufe und Messskript
Alles aus dem Video „Flint ist da: 3x schneller als Qwen 3.8 27B“ zum Nachprüfen und Nachmachen. Drin sind die vier Aufgaben im Wortlaut, alle 36 Läufe vom Mac mini (M4 Pro, 48 GB) und von der ThinkStation PGX (GB10, 128 GB) mit den gebauten Sonnensystem-Seiten, den Stempeluhr-Funktionen, den Antworten zu Rechnung und Rätsel und den Denkspuren, dazu die 18 versteckten Tests, alle Messwerte und das Dashboard aus dem Video. Mit zwei kleinen Skripten bewertest du jede Antwort neu und misst Flint oder Qwen 3.8 27B auf deinem eigenen Rechner mit denselben Aufgaben und Einstellungen.
Was drin ist
aufgaben/: die vier Aufgaben im Wortlaut (T1 Sonnensystem, T2 Arbeitszeit, T3 Rechnung, T4 Rätsel), genau so an beide Modelle geschickt, dazu die Testfrage aus dem Live-Test im Terminal (live-tempotest.txt). Die fügst du in ollama run flint --verbose ein, das Tempo steht danach bei eval rate.
ergebnisse/: alle 36 Läufe, sortiert nach Rechner (mac, pgx) und Modell (flint, qwen). Je Lauf die Antwort (r01.txt) und die Denkspur (r01.denken.txt), beim Sonnensystem die gebaute Seite (r01.html), bei der Stempeluhr die Funktion (r01.py). Je Rechner dazu die Messdatei results.jsonl und das Protokoll run.log.
loesung/: die 18 versteckten Tests, die Musterlösung, die richtigen Werte der Rechnung, die Lösung des Rätsels und die vier gescheiterten Flint-Funktionen mit korrigiertem Namen, die dann 18 von 18 bestehen.
pruefen.py: bewertet eine Antwort oder alle Läufe eines Ordners nach denselben Regeln wie im Test.
