Die Toolbox wird geladen...
Die Toolbox wird geladen...
Werte lokale Ollama-Läufe in Sekunden und Token pro Sekunde aus. Die Vorlagen machen kalten Start, Kontextverarbeitung und Ausgabe vergleichbar.
Das passende Video ansehenEin Messbericht mit getrennten Lade-, Kontext- und Ausgabezeiten sowie denselben zwei Praxisaufgaben.
README.md1,9 KBlauf-demo.json0,3 KBmesswerte.py2,4 KBanfrage.json0,3 KBMESSABLAUF.md2,7 KBEin Ausschnitt aus dem Paket. Die vollständige Datei liegt im ZIP.
messwerte.pyAusschnitt
"""Validate and summarize Ollama duration fields from a saved JSON response."""
import argparse
import json
import math
from pathlib import Path
def value(data: dict, key: str) -> float:
number = data[key]
if isinstance(number, bool) or not isinstance(number, (int, float)) or not math.isfinite(number) or number < 0:
raise ValueError(f"Ungültiger Messwert: {key}")
return float(number)
def summarize(data: dict) -> str:
if data.get("done") is not True:
raise ValueError("Unvollständiger Lauf: done ist nicht true")
total, load, prompt, output = (value(data, key)/1e9 for key in ("total_duration", "load_duration", "prompt_eval_duration", "eval_duration"))
count_in, count_out = value(data, "prompt_eval_count"), value(data, "eval_count")
cached = value(data, "prompt_eval_cached_count") if "prompt_eval_cached_count" in data else None