#inferenz
2 Artikel
- 2026-10-17
Tokens pro Sekunde sind zwei Benchmarks im Trenchcoat
Eine einzige Tokens-pro-Sekunde-Zahl versteckt Prompt-Verarbeitung, Decoding und den Workload, der wirklich zählt.
- 2026-10-12
Diffusions-Sprachmodelle haben ein Cache-Problem. Endlich wird es interessant.
Diffusions-Sprachmodelle können Text parallel erzeugen, doch wiederholtes Denoising kostet Zeit. Neue cachebewusste Verfahren machen den Kompromiss interessant.