Benchmark report

Judge-Test: Produktbeschreibung

openmodelbench report · 2026-10-11 09:46 UTC

Machine: AMD EPYC 7543P 32-Core Processor, 8 threads, 31.3 GiB RAM, linux x64.
Scenario: 1000 jobs within 8 h, so at least 2.08 jobs/min. Quality gate 90 %, safety margin 80 %.

Can this model do the batch on this hardware?

Model	Prompt	Concurrency	Jobs/h	Batch takes	Quality	Verdict
qwen2.5:3b	kurz	1	121	8.2 h	100 % (3/3)	Too slow
qwen2.5:3b	mit-preis	1	104	9.7 h	67 % (2/3)	Quality gate failed

Quality rests on 3 distinct answers per prompt variant. One answer moves the rate by about 33.3 points, so a difference of one or two answers is noise at this sample size.

Throughput (jobs per hour)

qwen2.5:3b / kurz

121

qwen2.5:3b / mit-preis

104

Required for your scenario: 125 jobs/h.

Measurements

Model	Prompt	Conc.	Jobs/min	Median	p95	Prompt tok/s	Output tok/s	Out tokens	Checks	Errors
qwen2.5:3b	kurz	1	2.0	12.1 s	18.9 s	26	11.0	97	100 %	0
qwen2.5:3b	mit-preis	1	1.7	11.2 s	11.9 s	46	11.9	105	67 %	0

Tokens per second come from Ollama's own timers.

Memory and placement

qwen2.5:3b: 1.9 GiB, CPU only, first load 4.1 s

Read the answers

Speed is measured. Quality is not: automatic checks only catch format errors. Rate the answers yourself (ratings stay in this browser).

qwen2.5:3b: 0 good / 0 bad

Sample 1: Mechanische Tastatur mit Cherry MX Brown Switches

qwen2.5:3b / kurz, 9.2 s, 88 tokens

Die mechanische Tastatur mit Cherry MX Brown Switches bietet eine robuste und leistungsstarke Eingabeoption. Mit ihren gedämpften, langanhaltenden Druckreaktionen sind sie ideal für längere Arbeitszeiten. Ihre hohe Zuverlässigkeit und die Konsistenz der Schalter machen diese Tastaturen zu einer ausgewogenen Wahl für professionelle Nutzer.

Judge · Qualitätsprüfung 1.00 Sachlich, auf Deutsch, kein Superlativ, konkreter Vorteil genannt, Länge passt.

qwen2.5:3b / mit-preis, 11.1 s, 110 tokens

Die mechanische Tastatur mit Cherry MX Brown Switches ist ein kostspieliger, aber hochwertiger Ersatz für traditionelle Tastaturen. Mit ihrem Preis von 89 € bietet sie einen scharfen Ton und eine erhebliche Verbesserung der Benutzerfreundlichkeit im Vergleich zu Standardmodulen. Ihre Cherry MX Brown Switches sind bekannt für ihre Stabilität und die hohe Reichweite, was zu einer besseren Tastaturerfahrung beiträgt.

Failed: Qualitätsprüfung (Judge)

Judge · Qualitätsprüfung 0.40 Superlative wie ‘hochwertiger’ und ‘erhebliche Verbesserung’ verletzen die Anforderung.

Sample 2: Stehpult-Aufsatz höhenverstellbar 60–120 cm

qwen2.5:3b / kurz, 12.1 s, 105 tokens

Das Stehpult-Aufsatz mit höhenverstellbarer Funktion ist eine praktische Ergonomielösung für verschiedene Arbeitsbedingungen. Es ermöglicht es, sich zwischen 60 und 120 Zentimeter hochzuziehen, was sowohl bei niedrigeren als auch höheren Sitztieren flexibel eingesetzt werden kann.

Judge · Qualitätsprüfung 1.00 Sachlich, kein Superlativ, Vorteil der höhenverstellbaren Funktion genannt.

qwen2.5:3b / mit-preis, 11.9 s, 107 tokens

Das Stehpult-Aufsatz ist ein flexibles Ergonomieprodukt, das sich von 60 bis 120 cm anstellt. Sein Preis von 149 € macht es zu einem sinnvollen Einkauf für eine optimale Arbeitsplatzgestaltung. Der Höhenverstellbarkeit ermöglicht es, die perfekte Positionierung der Hände und Schultern zu erreichen.

Judge · Qualitätsprüfung 0.80 Sachlich, Preis genannt, Vorteil benannt, Länge passt.

Sample 3: USB-C Dockingstation mit 4K HDMI, 100W PD

qwen2.5:3b / kurz, 18.9 s, 98 tokens

Die USB-C Dockingstation mit 4K HDMI und 100W PD bietet eine effiziente Verbindung zu modernen Geräten. Mit der Möglichkeit, bis zu 100 Watt an Ladung zu übertragen, unterstützt sie die schnelle Batterieladung für mobile Geräte. Die integrierte 4K HDMI-Verbindung ermöglicht es, komplexe Bildschirmanwendungen auf großen Displays zu betrachten.

Judge · Qualitätsprüfung 1.00 Sachlich, kein Superlativ, Vorteil der 100W PD-Ladung genannt, Länge passt.

qwen2.5:3b / mit-preis, 11.2 s, 97 tokens

Die USB-C Dockingstation bietet einen preiswerten Ersatz für Ihre alte HDMI-Anschlusseinheit. Mit der 4K-HDMI-Funktion können Sie Ihre größten Bildschirme optimal angeschlossen nutzen. Der zusätzliche 100W PD-Buchse macht sie zu einem kompakten Netzteilkern für Ihre mobilen Geräte. Preis: 79 €.

Judge · Qualitätsprüfung 0.80 Sachlich, Preis genannt, Hauptvorteil erwähnt.