Neues vom Benchmarketing

Vor einigen Tagen wurde ich von einem Kunden mit zwei Benchmarks konfrontiert, mit dem mir der Kunde quasi zeigen wollte, das Opterons auch für Serveraufgaben mittlerweile von Intel abgehängt wird. Es handelt sich hierbei um zwei HP Systeme und meinen Lieblingsbenchmark TPC-C: Auf der linken Seite HP ProLiant ML570G4 , auf der rechten HP ProLiant DL585G2/2.8GHz/DC. Auf den ersten Blick: Sieht ja nach identischen Systemen aus. Gleiches Betriebsystem, gleicher SQL-Server und gleicher Transaction-Monitor. Und in der Tat: Das woodcrest-basierte System hat einen Leistungsvorsprung, sowohl bei absoluten Werten als auch bei tpc-c pro $. Gleich nachfolgend kommt die süffisante Frage, warum Sun eigentlich keine TPC-C-Benchmarks bekannt gibt. Ich denke mir nur “Och noe, nicht schon wieder gegen den TPC-C argumentieren …” Und hier beweisst sich wieder: Wer einen Benchmark bewerten will, muss den ganzen Testreport lesen und ein wenig ueber den Benchmark wissen. Sonst ist der Wert absolut ohne jede Aussage. Denn in diesen Testreports steht beim Opteronsystem:

The tested configuration consisted of 528 drives at 36GB for database data, two 36GB drive for the operating system, and 24 drives at 72GB for database log. There were 528 X 36GB drives for database data
on six SMART P800 controllers, 24 X 72 GB drives on the SMART E500 controller, and 2 X 36GB drives
on the SMART P600 controller.

Das Woodcrest-System hat ein ganz anderes I/O-System:

The tested configuration consisted of 800 drives at 36GB for database data, two 36GB drives for the operating system, and 16 drives at 146GB for database log. There were 600 X 36GB drives for database data on six SMART P800 controllers, 200 X 36GB drives for database data on two SMART P600 controllers, 16 X 146GB drives on the StorageWorks MSA1000 controller, and 2 X 36GB drives on the HP SAS HBA with RAID.

Nun muss man wissen, das TPC-C eigentlich mehr eine Funktion über die Anzahl der angeschlossenen Festplatten ist denn eine Bewertung des eigentlichen Systems. Und da sagt dieser Benchmark wirklich eine ganze Menge aus: Mit 66% der Festplatten schafft ein Opteronsystem 82% der Leistung eines ansonsten ähnlichen Woodcrest-Systems. Der Benchmark ist also in Wahrheit recht negativ für Woodcrest. Trotz für den Benchmark ueberlegenem I/O-System vermag das System diesen Vorteil nicht auszunutzen. Das passt im uebrigen auch zu meiner Einschätzung, das bei I/O-intensiven Tasks Woodcrest eher die schlechtere Lösung ist. Und so keimt im meinem Kopf die Antwort auf “Weil Leute wie Deinereiner keine Benchmarks lesen koennt, synthetische Benchmarks ungefähr soviel mit echter Applikationslast wie GZSZ mit dem wirklichen Leben und Benchmarks mit etwas anderem als der Produktionslast nur ein Euphemismus für Lügen ist”. Heraus kommt dann doch “Sun verlaesst sich zur Bewertung von Systemen auf Benchmarks, die eher wirklichen Applikationslasten entsprechen. Darüberhinaus haben wir schon vor einiger Zeit erkannt, das synthetische Benchmarks von allen Herstellern zu gut verstanden werden, um daraus noch für den Kunden und seine echten Problemstellungen verwertbare Ergebnisse zu ziehen. Daran will sich Sun nicht beteiligen.”