ARCHIV 1999-2006

ARCHIV :: # 2018

Doping-Vorfall beim Benchmarketing

Schummler unter sich: nVidia versus ATI

Autor: kai - Datum: 26.05.2003

Wie Heise berichtet wurde nVidia des "Dopings" überführt: Ihre Treiber enthalten spezielle Anpassungen für den beliebten 3Dmark2003, die nVidia-Karten besonders gut in diesem Benchmark abschneiden lassen. Hierbei handelt es sich allerdings nicht um allgemeine Optimierungen sondern nVidia hat wie's aussieht den kompletten Benchmark in exakt der Form, in der er abläuft geschummelt. Und zwar insofern, dass man z.B. von einem Himmel in einer Szene nur exakt den Teil berechnet, über den der Benchmark einen Schwenk macht. Für ein Spiel würde das bedeuten, dass ein Blickwinkel perfekt aussieht aber sobald man sich etwas dreht gibt's Bildfehler. Selbst anschauen, wie sowas aussieht kann man sich das z.B. hier. Auch ATI wurde von dem neuesten 3Dmark-Patch, der diese Schummelei abstellen soll leicht betroffen, jedoch im Vergleich zu nVidia so lächerlich wenig, dass man kaum von Schummelei sprechen kann. Die tollen ersten Testergebnisse des GeForce FX 5900 kann man somit wohl somit erstmal vergessen. nVidia wollte wohl kaschieren, dass der FX dem Radeon 9800 in Sachen Shader-Leistung deutlich unterlegen ist. Das ist ganz sicher nicht die feine englische Art, aber es illustriert sehr schön, wie bei Benchmarks immer wieder gerne beschissen wird. ATI wurde schon der Schummelei bei Quake3-Benchmarks überführt (es wurden einfach nicht alle Bilder berechnet), Intel bastelt extra Fortran-Compiler die speziell auf die SPEC-FP-Suite angepasst sind, Festplattenhersteller bauen Techniken ein, die Plattentestprogramme erkennen und die Daten aus dem Cache liefern um schnelleren Zugriff zu suggerieren, M$ optimiert NT im Mindcraft-Vergleich mit Linux per Hand und sorgt dafür, dass das Linux sehr stiefmütterlich installiert wird um im Test gegen Linux möglichst gut dazustehen und Apple erzählt irgendwas vom "Supercomputer", weil der erste G4 in einem theoretischen Idealfall 4 GFLOPs erreicht hat. Okay, letzteres ist nicht gerade Schummelei, aber doch ziemlich übertriebene Schönmalerei.
Was für ein Fazit ziehen wir daraus? Ganz klar: Zahlen sind letztendlich doch nur Schall und Rauch. Das beste ist und wird immer sein, seine Kaufentscheidung nicht von solchen Zahlen abhängig zu machen sondern am besten die ins Auge gefasste Hard- und Software live und direkt auszuprobieren und selbst die Tests damit zu machen, die einem selbst am wichtigsten sind. Zweite Hilfe zur Kaufentscheidung sollten Erfahrungsberichte von Bekannten sein, die das entsprechende Produkt schon ausprobiert haben. Schöne Balkengrafiken helfen uns zwar, Unterschiede konkret zu visualisieren, aber sie sollten keinesfalls so überbewertet werden wie es heutzutage der Fall ist! Denn erstens sind sie oft ohne Bezug zur Realität (was bringen mir theoretische 4 GFLOPs mit Altivec? Was bringt mir heute ein hoher 3Dmark-Wert, wenn es die ersten DirectX9-Spiele erst Anfang nächsten Jahres geben wird?) und zweitens sind sie, wie wir dank dem 3Dmark-Debakel sehen, sowieso oft geschummelt!...

Kommentare

Dann mach ich mal den Anfang

Von: ks | Datum: 27.05.2003 | #1
Darüber gibts halt nix zu sagen, außer, es geht halt nix über RealWorld-Tests.

Das Intel ihre Compiler extra den SPECs anpaßt ist ja bekannt und das IBM?? und Motorola!! das nicht machen, läßt auf einiges hoffen... IBM PPC970 :D

Gute Nacht (nicht ironisch gemeint, geh jetzt wirklich schlafen).

Ach ja, Kai, ich hab da was gefunden, und hätte gerne deine Meinung dazu gehört:

http://www.naval-technology.com/contractors/computers/pentek/pentek2.html

Huii...

Von: kai | Datum: 27.05.2003 | #2
Nett, ein Quad-G4-Board! ;-)
Davon gibt's einige Hersteller und Boards, die meisten für die Industrie/Wissenschaft, es gibt sogar welche als PCI-Karte!
Die sind allerdings soweit mir bekannt ausschliesslich für den embedded- Netzwerk- und DSP/Numbercrunching-Bereich gedacht. Das ist also genau Motorolas "andere" Abnehmergruppe für ihre 74xx! ;-)