B.2 Testfelder und Metamodelle 307
Qualität der Metamodelle
Zur Qualitätsprüfung der Metamodelle wird die Approximationsgenauigkeit an 30
zufällig im Faktorraum verteilten Testpunkten mit Hilfe des Mean Square Error
(MSE) analysiert (Kapitel 7.2.3). Abbildung B.21 zeigt für die Ausgangsvariable
Drehzahl eine deutliche Reduktion des MSE, wenn eine sinnvolle Kombination von
Testfeld (LHC) und Metamodellansatz (KNN und RS) verwendet wird. Zusätzlich
ist zum MSE ein direkter Vergleich von Originalmodell (x-Achse) und Approxima-
tion der Metamodelle (y-Achse ) für die Testdaten dargestellt. Bei Betrachtung der
Drehzahl weist das KNN einen leicht besseren MSE als die Spline Regression auf.
Abbildung B.22 zeigt die Analyse für die gleichen Testpunkte und die Vorhersage
der Flugweite. Durch den komplexeren Zusammenhang ist der Vorteil der flexiblen
Metamodelle (KNN und RS) in Kombination mit dem LHC gegenüber klassischen
Verfahren noch deutlicher. Im Gegensatz zur Drehzahl ist das Metamodell basie-
rend auf die Spline Regression leicht besser als das KNN. Dieses zeigt, dass keine
allgemeine Empfehlung für ein spezielles Metamodell gegeben werden kann, da die
erreichbare Qualität von dem jeweiligen zu approximierenden Zusammenhang und
dem verwendeten Testfeld abhängt. Es ist jedoch deutlich, dass alle flexiblen Meta-
modellansätze gute Approximationensmodelle bei ausreichender Informationsmen-
ge (gleichverteiltes Testfeld) erzeugen.
Resümee
Die Ermittlung der verschiedenen Metamodelle zeigt, dass klassische Testpläne mit
wenige Faktorstufen keine ausreichenden Datenmengen liefern um komplexe Zu-
sammenhänge zwischen Faktoren und Ausgangsvariablen abzubilden. Auch eine
drastische Erhöhung der Testpunkte führt dabei nur zu einer geringen Verbesserung
der Approximationsgenauigkeit, wenn die Stufenanzahl nicht deutlich erhöht. Wer-
den die Testpunkte jedoch gleichförmig im Faktorraum verteilt, so werden Daten
ermittelt, die zur Abbildung komplexer Zusammenhänge ausreichen.
Klassische Metamodelle mit fest vorgegebenen Zusammenhängen können die
vorhandenen Informationen meistens nicht vollständig verwerten, so dass die Zu-
sammenhänge auch bei ausreichenden Informationen nicht abgebildet werden kön-
nen. Erst die Kombination von gleichverteilten Testfeldern und flexiblen Metamo-
dellansätzen werden ausreichende Informationsmengen ermittelt und bei der Erstel-
lung von Metamodellen vollständig berücksichtigt, wodurch komplexe Zusammen-
hänge ausreichend genau abgebildet werden.
Die in Kapitel 7 und Kapitel 8 dargestellten Versuchspläne und Metamodellan-
sätze liefern in Abhängigkeit von der Analyseaufgabe zwar leicht unterschiedliche
Approximationen jedoch sind die Unterschiede bei richtigem Einsatz gering und für
die überwiegenden Anwendungen vernachlässigbar.