Bestimmtheitsmaß: Kennzahl zur Beurteilung der Anpassungsgüte einer Regression

Das Bestimmtheitsmaß, auch Determinationskoeffizient (von lateinisch determinatio „Abgrenzung, Bestimmung“ bzw.

determinare „eingrenzen“, „festlegen“, „bestimmen“ und coefficere „mitwirken“), bezeichnet mit , ist in der Statistik eine Kennzahl zur Beurteilung der Anpassungsgüte einer Regression. Das Bestimmtheitsmaß beruht auf der Quadratsummenzerlegung, bei der die totale Quadratsumme in die durch das Regressionsmodell erklärte Quadratsumme einerseits und in die Residuenquadratsumme andererseits zerlegt wird. Allerdings existieren mehrere verschiedene, nicht gleichbedeutende Definitionen des Bestimmtheitsmaßes.

Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften
Dieses Streudiagramm zeigt zwei konkrete empirische Regressionsgeraden einer linearen Einfachregression, die jeweils bestmöglich durch die „Punktwolke“ der Messung gelegt wurden. Zu erkennen ist, dass die obere Gerade eine bessere Anpassung an die Daten liefert als die untere. Formal lässt sich dies anhand eines höheren R-Quadrat-Wertes erkennen ( vs. ).

Das Bestimmtheitsmaß steht in enger Beziehung zu weiteren Modellgütemaßen zur Prüfung der Regressionsfunktion, wie z. B. zum Standardfehler der Regression und zur F-Statistik. Weil das Bestimmtheitsmaß durch die Aufnahme zusätzlicher Variablen wächst und die Gefahr der Überanpassung besteht, wird für praktische Anwendungen meist das adjustierte Bestimmtheitsmaß verwendet. Das adjustierte Bestimmtheitsmaß „bestraft“ im Gegensatz zum unadjustierten Bestimmtheitsmaß die Aufnahme jeder neu hinzugenommenen erklärenden Variable.

Obwohl das Bestimmtheitsmaß die am häufigsten benutzte Kennzahl ist, um die globale Anpassungsgüte einer Regression zu quantifizieren, wird es oft fehlinterpretiert und falsch angewendet, auch da bei einer Regression durch den Ursprung zahlreiche alternative Definitionen des Bestimmtheitsmaßes nicht äquivalent sind.

Das Bestimmtheitsmaß ist ein reines Zusammenhangsmaß. So ist es nicht möglich, das Bestimmtheitsmaß zu verwenden, um einen direkten kausalen Zusammenhang zwischen den Variablen nachzuweisen. Außerdem zeigt das Bestimmtheitsmaß nur die Größe des Zusammenhangs zwischen den Variablen, aber nicht, ob dieser Zusammenhang statistisch signifikant ist.

Das Pseudo-Bestimmtheitsmaß und die Devianz verallgemeinern das Bestimmtheitsmaß.

Einführung in die Problemstellung

Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Regressiongerade Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  als Schätzer (Modellfunktion) für den Zusammenhang von Größe und Gewicht der Probanden. Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist das geschätzte Gewicht des Probanden bei einer gegebenen Größe Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Der Restfehler (das Residuum) Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  stellt die Differenz zwischen dem Messwert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Schätzwert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  dar.

Gegeben sind Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Messungen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , d. h., bei dem Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften -ten Wertepaar Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  wird einem Wert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (z. B. Größe einer Person) ein Messwert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (z. B. das gemessene Gewicht der Person) zugeordnet. Dazu berechnet man den empirischen Mittelwert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (z. B. das mittlere Gewicht der Probanden). Ferner gibt es einen Schätzer Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (Modellfunktion), der jedem Wert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (z. B. Größe) einen Schätzwert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (geschätztes Gewicht für eine Person mit Größe Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ) zuordnet. Die Abweichung einer Schätzung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  von der zugehörigen Messung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  gegeben und wird „Residuum“ genannt. Bei der einfachen linearen Regression, die zum Ziel hat, das Absolutglied (englisch intercept) Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , die Steigung (englisch slope) Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und die Störgrößenvarianz Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  zu schätzen, wird der Schätzer anschaulich durch die Regressionsgerade beschrieben und mathematisch durch die Stichproben-Regressionsfunktion Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  definiert. Die beiden Parameterschätzer Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  werden auch als Kleinste-Quadrate-Schätzer bezeichnet. Wenn das zugrundeliegende Modell ein von Null verschiedenes Absolutglied Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  enthält, stimmt der empirische Mittelwert der Schätzwerte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  mit dem der beobachteten Messwerte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  überein, also

Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (für einen Beweis siehe unter Matrixschreibweise).

Es empfiehlt sich, nach der Schätzung der Regressionsparameter die Regressionsgerade gemeinsam mit den Datenpunkten in ein Streudiagramm einzuzeichnen. Auf diese Weise bekommt man eine Vorstellung davon, wie „gut“ die Punkteverteilung durch die Regressionsgerade wiedergegeben wird. Je enger die Datenpunkte um die Regressionsgerade herum konzentriert sind, d. h. je kleiner also die Residuenquadrate sind, desto „besser“. In diesem Zusammenhang ist allerdings zu beachten, dass die Residuenquadrate typischerweise klein sind, wenn die abhängige Variable eine geringe Variabilität aufweist. Die geforderte Kleinheit der Residuenquadrate muss also in Relation zur Streuung der abhängigen Variablen betrachtet werden.

Ein Maß zur Beurteilung der Anpassungsgüte sollte außerdem die Streuung der Messwerte und die der geschätzten Werte in Relation setzen. Die Streuung der jeweiligen Werte um ihren Mittelwert kann mithilfe der „Summe der Abweichungsquadrate“ (Summe der Quadrate bzw. englisch Sum of Squares, kurz: SQ oder SS) gemessen werden. Das „mittlere Abweichungsquadrat“ stellt die empirische Varianz dar. Die Streuung der Schätzwerte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  um ihren Mittelwert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  kann durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  gemessen werden und die Streuung der Messwerte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  um das Gesamtmittel Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  kann durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  gemessen werden. Erstere stellt die durch die Regression „erklärte Quadratsumme“ (Summe der Quadrate der Erklärten Abweichungen bzw. englisch Sum of Squares Explained, kurz: SQE oder SSE), und letztere stellt die „zu erklärende Quadratsumme“ bzw. die „totale Quadratsumme“ (Summe der Quadrate der Totalen Abweichungen bzw. englisch Sum of Squares Total, kurz: SQT oder SST) dar. Das Verhältnis dieser beiden Größen wird das Bestimmtheitsmaß der Regression genannt. Das Bestimmtheitsmaß zeigt, wie gut die durch die Schätzung gefundene Modellfunktion zu den Daten passt, d. h. wie gut sich die konkrete empirische Regressionsgerade einer angenommenen wahren Gerade Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  annähert. Die durch die Regression „nicht erklärten Abweichungen“ (Restabweichungen), d. h. die Abweichungen der Datenpunkte von der Regressionsgeraden werden durch die Regression „nicht erklärte Quadratsumme“ bzw. die Residuenquadratsumme (Summe der Quadrate der Restabweichungen (oder: „Residuen“) bzw. englisch Sum of Squares Residual, kurz: SQR oder SSR) erfasst, die durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  gegeben ist.

Definitionen

Das Bestimmtheitsmaß dient als Maßzahl zur Beurteilung der globalen Anpassungsgüte eines Regressionsmodells.

Variante 1

Das Bestimmtheitsmaß der Regression, auch empirisches Bestimmtheitsmaß, ist eine dimensionslose Maßzahl, die den Anteil der Variabilität in den Messwerten der abhängigen Variablen ausdrückt, der durch das lineare Modell „erklärt“ wird. Gegeben die Quadratsummenzerlegung, ist das Bestimmtheitsmaß der Regression definiert als das Verhältnis der durch die Regression erklärten Quadratsumme zur totalen Quadratsumme:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

wobei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Als quadrierter Korrelationskoeffizient

Bei einer einfachen linearen Regression (nur eine erklärende Variable) Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  entspricht das Bestimmtheitsmaß dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und lässt sich aus der Produktsumme Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (Summe der Produkte der Abweichungen der Messwerte vom jeweiligen Mittelwert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ) und den Quadratsummen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  berechnen:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei der Kleinste-Quadrate-Schätzer für die Steigung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Quotient aus Produktsumme von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Quadratsumme von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist. In der einfachen linearen Regression ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , wenn Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist, d. h. die erklärende Variable steht zur Schätzung von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  nicht zur Verfügung. Dies folgt aus der Tatsache, dass in der einfachen linearen Regression Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  gilt. In diesem Fall besteht das „beste“ lineare Regressionsmodell nur aus dem Absolutglied Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Das so definierte Bestimmtheitsmaß ist ebenfalls gleich null, wenn der Korrelationskoeffizient Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  gleich null ist, da es in der einfachen linearen Regression dem quadrierten Korrelationskoeffizienten zwischen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  entspricht. Im Kontext der einfachen linearen Regression wird das Bestimmtheitsmaß auch als einfaches Bestimmtheitsmaß bezeichnet. Bei der Interpretation des einfachen Bestimmtheitsmaßes muss man vorsichtig sein, da es u. U. schon deshalb groß ist, weil die Steigung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Regressionsgeraden groß ist.

In der einfachen linearen Regression entspricht das Bestimmtheitsmaß dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (siehe auch unter Als quadrierter Korrelationskoeffizient). Dieser Umstand ist dafür verantwortlich, dass das Bestimmtheitsmaß als Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (lies: R Quadrat) oder Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  notiert wird. In deutschsprachiger Literatur findet sich auch der Buchstabe Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  als Bezeichnung für das Bestimmtheitsmaß. In den Anfängen der Statistik wurde mit dem Buchstaben Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ein Schätzer des Korrelationskoeffizienten der Grundgesamtheit notiert und in der Regressionsanalyse wird diese Notation noch heute verwendet.

Multiple lineare Regression

In der Realität hängen abhängige Variablen im Allgemeinen von mehr als einer erklärenden Variablen ab. Zum Beispiel ist das Gewicht eines Probanden nicht nur von dessen Alter, sondern auch von dessen sportlicher Betätigung und psychologischen Faktoren abhängig. Bei einer multiplen Abhängigkeit gibt man die Annahme der einfachen linearen Regression auf, bei der die abhängige Variable nur von einer erklärenden Variablen abhängt. Um eine mehrfache Abhängigkeit zu modellieren, benutzt man ein typisches multiples lineares Regressionsmodell

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Hierbei ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die Anzahl der zu schätzenden unbekannten Parameter und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die Anzahl der erklärenden Variablen. Zusätzlich zur Dimension der unabhängigen Variablen wird auch eine zeitliche Dimension integriert, wodurch sich ein lineares Gleichungssystem ergibt, was sich in Vektor-Matrix-Form darstellen lässt.

Im Gegensatz zur einfachen linearen Regression entspricht in der multiplen linearen Regression das Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  dem Quadrat des Korrelationskoeffizienten zwischen den Messwerten Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und den Schätzwerten Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (für einen Beweis siehe unter Matrixschreibweise), also

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Im Kontext der multiplen linearen Regression wird das Bestimmtheitsmaß auch als mehrfaches bzw. multiples Bestimmtheitsmaß bezeichnet. Aufgrund des oben aufgezeigten Zusammenhangs kann das multiple Bestimmtheitsmaß als eine Maßzahl für die Anpassungsgüte der geschätzten Regressionshyperebene Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  an die Realisierungen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Zufallsvariablen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  angesehen werden. Es ist also ein Maß des linearen Zusammenhangs zwischen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Variante 2

Für den speziellen Fall einer linearen Regression mit Fit des Achsenabschnitts kann die obige Definition äquivalent wie folgt geschrieben werden (nicht jedoch im Allgemeinen):

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei angenommen wird, dass für die totale Quadratsumme Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  gilt, was praktisch immer erfüllt ist, außer für den Fall, dass die Messwerte der abhängigen Variable keinerlei Variabilität aufweisen, d. h. Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . In diesem Falle ist das Bestimmtheitsmaß nicht definiert. Die zweite Gleichung, die sich mithilfe der Quadratsummenzerlegung für lineare Modelle zeigen lässt, ist eine alternative Berechnungsformel für das Bestimmtheitsmaß, welche auch negative Werte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  für das Bestimmtheitsmaß liefern kann, falls Annahmen eines linearen Modells verletzt werden.

Die alternative Berechnungsformel setzt die geforderte Kleinheit der Residuenquadrate in Relation zur gesamten Quadratsumme. Die zur Konstruktion des Bestimmtheitsmaßes verwendete Quadratsummenzerlegung kann als „Streuungszerlegung“ interpretiert werden, bei der die „Gesamtstreuung“ in die „erklärte Streuung“ und die „Reststreuung“ zerlegt wird. Das Bestimmtheitsmaß ist also gerade als jener Anteil der Gesamtstreuung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  zu deuten, der mit der Regressionsfunktion erklärt werden kann. Der unerklärte Teil bleibt als Reststreuung zurück.

Beachte, dass diese zweite Variante Ähnlichkeiten zu McFaddens Pseudo-Bestimmtheitsmaß hat, wenn die Likelihood-Funktionen aus Normalverteilungen mit angenommener konstanter Varianz zusammengesetzt sind.

Eigenschaften

Wertebereich des Bestimmtheitsmaßes

Mithilfe der obigen Definition können die Extremwerte für das Bestimmtheitsmaß aufgezeigt werden. Für das Bestimmtheitsmaß gilt, dass es umso näher am Wert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist, je kleiner die Residuenquadratsumme ist. Es wird maximal gleich Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , wenn Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist, also alle Residuen null sind. In diesem Fall ist die Anpassung an die Daten perfekt, was bedeutet, dass für jede Beobachtung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist und alle Beobachtungspunkte des Streudiagramms auf der Regressionsgeraden liegen. Das Bestimmtheitsmaß nimmt hingegen den Wert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  an, wenn Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  beziehungsweise Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist. Diese Gleichung besagt, dass die „nicht erklärte Streuung“ der „gesamten zu erklärenden Streuung“ entspricht und die erklärenden Variablen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  somit keinen Beitrag zur Erklärung der Gesamtstreuung leisten. Die gesamte zu erklärende Streuung wird in diesem Fall durch die Residuen hervorgerufen und die Regressionsgleichung „erklärt“ gar nicht.

Variante 1

Die Variante 1 hat einen Wertebereich Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

Variante 2

Die Variante 2 hat einen Wertebereich Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Wenn das Regressionsmodell kein Absolutglied enthält (es liegt ein homogenes Regressionsmodell vor), kann das Bestimmtheitsmaß negativ werden (siehe unter Einfache lineare Regression durch den Ursprung). Ebenfalls kann das Bestimmtheitsmaß negativ werden, wenn es auf simultane Gleichungsmodelle angewendet wird, da in diesem Kontext Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  nicht notwendigerweise gleich Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist.

Hierarchisch geordnete Modelle

Sei der Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Vektor der erklärenden Variablen. Ferner wird angenommen, dass Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  in zwei Teilvektoren Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  partitioniert wird, d. h. Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Sei weiterhin Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  das volle Modell Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und ein darin enthaltenes Teilmodell Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Dann gilt Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , d. h. für hierarchisch geordnete Modelle ist das Bestimmtheitsmaß des Teilmodells immer kleiner oder gleich dem Bestimmtheitsmaß des vollen Modells. Dies bedeutet, dass das Bestimmtheitsmaß mit zunehmender Anzahl der erklärenden Variablen automatisch ansteigt, ohne dass sich dabei die Güte der Anpassung signifikant verbessern muss.

Interpretation

Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Streudiagramm der Residuen ohne Struktur, das Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  liefert
Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Streudiagramm der Residuen, das ein Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  nahe bei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  liefert

Das Bestimmtheitsmaß lässt sich mit Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  multiplizieren, um es in Prozent anzugeben: Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist dann der prozentuale Anteil der Streuung in Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , der durch das lineare Modell „erklärt“ wird, und liegt daher zwischen:

  • Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (oder Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ): kein linearer Zusammenhang und
  • Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (oder Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ): perfekter linearer Zusammenhang.

Je näher das Bestimmtheitsmaß am Wert Eins liegt, desto höher ist die „Bestimmtheit“ bzw. „Güte“ der Anpassung. Bei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist der lineare Schätzer Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  im Regressionsmodell völlig unbrauchbar für die Vorhersage des Zusammenhangs zwischen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (z. B. kann man das tatsächliche Gewicht der Person Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  überhaupt nicht mit dem Schätzer Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  vorhersagen). Ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , dann lässt sich die abhängige Variable Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  vollständig durch das lineare Regressionsmodell erklären. Anschaulich liegen dann die Messpunkte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  alle auf der (nichthorizontalen) Regressionsgeraden. Somit liegt bei diesem Fall kein stochastischer Zusammenhang vor, sondern ein deterministischer.

Durch die Aufnahme zusätzlicher erklärender Variablen kann das Bestimmtheitsmaß nicht sinken. Das Bestimmtheitsmaß hat die Eigenschaft, dass es i. d. R. durch die Hinzunahme weiterer erklärender Variablen steigt (Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ), was scheinbar die Modellgüte steigert und zum Problem der Überanpassung führen kann. Das Bestimmtheitsmaß steigt durch die Hinzunahme weiterer erklärender Variablen, da durch die Hinzunahme dieser der Wert der Residuenquadratsumme sinkt. Auch wenn dem Modell irrelevante „erklärende Variablen“ hinzugefügt werden, können diese zu Erklärung der Gesamtstreuung beitragen und den R-Quadrat-Wert künstlich steigern. Da die Hinzunahme jeder weiteren erklärenden Variablen mit einem Verlust eines Freiheitsgrads verbunden ist, führt dies zu einer ungenaueren Schätzung. Wenn man Modelle mit einer unterschiedlichen Anzahl erklärender Variablen und gleichen unabhängigen Variablen vergleichen will, ist die Aussagekraft des Bestimmtheitsmaßes begrenzt. Um solche Modelle vergleichen zu können, wird ein „adjustiertes“ Bestimmtheitsmaß verwendet, welches zusätzlich die Freiheitsgrade berücksichtigt (siehe auch unter Das adjustierte Bestimmtheitsmaß).

Aus dem Bestimmtheitsmaß kann man im Allgemeinen nicht schließen, ob das angenommene Regressionsmodell dem tatsächlichen funktionalen Zusammenhang in den Messpunkten entspricht (siehe auch unter Grenzen und Kritik). Der Vergleich des Bestimmtheitsmaßes über Modelle hinweg ist nur sinnvoll, wenn eine gemeinsame abhängige Variable vorliegt und wenn die Modelle die gleiche Anzahl von Regressionsparametern und ein Absolutglied aufweisen. Da mit dem Bestimmtheitsmaß auch indirekt der Zusammenhang zwischen der abhängigen und den unabhängigen Variablen gemessen wird, ist es ein proportionales Fehlerreduktionsmaß.

In den Sozialwissenschaften sind niedrige R-Quadrat-Werte in Regressionsgleichungen nicht ungewöhnlich. Bei Querschnittsanalysen treten häufig niedrige R-Quadrat-Werte auf. Dennoch bedeutet ein kleines Bestimmtheitsmaß nicht notwendigerweise, dass die Kleinste-Quadrate-Regressionsgleichung unnütz ist. Es ist immer noch möglich, dass die Regressionsgleichung ein guter Schätzer für den ceteris-paribus-Zusammenhang zwischen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist. Ob die Regressionsgleichung ein guter Schätzer für den Zusammenhang von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist hängt nicht direkt von der Größe des Bestimmtheitsmaßes ab.

Cohen und Cohen (1975) und Kennedy (1981) konnten zeigen, dass sich das Bestimmtheitsmaß graphisch mittels Venn-Diagrammen veranschaulichen lässt.

Konstruktion

Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Diese Graphik zeigt die Zerlegung der „zu erklärenden Abweichung“ bzw. „totalen Abweichung“ Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  in die „erklärte Abweichung“ Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und die „nicht erklärte Abweichung“ bzw. „Restabweichung“ Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Ausgangspunkt für die Konstruktion des Bestimmtheitsmaßes ist die Quadratsummenzerlegung, die als Streuungszerlegung interpretiert werden kann. In Bezug auf Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  lässt sich Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  darstellen als

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

oder äquivalent

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die Abweichung von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  vom Mittelwert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die Restabweichung bzw. das Residuum darstellt. Die Gesamtabweichung lässt sich also zerlegen in die erklärte Abweichung und das Residuum. Die Gleichheit gilt auch dann noch, wenn man die Abweichungen quadriert (Abweichungsquadrate bildet) und anschließend über alle Beobachtungen summiert (Abweichungsquadratsummen, kurz: Quadratsummen bildet). Die totale Quadratsumme bzw. die zu „erklärende“ Quadratsumme lässt sich in die Quadratsumme der durch die Regressionsfunktion „erklärten“ Abweichungen vom Gesamtmittel (durch das Modell „erklärte“ Quadratsumme) und die Residuenquadratsumme (durch das Modell nicht „erklärte“ Quadratsumme) zerlegen. Die Quadratsummenzerlegung ergibt somit

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  oder äquivalent dazu
    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Diese Zerlegung folgt in zwei Schritten. Im ersten Schritt wird eine Nullergänzung vorgenommen:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .
Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Diese Animation zeigt die Streuungszerlegung, d. h. die Zerlegung der Gesamtstreuung in die erklärte Streuung (der Anteil der Gesamtstreuung, der durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  erklärt werden kann) und die Reststreuung. Ebenfalls zu sehen ist, dass die – durch die Kleinste-Quadrate-Schätzung gewonnene – Regressionsgerade durch das „Gravitationszentrum“ Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Punkteverteilung im Streudiagramm verläuft (siehe auch algebraische Eigenschaften der Kleinste-Quadrate-Schätzer).

Im zweiten Schritt wurde die Eigenschaft benutzt, dass gewöhnliche Residuen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  vorliegen, die mit den geschätzten Werten unkorreliert sind, d. h. Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Dies kann so interpretiert werden, dass in der Schätzung bereits alle relevante Information der erklärenden Variablen bezüglich der abhängigen Variablen steckt. Zudem wurde die Eigenschaft verwendet, dass – wenn das Modell das Absolutglied enthält – die Summe Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und damit der empirische Mittelwert der Residuen Null ist. Dies folgt aus den verwendeten Schätzverfahren (Maximum-Likelihood-Schätzung bei der klassischen Normalregression oder Kleinste-Quadrate-Schätzung), denn dort müssen die ersten partiellen Ableitungen der Residuenquadratsumme nach Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  gleich Null gesetzt werden um das Maximum bzw. Minimum zu finden, also für Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften : Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  bzw. für Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  mit Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (siehe Algebraische Eigenschaften). Werden die Regressionsparameter mittels der Kleinste-Quadrate-Schätzung geschätzt, dann wird der Wert für Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  automatisch maximiert, da die Kleinste-Quadrate-Schätzung die Residuenquadratsumme minimiert.

Im Anschluss an die Zerlegung dividiert man die Quadratsummenzerlegungsformel durch die totale Quadratsumme und erhält damit

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

oder

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Das Verhältnis der durch die Regression erklärten Quadratsumme zur gesamten Quadratsumme

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

wird Bestimmtheitsmaß der Regression genannt. Aus der Quadratsummenzerlegungsformel wird ersichtlich, dass man das Bestimmtheitsmaß auch als

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

darstellen kann. Wenn die obige Quadratsummenzerlegungsformel durch den Stichprobenumfang Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  beziehungsweise durch die Anzahl der Freiheitsgrade Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  dividiert wird, erhält man die Varianzzerlegungsformel: Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Die Varianzzerlegung stellt eine additive Zerlegung der Varianz der abhängigen Variablen (totale Varianz bzw. Gesamtvarianz) Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  in die Varianz der Schätzwerte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (erklärte Varianz) und die nicht erklärte Varianz Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (auch Residualvarianz genannt) dar. Hierbei entspricht die Residualvarianz dem Maximum-Likelihood-Schätzer Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  für die Varianz der Störgrößen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Aufgrund der Varianzzerlegung lässt sich das Bestimmtheitsmaß auch als Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  darstellen und wie folgt interpretieren: Das Bestimmtheitsmaß gibt an, wie viel Varianzaufklärung alle erklärenden Variablen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  an der Varianz der abhängigen Variablen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  leisten. Diese Interpretation ist jedoch nicht ganz korrekt, da die Quadratsummen eigentlich unterschiedliche Freiheitsgrade aufweisen. Diese Interpretation trifft eher auf das adjustierte Bestimmtheitsmaß zu, da hier die erwartungstreuen Varianzschätzer ins Verhältnis gesetzt werden. Im Gegensatz zur Varianzaufklärung beim Bestimmtheitsmaß kann man bei der Varianzaufklärung in der Hauptkomponenten- und Faktorenanalyse jeder Komponente bzw. jedem Faktor seinen Beitrag zur Aufklärung der gesamten Varianz zuordnen. Kent (1983) hat eine allgemeine Definition der Varianzaufklärung gegeben, die auf dem Informationsmaß von Fraser (1965) aufbaut.

Einfache lineare Regression durch den Ursprung

Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Die blaue Regressionsgerade verläuft durch den Ursprung und die violette nicht, da ein Ausreißer sie nach oben verschiebt.

Im Fall der einfachen linearen Regression durch den Ursprung/Regression ohne Absolutglied (das Absolutglied Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  wird nicht in die Regression miteinbezogen und daher verläuft die Regressionsgleichung durch den Koordinatenursprung) lautet die konkrete empirische Regressionsgerade Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , wobei die Notation Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  benutzt wird um von der allgemeinen Problemstellung der Schätzung eines Steigungsparameters mit Hinzunahme eines Absolutglieds zu unterscheiden. Auch in einer einfachen linearen Regression durch den Ursprung lässt sich die Kleinste-Quadrate-Schätzung anwenden. Sie liefert für die Steigung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Dieser Schätzer für den Steigungsparameter Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  entspricht dem Schätzer für den Steigungsparameter Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , dann und nur dann wenn Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Wenn für das wahre Absolutglied Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  gilt, ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ein verzerrter Schätzer für den wahren Steigungsparameter Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Wenn in eine Regressionsgleichung kein Absolutglied hinzugenommen wird, nimmt der aus der obigen Quadratsummenzerlegungsformel entnommene Ausdruck Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  nicht den Wert Null an. Daher ist die oben angegebene Quadratsummenzerlegungsformel in diesem Fall nicht gültig. Wenn das Modell der Regression durch den Ursprung eine hinreichend schlechte Anpassung an die Daten liefert (d. h. die Daten variieren mehr um die Regressionslinie als um Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ), was in Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  resultiert und man die allgemeine Definition des Bestimmtheitsmaßes Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  anwendet, dann führt dies zu einem negativen Bestimmtheitsmaß. Nach dieser Definition kann

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

also negativ werden. Ein negatives Bestimmtheitsmaß bedeutet dann, dass das empirische Mittel der abhängigen Variablen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  eine bessere Anpassung an die Daten liefert als wenn man die erklärenden Variablen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  zur Schätzung benutzen würde. Um ein negatives Bestimmtheitsmaß zu vermeiden wird eine modifizierte Form der Quadratsummenzerlegung angegeben:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  oder äquivalent dazu
    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Diese modifizierte Form der Quadratsummenzerlegung wird auch nicht korrigierte Quadratsummenzerlegung genannt, da die erklärte und die totale Quadratsumme nicht um den empirischen Mittelwert „korrigiert“ bzw. „zentriert“ werden. Wenn man statt dem gewöhnlichen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die modifizierten Quadratsummen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  benutzt, ist das Bestimmtheitsmaß gegeben durch

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Dieses Bestimmtheitsmaß ist strikt nichtnegativ und wird – da es auf der nicht korrigierten Quadratsummenzerlegung aufbaut, bei der nicht um den empirischen Mittelwert „zentriert“ wird – auch als unzentriertes Bestimmtheitsmaß bezeichnet. Zur Abgrenzung wird das konventionelle Bestimmtheitsmaß auch als zentriertes Bestimmtheitsmaß bezeichnet. Bei einer Regression durch den Ursprung wird daher die modifizierte Form der Quadratsummenzerlegungsformel verwendet.

Beispiele

Kriegsschiffe

Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Streudiagramm der Längen und Breiten zehn zufällig ausgewählter Kriegsschiffe.

Folgendes Beispiel soll die Berechnung des Bestimmtheitsmaßes zeigen. Es wurden zufällig zehn Kriegsschiffe ausgewählt (siehe Kriegsschiffsdaten in dieser Übersicht) und bezüglich ihrer Länge und Breite (in Metern) analysiert. Es soll untersucht werden, ob die Breite eines Kriegsschiffs möglicherweise in einem festen Bezug zur Länge steht.

Das Streudiagramm lässt einen linearen Zusammenhang zwischen Länge und Breite eines Schiffs vermuten. Eine mittels der Kleinste-Quadrate-Schätzung durchgeführte einfache lineare Regression ergibt für das Absolutglied Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und die Steigung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (für die Berechnung der Regressionsparameter siehe Beispiel mit einer Ausgleichsgeraden). Die geschätzte Regressionsgerade lautet somit

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Die Gleichung stellt die geschätzte Breite Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  als Funktion der Länge Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  dar. Die Funktion zeigt, dass die Breite der ausgewählten Kriegsschiffe grob einem Sechstel ihrer Länge entspricht.

Kriegsschiff Länge (m) Breite (m) Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
1 208 21,6 3,19 10,1761 24,8916 −3,2916 10,8347
2 152 15,5 −2,91 8,4681 15,8625 −0,3625 0,1314
3 113 10,4 −8,01 64,1601 9,5744 0,8256 0,6817
4 227 31,0 12,59 158,5081 27,9550 3,045 9,2720
5 137 13,0 −5,41 29,2681 13,4440 −0,4440 0,1971
6 238 32,4 13,99 195,7201 29,7286 2,6714 7,1362
7 178 19,0 0,59 0,3481 20,0546 −1,0546 1,1122
8 104 10,4 −8,01 64,1601 8,1233 2,2767 5,1835
9 191 19,0 0,59 0,3481 22,1506 −3,1506 9,9265
10 130 11,8 −6,61 43,6921 12,3154 −0,5154 0,2656
Σ 1678 184,1 574,8490 0,0000 44,7405
Σ/n 167,8 18,41 57,48490 0,0000 4,47405

Aus der Tabelle lässt sich erkennen, dass der Gesamtmittelwert der Breite Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  beträgt, die totale Quadratsumme der Messwerte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  beträgt und die Residuenquadratsumme Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  beträgt. Daher ergibt sich das Bestimmtheitsmaß zu

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

d. h. circa Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Streuung in der Kriegsschiffsbreite kann durch die lineare Regression von Kriegsschiffsbreite auf Kriegsschiffslänge „erklärt“ werden. Das Komplement des Bestimmtheitsmaßes Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  wird auch Unbestimmtheitsmaß (auch Koeffizient der Nichtdetermination oder Alienationskoeffizient, von lateinisch alienus „fremd“, „unbekannt“) genannt. Bestimmtheits- und Unbestimmtheitsmaß addieren sich jeweils zu Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Das Unbestimmtheitsmaß Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  sagt im vorliegenden Beispiel aus, dass knapp Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Streuung in der Breite „unerklärt“ bleiben. Hier könnte man z. B. nach weiteren Faktoren suchen, welche die Breite eines Kriegsschiffes beeinflussen und sie in die Regressionsgleichung mit aufnehmen.

Vergleich mit dem Standardfehler der Regression

Die „Qualität“ der Regression kann auch mithilfe des geschätzten Standardfehlers der Residuen (engl. residual standard error) beurteilt werden, der zum Standardoutput der meisten statistischen Programmpakete gehört. Der geschätzte Standardfehler der Residuen gibt an, mit welcher Sicherheit die Residuen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  den wahren Störgrößen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  näherkommen. Die Residuen sind somit eine Approximation der Störgrößen. Der geschätzte Standardfehler der Residuen ist mit dem Bestimmtheitsmaß und dem adjustierten Bestimmtheitsmaß vergleichbar und ähnlich zu interpretieren. Der geschätzte Standardfehler der Residuen, der sich aus der obigen Tabelle berechnen lässt, ergibt einen Wert von:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Es ist jedoch zu beachten, dass Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  eine verzerrte Schätzung der wahren Varianz der Störgrößen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist, da der verwendete Varianzschätzer nicht erwartungstreu ist. Wenn man berücksichtigt, dass man durch die Schätzung der beiden Regressionsparameter Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  zwei Freiheitsgrade verliert und somit statt durch den Stichprobenumfang Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  durch die Anzahl der Freiheitsgrade Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  dividiert, erhält man das „mittlere Residuenquadrat“ Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und damit die erwartungstreue Darstellung:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Die Darstellung ist unverzerrt, da sie durch Einbezug der Freiheitsgrade der Varianzschätzer, wegen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , unter den Gauß-Markow-Annahmen erwartungstreu ist (siehe auch Schätzer für die Varianz der Störgrößen). Die unverzerrte Darstellung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  wird im Regressionsoutput statistischer Software oft auch als Standardfehler der Schätzung oder Standardfehler der Regression (engl. standard error of the regression, kurz: SER) bezeichnet. Der Standardfehler der Regression wird als Quadratwurzel des mittleren Residuenquadrats berechnet und ist ein eigenständiges Modellgütemaß. Er gibt an, wie groß im Durchschnitt die Abweichung der Messwerte von der Regressionsgerade ausfällt. Je größer der Standardfehler der Regression, desto schlechter beschreibt die Regressionsgerade die Verteilung der Messwerte. Der Standardfehler der Regression ist in der Regel kleiner als der Standardfehler der Zielgröße Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Das Bestimmtheitsmaß wird häufiger angegeben als der Standardfehler der Residuen, obwohl der Standardfehler der Residuen bei der Bewertung Anpassungsgüte möglicherweise aussagekräftiger ist.

Missverständnisse, Grenzen und Kritik

Missverständnisse

Neben den Vorteilen des Bestimmtheitsmaßes (es ist eine dimensionslose Größe, hat eine einfache Interpretation und liegt stets zwischen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ) wird das Bestimmtheitsmaß immer wieder kritisiert und falsch angewendet:

Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Beispiele für Daten mit einem hohen (pink) und einem niedrigen (blau) Bestimmtheitsmaß bei einem zugrunde gelegten linearen Modell
  • Übliche Missverständnisse sind:
    • Bei einem hohen Bestimmtheitsmaß für einen Schätzer Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  könne man folgern, dass der tatsächliche Zusammenhang linear sei. Die pinken Daten in der Grafik wurden mit einer nichtlinearen Funktion generiert:
        Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
      Durch die Betragsfunktion im Term nimmt die Funktion Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  an der Stelle Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ihr Maximum Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  an. Für höhere Werte von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  fällt die Funktion dann streng monoton mit der Steigung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Damit wäre der tatsächliche Zusammenhang in den Daten auch bei dem hohen Bestimmtheitsmaß nach Konstruktion natürlich nicht linear. Dennoch legt das hohe Bestimmtheitsmaß nahe, dass es sich um einen linearen Zusammenhang handelt.
    • Ein hohes Bestimmtheitsmaß gebe an, dass die geschätzte Regressionslinie überall eine gute Approximation an die Daten darstellt; die pinken Daten legen auch hier etwas anderes nahe.
    • Ein Bestimmtheitsmaß nahe bei Null zeige an, dass es keinen Zusammenhang zwischen der abhängigen und den unabhängigen Variablen gebe. Die blauen Daten in der Grafik wurden mit der folgenden quadratischen Funktion Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  generiert und besitzen daher einen deterministischen funktionalen Zusammenhang, der allerdings nicht linear ist
        Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .
      Obwohl das Bestimmtheitsmaß gleich Null ist, lässt sich nicht daraus schließen, dass es keinen Zusammenhang zwischen der abhängigen und den unabhängigen Variablen für die konstruierten Datenpunkte gibt. Eine Regressionsanalyse für nichtlineare Fälle verallgemeinert die lineare Regression auf andere Klassen von Funktionen und mehrdimensionale Definitionsbereiche von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .
    • Wählt man aus den Daten mit quadratischem Zusammenhang (Parabel Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ) nur die Datenpunkte mit positivem Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften -Werten aus, kann auch das Bestimmtheitsmaß sehr hoch sein und bei einem nach Konstruktion der Daten gegebenen quadratischem Zusammenhang durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  in den Messdaten dennoch eine lineare Modellannahme suggerieren (z. B. wenn man nur die Daten aus der Parabel wählt, in der die Funktion positive Steigung besitzt).

Grenzen und Kritik

Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Dieses Streudiagramm zeigt die Regressionsgerade einer linearen Einfachregression, die optimal durch die „Punktwolke“ der Messung gelegt wurde. An der waagerechten Achse ist das Wachstum des realen BIP und auf der senkrechten Achse ist die Veränderung der Arbeitslosenquote in den USA (1961–2007) abgetragen. Die starke Korrelation zwischen beiden Größen (genannt Okunsches Gesetz) kommt visuell dadurch zum Ausdruck, dass sich die Regressiongerade gut an die Datenpunkte anpasst. Formal lässt sie sich anhand eines relativ hohen R-Quadrat-Wertes erkennen (hier: Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ). Bei Betrachtung des Streudiagramms und des R-Quadrat-Wertes wird Kausalität suggeriert (starkes Wirtschaftswachstum ist die kausale Ursache für die Reduktion in der Arbeitslosigkeit). Das Bestimmtheitsmaß gibt allerdings nur Auskunft über die Stärke des Zusammenhangs, nicht über Kausalität.
    • Das Bestimmtheitsmaß zeigt zwar die „Qualität“ der linearen Approximation, jedoch nicht, ob das Modell richtig spezifiziert wurde. Zum Beispiel kann ein nichtlinearer Zusammenhang bei einer der unabhängigen Variablen vorliegen. In einem solchen Fall können die unabhängigen Variablen unentdeckte Erklärungskraft enthalten, auch dann wenn das Bestimmtheitsmaß einen Wert nahe bei Null aufweist. Modelle, die mittels der Kleinste-Quadrate-Schätzung geschätzt wurden, werden daher die höchsten R-Quadrat-Werte aufweisen.
    • (Korrelation/Kausaler Zusammenhang) Das Bestimmtheitsmaß sagt nichts darüber aus, ob die unabhängige Variable Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Grund (die kausale Ursache) für die Änderungen in Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  sind. Zum Beispiel kann das Bestimmtheitsmaß zwischen der Anzahl der Störche Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und der Anzahl der neugeborenen Kinder Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  in untersuchten Gebieten Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  hoch sein. Ein direkter kausaler Zusammenhang zwischen Störchen und Neugeborenen ist jedoch biologisch ausgeschlossen (siehe Scheinkorrelation).
    • Das Bestimmtheitsmaß sagt nichts über die statistische Signifikanz des ermittelten Zusammenhangs und der einzelnen erklärenden Variablen aus. Um diesen zu ermitteln muss die Stichprobengröße bekannt sein und ein Signifikanztest durchgeführt werden.
    • Das Bestimmtheitsmaß macht keine Aussage über Multikollinearität zwischen den unabhängigen Variablen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Multikollinearität kann z. B. mithilfe des Varianzinflationsfaktors identifiziert werden (siehe auch unter Interpretation der Varianz der Regressionsparameter).
    • Es zeigt nicht an, ob eine Verzerrung durch ausgelassene Variablen (engl. omitted variable bias) vorliegt.
    • Es macht keine Aussage, ob eine Transformation der Daten die Erklärungskraft der Regression verbessert.
    • Ein Nachteil des Bestimmtheitsmaßes ist die Empfindlichkeit gegenüber Trends: Wenn sich eine exogene Variable parallel zu einer erklärenden entwickelt, werden unabhängig von der wahren Erklärungskraft des Modells hohe R-Quadrat-Werte ausgewiesen.
    • Zusammenfassend ist ein hohes Bestimmtheitsmaß kein Beweis für ein „gutes“ Modell und ein niedriges Bestimmtheitsmaß bedeutet nicht, dass es sich um ein „schlechtes“ Modell handelt. Dies wird anhand des Anscombe-Beispiels (1973) deutlich. Anscombe zeigte auf der Basis von vier verschiedenen Datensätzen, dass ein in allen vier Fällen relativ hohes Bestimmtheitsmaß von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  nichts darüber aussagt, ob der wahre Zusammenhang zwischen zwei Variablen richtig erfasst worden ist.

Geschichte

Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Francis Galton
Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Karl Pearson

Die Grundlage des Bestimmtheitsmaßes stellt die Regressionsanalyse und der Korrelationskoeffizient dar. Der britische Naturforscher Sir Francis Galton (1822–1911) begründete in den 1870er-Jahren die Regressionsanalyse. Er war – wie auch sein Cousin Charles Darwin – ein Enkel von Erasmus Darwin. Galton war durch seine starke Leidenschaft Daten jeglicher Art zu sammeln bekannt. Beispielsweise sammelte er Daten der Samen von Platterbsen. Beim Vergleich der Durchmesser der Samen konstruierte er das, was heute allgemein als Korrelationsdiagramm bekannt ist. Den bei dieser Tätigkeit von ihm entdeckte Zusammenhang taufte er zunächst „Reversion“ (Umkehrung); später entschied er sich jedoch für die Bezeichnung „Regression“. Bei der Analyse der Samen entdeckte er das Phänomen der Regression zur Mitte, nach dem – nach einem extrem ausgefallenen Messwert – die nachfolgende Messung wieder näher am Durchschnitt liegt: Der Mediandurchmesser der Nachkommen der größeren Samen war kleiner als der Mediandurchmesser der Samen der Eltern (vice versa). In seine Korrelationsdiagramme zeichnete er eine Trendlinie ein, für die er als Steigung den Korrelationskoeffizienten verwendete.

Die Bezeichnung „Varianz“ wurde vom Statistiker Ronald Fisher (1890–1962) in seinem 1918 veröffentlichtem Aufsatz mit dem Titel Die Korrelation zwischen Verwandten in der Annahme der Mendelschen Vererbung (Originaltitel: The Correlation between Relatives on the Supposition of Mendelian Inheritance) eingeführt. Fisher war einer der bedeutendsten Statistiker des 20. Jahrhunderts und ist für seine Beiträge zur Evolutionstheorie berühmt. Ebenso ist er für die Entdeckung der Streuungszerlegung (engl. analysis of variance) bekannt, die die Grundlage für das Bestimmtheitsmaß darstellt. Die – eng in Verbindung mit dem Bestimmtheitsmaß stehende – F -Statistik ist ebenfalls nach ihm benannt. Karl Pearson (1857–1936), der Begründer der Biometrie, lieferte schließlich eine formal-mathematische Begründung für den Korrelationskoeffizienten, dessen Quadrat dem Bestimmtheitsmaß entspricht.

Das Bestimmtheitsmaß wurde in den folgenden Jahren stark kritisiert. Dies geschah auch, da es die Eigenschaft hat, dass es umso größer wird, je größer die Zahl der unabhängigen Variablen ist. Dies ist unabhängig davon, ob die zusätzlichen erklärenden Variablen einen Beitrag zur Erklärungskraft liefern. Um diesen Umstand Rechnung zu tragen, schlug der Ökonometriker Henri Theil 1961 das adjustierte Bestimmtheitsmaß (auch bereinigtes, korrigiertes oder angepasstes Bestimmtheitsmaß genannt) vor. Dies berücksichtigt, dass die Hinzunahme jeder weiteren erklärenden Variablen mit einem Verlust eines Freiheitsgrads verbunden ist, wurde jedoch von Rinne (2004) in der Hinsicht kritisiert, dass das Auswahlkriterium den Verlust an Freiheitsgraden mit wachsender Anzahl an erklärenden Variablen nicht ausreichend bestraft.

Das adjustierte Bestimmtheitsmaß

Definition

Das Bestimmtheitsmaß Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  hat die Eigenschaft, dass es umso größer wird, je größer die Zahl der unabhängigen Variablen ist. Dies ist unabhängig davon, ob die zusätzlichen unabhängigen Variablen einen Beitrag zur Erklärungskraft liefern. Daher ist es ratsam, das adjustierte (freiheitsgradbezogene) Bestimmtheitsmaß (auch bereinigtes, korrigiertes oder angepasstes Bestimmtheitsmaß genannt) zu Rate zu ziehen. Das adjustierte Bestimmtheitsmaß wird nach Mordecai Ezekiel mit Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (lies: R Quer Quadrat) oder Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  bzw. Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  notiert. Man erhält das adjustierte Bestimmtheitsmaß, wenn an Stelle der Quadratsummen die mittleren Abweichungsquadrate (englisch mean squares) Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  verwendet werden:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Hierbei ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  das „mittlere Residuenquadrat“ (Mittleres Quadrat der Residuen, kurz: MQR) und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  das „mittlere Gesamtabweichungsquadrat“ (Mittleres Quadrat der Totalen Abweichungen, kurz: MQT). Das adjustierte Bestimmtheitsmaß modifiziert die Definition des Bestimmtheitsmaßes, indem es den Quotienten Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  mit dem Faktor Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  multipliziert. Alternativ lässt sich das adjustierte Bestimmtheitsmaß algebraisch äquivalent darstellen als

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Definitionsgemäß ist das adjustierte Bestimmtheitsmaß für mehr als eine erklärende Variable stets kleiner als das unadjustierte. Beim adjustierten Bestimmtheitsmaß wird die Erklärungskraft des Modells, repräsentiert durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , ausbalanciert mit der Komplexität des Modells, repräsentiert durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , die Anzahl der Parameter. Je komplexer das Modell ist, desto mehr „bestraft“ das adjustierte Bestimmtheitsmaß jede neu hinzugenommene erklärende Variable. Das adjustierte Bestimmtheitsmaß steigt nur, wenn Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ausreichend steigt, um den gegenläufigen Effekt des Quotienten Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  auszugleichen und kann ebenfalls sinken (Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ). Auf diese Weise lässt sich Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  als Entscheidungskriterium bei der Auswahl zwischen zwei alternativen Modellspezifikationen (etwa einem restringierten und einem unrestringierten Modell) verwenden. Das adjustierte Bestimmtheitsmaß kann negative Werte annehmen und ist kleiner als das unbereinigte, außer falls Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und damit auch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist. Als Ergebnis daraus folgt Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Das adjustierte Bestimmtheitsmaß nähert sich mit steigendem Stichprobenumfang Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  dem unadjustierten Bestimmtheitsmaß. Dies liegt daran, dass bei fixer Anzahl der erklärenden Variablen für den Grenzwert für den Korrekturfaktor bzw. Strafterm gilt

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

In der Praxis ist es nicht zu empfehlen, das adjustierte Bestimmtheitsmaß zur Modellselektion zu verwenden, da die „Bestrafung“ für neu hinzugefügte erklärende Variablen zu klein erscheint. Man kann zeigen, dass das Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  schon steigt, wenn eine erklärende Variable mit einem t-Wert größer als Eins in das Modell inkludiert wird. Aus diesem Grund wurden weitere Kriterien (sogenannte Informationskriterien) wie z. B. das Akaike-Informationskriterium und das bayessche Informationskriterium zur Modellauswahl entwickelt, die ebenfalls der Idee von Ockhams Rasiermesser folgen, dass ein Modell nicht unnötig komplex sein soll.

Konstruktion

Aus der allgemeinen Definition von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  folgt, dass

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Wir wissen jedoch, dass Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  verzerrte Schätzer für die wahre Varianz der Störgrößen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und die der Messwerte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  sind. Aus dieser Tatsache wird deutlich, dass es sich beim multiplen Bestimmtheitsmaß Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  um eine Zufallsvariable handelt: Das multiple Bestimmtheitsmaß kann man als Schätzfunktion für das unbekannte Bestimmtheitsmaß in der Grundgesamtheit Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (lies: rho Quadrat) betrachten. Dieses ist gegeben durch

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

und ist der Anteil der Streuung in Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  in der Grundgesamtheit, der durch die erklärenden Variablen „erklärt“ wird. Dividiert man die jeweiligen Quadratsummen durch ihre Freiheitsgrade, so erhält man jeweils das durchschnittliche Abweichungsquadrat (Varianz):

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Die Varianzen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  sind erwartungstreue Schätzer für die wahre Varianz der Störgrößen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und die der Messwerte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Setzt man nun bei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  oben und unten die unverzerrten Schätzer ein, so erhält man das adjustierte Bestimmtheitsmaß:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Durch algebraische Umformungen erhält man schließlich

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Das adjustierte Bestimmtheitsmaß Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  entspricht also dem um die unverzerrten Komponenten adjustiertem Bestimmtheitsmaß Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Oft wird das adjustierte Bestimmtheitsmaß auch korrigiertes Bestimmtheitsmaß genannt. Manche Autoren finden dies keine gute Bezeichnung, da sie impliziert, dass Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ein unverzerrter Schätzer ist. Dies ist aber nicht der Fall, da das Verhältnis zweier unverzerrter Schätzer kein unverzerrter Schätzer ist. Die Bezeichnung „adjustiertes R-Quadrat“ kann außerdem irreführend sein, da Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  wie in obiger Formel nicht als das Quadrat irgendeiner Quantität berechnet wird. Während im absoluten Sinne also kein Vorteil von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  zu Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  besteht, zeigen empirische Untersuchungen, dass die Verzerrung und auch die mittlere quadratische Abweichung von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  üblicherweise deutlich geringer ist als die von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Alternativen

Es existieren zahlreiche alternative Schätzer für das Bestimmtheitsmaß in der Grundgesamtheit Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (siehe ). Von besonderer Bedeutung ist der Olkin-Pratt Schätzer, da es sich um einen unverzerrten Schätzer handelt. Es ist sogar der gleichmäßig beste unverzerrte Schätzer. Empirische Vergleiche der verschiedenen Schätzer kommen folgerichtig zu dem Schluss, dass in den meisten Fällen der approximative oder der exakte Olkin-Pratt Schätzer anstatt des korrigierten Bestimmtheitsmaßes verwendet werden sollte.

Matrixschreibweise

Das Bestimmtheitsmaß

In der multiplen linearen Regression, mit dem multiplen linearen Modell in Matrixschreibweise

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  beziehungsweise in Kurzform Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

ergibt sich das Bestimmtheitsmaß durch die korrigierte Quadratsummenzerlegung (um den Mittelwert bereinigte Quadratsummenzerlegung)

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Die Bezeichnung „korrigiert“ hebt hervor, dass man die Summe über alle Beobachtungen der quadrierten Werte nimmt, nachdem um den Mittelwert „korrigiert“ wurde. Hierbei ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ein Vektor mit den Elementen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist definiert durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , wobei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  den Kleinste-Quadrate-Schätzvektor darstellt. Das Bestimmtheitsmaß ist dann gegeben durch:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

Häufig findet sich auch die algebraisch äquivalente Darstellung

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

oder

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Die letzte Gleichheit ergibt sich aus dem Umstand, dass sich Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  aus der linksseitigen Multiplikation von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  mit der Prädiktionsmatrix Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ergibt. Die Berechnung des Bestimmtheitsmaßes lässt sich in folgender Tafel der Varianzanalyse zusammenfassen:

Variationsquelle Abweichungsquadratsumme Anzahl der Freiheitsgrade Mittleres Abweichungsquadrat
Regression (erklärt) Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Residuen (unerklärt) Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Gesamt Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 
Bestimmtheitsmaß Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

Falls das lineare Modell das Absolutglied enthält, dann entspricht der empirische Mittelwert der Schätzwerte dem der beobachteten Messwerte, wegen

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die, aus Einsen bestehende, erste Spalte der Datenmatrix Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  darstellt. Es wurde die Eigenschaft benutzt, dass der Vektor der KQ-Residuen und der Vektor der erklärenden Variablen orthogonal und damit unkorreliert sind, d. h., es gilt Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (siehe auch Algebraische Eigenschaften der Kleinste-Quadrate-Schätzer).

Darstellung mittels Projektionsmatrix

Die Quadratsummenzerlegung und das Bestimmtheitsmaß lassen sich ebenfalls mittels einer speziellen idempotenten und symmetrischen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften -Projektionsmatrix Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  darstellen, die den Vektor Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  mit den Elementen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  in den Vektor Abweichungen

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

mit Elementen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  transformiert. Die linksseitige Multiplikation von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  mit Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  zentriert den Vektor Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Daher wird diese Matrix auch als zentrierende Matrix bezeichnet. Die totale Quadratsumme lässt sich also mittels der zentrierenden Matrix auch darstellen als Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Analog dazu lässt sich die Quadratsumme der Schätzwerte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  schreiben als Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und die Residuenquadratsumme als Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Dadurch erhält man die Quadratsummenzerlegung als

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

wobei sich zeigen lässt, dass für die Streuung der Messwerte und die der Schätzwerte folgender Zusammenhang gilt: Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Mithilfe dieses Zusammenhangs kann man zeigen, dass das multiple Bestimmtheitsmaß dem Quadrat des Korrelationskoeffizienten zwischen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  entspricht:

Beweis
    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

Die Notation Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  für die Matrix Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  rührt daher, dass die residuenerzeugende Matrix Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  – wobei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die Prädiktionsmatrix darstellt – für den Fall, dass Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Matrix Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  entspricht. Die Matrix Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist also ein Spezialfall der residuenerzeugenden Matrix.

Das adjustierte Bestimmtheitsmaß

Man kann zeigen, dass die Veränderung des Bestimmtheitsmaßes, wenn eine zusätzliche Variable Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Regression hinzugefügt wird

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

beträgt. Folglich kann das Bestimmtheitsmaß durch die Aufnahme zusätzlicher erklärender Variablen nicht sinken. Hierbei stellt Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  das Bestimmtheitsmaß in der Regression von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  auf Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und einer zusätzlichen Variable Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  dar. Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist das Bestimmtheitsmaß für die Regression von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  auf Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  alleine und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist die partielle Korrelation zwischen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , wenn man für Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  kontrolliert. Wenn man immer weitere Variablen in das Model hinzufügt, wird der R-Quadrat-Wert weiter ansteigen, bis hin zur oberen Grenze Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Daher sollte das adjustierte Bestimmtheitsmaß herangezogen werden, das die Aufnahme jeder neu hinzugenommenen erklärenden Variable „bestraft“.

In Matrixschreibweise ist das adjustierte Bestimmtheitsmaß gegeben durch den Quotienten aus dem „mittleren Residuenquadrat“ und dem „mittleren Quadrat der totalen Abweichungen“:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

die unverzerrten Schätzer für die Varianzen von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  darstellen.

Bestimmtheitsmaß bei Heteroskedastizität

Wenn die Anpassung durch die verallgemeinerte Kleinste-Quadrate-Schätzung erfolgt, können alternative Versionen des Bestimmtheitsmaßes entsprechend diesem statistischen Rahmenwerk berechnet werden, während das „einfache“ Bestimmtheitsmaß immer noch nützlich sein kann, da es einfacher zu interpretieren ist. Das Bestimmtheitsmaß bei vorliegen von Heteroskedastizität ist durch die gewichteten Summen der Abweichungsquadrate wie folgt definiert

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die „gewichtete Residuenquadratsumme“ (englisch weighted sum of squares residual, kurz: WSSR) und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die „gewichtete totale Quadratsumme“ (englisch weighted sum of squares total, kurz: WSST) darstellt. Im verallgemeinerten linearen Regressionsmodell, also bei Vorliegen einer nichtskalaren Kovarianzmatrix der Störgrößen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  mit der Gewichtsmatrix Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  gegeben durch:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

den verallgemeinerten Kleinste-Quadrate-Schätzer darstellt.

Interpretation der Varianz der Regressionsparameter

Die Kovarianzmatrix des Kleinste-Quadrate-Schätzvektors Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist gegeben durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Die Diagonalelemente dieser Kovarianzmatrix stellen die Varianzen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der jeweiligen Regressionsparameter dar. Es kann gezeigt werden, dass sich die Varianzen auch darstellen lassen als

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  das Bestimmtheitsmaß einer Hilfsregression ist, bei der die erklärende Variable Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (hier als abhängige Variable) auf alle anderen erklärenden Variablen (inkl. Absolutglied) regressiert wird. Je größer ceteris paribus die lineare Abhängigkeit einer erklärenden Variablen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  mit anderen erklärenden Variablen ist (Multikollinearität, gemessen durch Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ), desto größer ist die Varianz. Im Extremfall Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  geht die Varianz gegen Unendlich.

Diese Varianzformel liefert mithilfe der Varianzinflationsfaktors

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

ebenfalls ein Diagnosewerkzeug, um den Grad der Multikollinearität zu messen. Der Varianzinflationsfaktor quantifiziert einen Anstieg der Varianz von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  aufgrund der linearen Abhängigkeit von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  mit den restlichen erklärenden Variablen. Je größer die Korrelation zwischen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und den anderen erklärenden Variablen ist, desto größer ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und damit der Varianzinflationsfaktor.

Mithilfe des Standardfehlers der Residuen, lassen sich Konfidenzintervalle konstruieren. Ersetzt man bei der Standardabweichung des jeweiligen Parameterschätzers Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  das unbekannte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  durch das bekannte Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ergibt sich der Standardfehler des Regressionskoeffizienten Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  durch

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Die Größe der Standardfehler der geschätzten Regressionsparameter hängt also von der Residualvarianz, der Abhängigkeit der erklärenden Variablen untereinander und der Streuung der jeweiligen erklärenden Variablen ab.

R-Quadrat-Schreibweise der F-Statistik

Die allgemeine Form der F-Statistik ist definiert durch den relativen Zuwachs in der Residuenquadratsumme beim Übergang vom unrestringierten zum restringierten Modell

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die Anzahl der zu testenden Restriktionen darstellt. Beim Testen von Restriktionen ist es oft von Vorteil eine Darstellung der F-Statistik zu haben, bei der die Bestimmtheitsmaße des restringierten Modells und des unrestringierten Modells miteinbezogen werden. Ein Vorteil dieser Darstellung ist, dass das die Residuenquadratsumme sehr groß und deren Berechnung damit umständlich sein kann. Das Bestimmtheitsmaß dagegen liegt immer zwischen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Die R-Quadrat-Schreibweise der F-Statistik ist gegeben durch

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei der Umstand genutzt wurde, dass für die Residuenquadratsumme des restringierten und des unrestringierten Modells gilt

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Da das Bestimmtheitsmaß im Gegensatz zu Residuenquadratsumme in jedem Regressionsoutput ausgegeben wird, kann man leicht die Bestimmtheitsmaße des restringierten Modells und des unrestringierten Modells benutzen, um auf Variablenexklusion zu testen.

Test auf Gesamtsignifikanz eines Modells

Der globale F-Test prüft, ob mindestens eine Variable einen Erklärungsgehalt für das Modell liefert. Falls diese Hypothese verworfen wird, ist das Modell nutzlos. Dieser Test lässt sich so interpretieren, als würde man die gesamte Anpassungsgüte der Regression, also das Bestimmtheitsmaß Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  der Regression, testen. Die Null- und die Alternativhypothese lauten:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften   gegen  Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

und die Teststatistik dieses Tests ist gegeben durch

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Das Modell unter der Nullhypothese Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist dann das sogenannte Nullmodell (Modell, das nur aus einer Regressionskonstanten Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  besteht). Die Teststatistik Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist unter der Nullhypothese F-verteilt mit Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Freiheitsgraden. Überschreitet der empirische F-Wert bei einem a priori festgelegten Signifikanzniveau Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  den kritischen F-Wert Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (das Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften -Quantil der F-Verteilung mit Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  Freiheitsgraden) so verwirft man die Nullhypothese, dass alle Steigungsparameter des Modells gleich null sind. Das Bestimmtheitsmaß ist dann ausreichend groß und mindestens eine erklärende Variable trägt vermutlich genügend Information zur Erklärung der abhängigen Variablen bei. Es ist naheliegend, bei hohen F-Werten die Nullhypothese zu verwerfen, da ein hohes Bestimmtheitsmaß zu einem hohen F-Wert führt. Wenn der Wald-Test für eine oder mehrere erklärende Variablen die Nullhypothese ablehnt, dann kann man davon ausgehen, dass die zugehörigen Regressionsparameter ungleich Null sind, so dass die Variablen in das Modell mit einbezogen werden sollten.

Es kann gezeigt werden, dass unter der obigen Nullhypothese sich für das Bestimmtheitsmaß im Mittel

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften 

ergibt. Daraus folgt, dass wenn Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , dann ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , d. h. die bloße Größe des R-Quadrat-Wertes ist bei kleinen Stichprobengrößen ein schlechter Indikator für die Anpassungsgüte.

Zusammenhang zwischen adjustiertem Bestimmtheitsmaß, F-Test und t-Test

Direkt aus der obigen Definition von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  folgt

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Wenn man diesen Ausdruck nun nach Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  auflöst ergibt sich Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Analog dazu gilt für das adjustierte Bestimmtheitsmaß des Nullhypothesenmodells, welches nur Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  erklärende Variablen besitzt Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Bei Einsetzen der beiden Größen in den F-Wert

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

ergibt sich durch algebraische Umformungen

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Als Folge daraus ist der F-Wert genau dann größer als Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , wenn

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Durch Umstellen erhält man

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Diese Ungleichung ist genau dann erfüllt, wenn Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Anders ausgedrückt übersteigt das adjustierte Bestimmtheitsmaß des unrestringierten Modells das adjustierte Bestimmtheitsmaß des restringierten Modells genau dann wenn der F-Wert des F-Tests größer als Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  ist. Der t-Test stellt einen Spezialfall des F-Tests dar. Er ergibt sich im Fall einer Restriktion Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Für die Teststatistik eines solchen Tests gilt, dass die quadrierte t-Statistik der F-Statistik entspricht Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Die obige Ungleichung ist für einen t-Test ebenso erfüllt, genau dann wenn Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Verallgemeinerung mittels Zielfunktion

Ein weiterer Ansatz stellt die Verallgemeinerung des Bestimmtheitsmaßes mittels einer anderen Zielfunktionen als die Residuenquadratsumme dar. Sei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die Zielfunktion, die es zu maximieren gilt, Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  stellt den Wert in einem Nullmodell dar, Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  bezeichnet den Wert im angepassten Modell, und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  bezeichnet den größtmöglichen Wert von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Der maximale potentielle Zuwachs in der Zielfunktion, der durch die Hinzunahme von erklärenden Variablen resultiert ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Im Gegensatz dazu stellt der gegenwärtige Zuwachs Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  dar. Die Verallgemeinerung des Bestimmtheitsmaßes mittels Zielfunktionen ergibt sich dann durch

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Hier bei bedeutet das Subskript Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  „relativer Zuwachs“. Bei der Kleinste-Quadrate-Schätzung ist die maximierte Verlustfunktion Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Dann ist Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften , und somit gilt für das Bestimmtheitsmaß bei der Kleinste-Quadrate-Schätzung Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften . Die Vorteile dieser Verallgemeinerung mittels Zielfunktionen sind, dass das Maß Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  zwischen Null und Eins liegt und steigt, wenn weitere erklärende Variablen dem Modell hinzugefügt werden. Wenn Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (dies ist beispielsweise bei binären diskreten Entscheidungsmodellen und multinomialen Modellen der Fall), dann ergibt sich die verwandte Maßzahl Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Pseudo-Bestimmtheitsmaß

Im Falle einer linearen Regression mit einer abhängigen metrischen Variablen Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  wird die Varianz dieser Variablen benutzt, um die Güte des Regressionsmodells zu beschreiben. Bei einem nominalen oder ordinalen Skalenniveau von Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  existiert jedoch kein Äquivalent, da man die Varianz und damit ein Bestimmtheitsmaß nicht berechnen kann. Für diese wurden verschiedene Pseudo-Bestimmtheitsmaße vorgeschlagen, beispielsweise Maße die auf der logarithmischen Plausibilitätsfunktion (log-Likelihood-Funktion) basieren, wie z. B. das Pseudo-Bestimmtheitsmaß nach McFadden.

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  (für eine Erläuterung der Notation siehe Log-Likelihood-basierte Maße).

Bei nichtlinearen Modellen werden Pseudo-Bestimmtheitsmaße verwendet. Allerdings gibt es kein universelles Pseudo-Bestimmtheitsmaß. Je nach Kontext müssen andere Pseudo-Bestimmtheitsmaße herangezogen werden.

Prognose-Bestimmtheitsmaß

Während das Bestimmtheitsmaß, das adjustierte Bestimmtheitsmaß oder auch die Pseudo-Bestimmtheitsmaße eine Aussage über die Modellgüte machen, zielt das Prognose-Bestimmtheitsmaß auf die Vorhersagequalität des Modells. Im Allgemeinen wird das Prognose-Bestimmtheitsmaß kleiner als das Bestimmtheitsmaß sein.

Zunächst wird der Wert des PRESS-Kriteriums, also die prädiktive Residuenquadratsumme (engl.: predictive residual error sum of squares) berechnet

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Hier soll verdeutlicht werden, dass Werte für einen externen Test-Datensatz vorhergesagt wurden (welcher nicht im Modelltraining verwendet wurde). Der Unterschied zur normalen Residuenquadratsumme besteht lediglich im Kontext der betrachteten Daten und nicht in der Rechenvorschrift.

Das Prognose-Bestimmtheitsmaß ergibt sich dann als

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften .

Mehrgleichungsmodelle

Für Mehrgleichungsmodelle lässt sich ein Bestimmtheitsmaß wie folgt definieren:

    Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften ,

wobei Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  die Residuenquadratsumme der durchführbaren verallgemeinerten KQ-Schätzung ist und Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  für Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  steht im Fall, dass Bestimmtheitsmaß: Einführung in die Problemstellung, Definitionen, Eigenschaften  nur aus einem Absolutglied besteht.

Wikibooks: Einführung in die Regressionsrechnung – Lern- und Lehrmaterialien
Commons: Bestimmtheitsmaß – Sammlung von Bildern, Videos und Audiodateien

Literatur

  • George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee: Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4.
  • Ludwig Fahrmeir, Thomas Kneib, Stefan Lang: Regression: Modelle, Methoden und Anwendungen. 2. Auflage. Springer Verlag, 2009, ISBN 978-3-642-01836-7.
  • Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education, 2015.
  • J. Neter, M. H. Kutner, C.J. Nachtsheim, W. Wasserman: Applied linear statistical models. 4. Auflage. McGraw-Hill 1996.
  • M.-W. Stoetzer: Regressionsanalyse in der empirischen Wirtschafts- und Sozialforschung – Eine nichtmathematische Einführung mit SPSS und Stata. Berlin 2017, ISBN 978-3-662-53823-4.
  • William H. Greene: Econometric Analysis. 5. Auflage. Prentice Hall International, 2002, ISBN 0-13-110849-2. (englischsprachiges Standardlehrbuch)

Anmerkungen

Einzelnachweise

Tags:

Bestimmtheitsmaß Einführung in die ProblemstellungBestimmtheitsmaß DefinitionenBestimmtheitsmaß EigenschaftenBestimmtheitsmaß InterpretationBestimmtheitsmaß KonstruktionBestimmtheitsmaß BeispieleBestimmtheitsmaß Vergleich mit dem Standardfehler der RegressionBestimmtheitsmaß Missverständnisse, Grenzen und KritikBestimmtheitsmaß GeschichteBestimmtheitsmaß Das adjustierte Bestimmtheitsmaß MatrixschreibweiseBestimmtheitsmaß R-Quadrat-Schreibweise der F-StatistikBestimmtheitsmaß Test auf Gesamtsignifikanz eines ModellsBestimmtheitsmaß Zusammenhang zwischen adjustiertem , F-Test und t-TestBestimmtheitsmaß Verallgemeinerung mittels ZielfunktionBestimmtheitsmaß Pseudo-Bestimmtheitsmaß Prognose-Bestimmtheitsmaß MehrgleichungsmodelleBestimmtheitsmaß WeblinksBestimmtheitsmaß LiteraturBestimmtheitsmaß AnmerkungenBestimmtheitsmaß EinzelnachweiseBestimmtheitsmaßAnpassungsgüteDetermination (Logik)Erklärte QuadratsummeKennzahlLateinRegressionsanalyseResiduenquadratsummeStatistikTotale Quadratsumme

🔥 Trending searches on Wiki Deutsch:

Fußball-Weltmeisterschaft 2006ThüringenKaya ScodelarioNiederlandeNürnbergDreikörperproblemBeverly Hills Cop – Ich lös’ den Fall auf jeden FallTaylor MomsenVincent SierroProjekt 775NordkoreaSri LankaWolfgang StumpfElli KafkaDemokratische Republik KongoWesterwaldGareth BaleJulian PaethLionel MessiFritz WepperWes MooreDaley BlindFußball-Europameisterschaft 2021Fußball-Europameisterschaft 2016Alyson HanniganHeiliges Römisches ReichHauptseiteÄgyptenKarl LagerfeldLuxemburgSlowenienLouis KlamrothLamborghiniEmily BluntDas SchlossPeter SchillingItalienPiknikAustin ButlerRingelrötelnListe der Präsidenten der Vereinigten StaatenWeltwunderVietnamHolocaustWladimir Wladimirowitsch PutinFranziska HartmannArteWikiLeaksAnschlag in KrasnogorskTedros TeclebrhanTuberkuloseLady GagaBMW G20BayernThomas MüllerMercedes-Benz G-KlasseDienstgrade der Bundeswehr26. MärzWerner HeisenbergDie SimpsonsFerrariKasia LenhardtNapoleon BonaparteUnthinkable – Der Preis der WahrheitKölnMilena JesenskáMondelez InternationalBrasilienSüdwestrundfunkMongoleiUsbekistanNiederländische FußballnationalmannschaftRachel McAdamsAdolf HitlerDune (2021)Richard KielLändervorwahlliste sortiert nach NummernGizem EmreOrlando Aravena🡆 More