Beschreibende Statistik - Streumaße

Streuung

Unter Streuung versteht man die Verteilung der einzelnen Werte um den Mittelwert. Eine schwache Streuung bedeutet, dass die Werte dicht beim Mittelwert liegen, während eine starke Streuung bedeutet, dass die Werte entfernt vom Mittelwert liegen.

Beispiel:
Die Werte 100, 200 und 300 haben einen Mittelwert von 200. Die Werte 199, 200 und 201 haben ebenfalls den Mittelwert 200, sie sind streuen aber erheblich weniger.

Streumaße

Streumaße geben Auskunft über die Breite der Verteilung, also zur Variabilität der Werte. Streumaße messen die Streuung.

Streudiagramme

Streudiagramme bilden paarweise verknüpfte Datensätze (X, Y) in Form einer zweidimensionalen Punktwolke ab.

Spannweite

Die Spannweite R (engl. range) ist die Differenz zwischen dem größten und dem kleinsten Wert der geordneten Datenreihe. Sie beinhaltet lediglich eine Aussage bezüglich der beiden Extremwerte, erlaubt aber keine Aussage bezüglich der Struktur der Einzelwertverteilung zwischen den beiden Extremwerten.

\(R = {x_{{\text{max}}}} - {x_{{\text{min}}}}\)

Mittlere lineare Abweichung

Der mittleren linearen Abweichung liegt der Abstand von jedem einzelnen Wert x_i zum arithmetischen Mittelwert \(\overline x\) zugrunde.

\(e = \dfrac{{\left| {{x_1} - \overline x } \right| + \left| {{x_2} - \overline x } \right| + ...\left| {{x_n} - \overline x } \right|}}{n} = \dfrac{1}{n}\sum\limits_{i = 1}^n {\left| {{x_i} - \overline x } \right|}\)

Varianz einer Grundgesamtheit

Die Varianz \({\sigma ^2} = Var\left( X \right)\) dient der Beschreibung der Wahrscheinlichkeitsverteilung einer Grundgesamtheit und ist ein Streumaß der beschreibenden Statistik. Die Varianz ist ein Maß für die quadrierte durchschnittliche Entfernung aller Messwerte vom arithmetischen Mittelwert \({\overline x }\) bzw. vom Erwartungswert \(\mu \). 

Der Varianz liegt der quadrierte Abstand jedes einzelnen Werts x_i zum arithmetischen Mittelwert \(\overline x \) bzw. dem Erwartungswert \(\mu \) zugrunde. Die Varianz hat daher eine andere Einheit als die Messwerte, nämlich deren Quadrat. Diese "Unschönheit" löst man auf, indem man mit der Standardabweichung arbeitet, welche die Quadratwurzel aus der Varianz ist.

\(\eqalign{
& {\sigma ^2} = Var\left( X \right) = \dfrac{{{{\left( {{x_1} - \overline x } \right)}^2} + {{\left( {{x_2} - \overline x } \right)}^2} + ... + {{\left( {{x_n} - \overline x } \right)}^2}}}{n} \cr
& {\sigma ^2} = \dfrac{1}{n} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \mu } \right)}^2}} = \dfrac{1}{n} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}} \cr} \)

Varianz vs. empirische Varianz

Das Wort "empirisch" weist darauf hin, dass Daten einer Stichprobe analysiert werden, die aus der Beobachtung eines Prozesses gewonnen wurden. 

Merke:
Um auszudrücken, dass es sich um eine Stichprobe und nicht um die Grundgesamtheit handelt, ersetzen wir \(\sigma \to s\)

Merke:
Bei bekannter Grundgesamtheit kommt \(\dfrac{1}{n}\), bei Stichproben kommt grundsätzlich \(\dfrac{1}{{n - 1}}\) zur Anwendung!

"unkorrigierte" Varianz einer Stichprobe

Bei der unkorrigierten Stichprobenvarianz wird die Summe der quadrierten Abweichungen durch die Anzahl der erhobenen Merkmalsausprägungen n dividiert. Wir kennen den Erwartungswert \(\mu \) der Grundgesamtheit nicht und verwenden daher den arithmetischen Mittelwert \(\overline x \) der Stichprobe! Um auszudrücken, dass es sich um eine Stichprobe und nicht um die Grundgesamtheit handelt, ersetzen wir \(\sigma \to s\)

\({s_n}^2 = \dfrac{1}{n} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}} \)

Die unkorrigierte Varianz ist ein verzerrter Schätzer für die Varianz der Grundgesamtheit. Sie unterschätzt systematisch die wahre Varianz, insbesondere bei kleinen Stichproben, denn in der Regel ist die Streuung innerhalb einer Stichprobe etwas geringer als in der gesamten Population, da extreme Werte oft nicht in der Stichprobe enthalten sind.

„korrigierte“ Varianz einer Stichprobe, gemäß der Bessel-Korrektur

Die Bessel-Korrektur ist eine statistische Anpassung, die angewendet wird, um eine verzerrte Schätzung der Stichprobenvarianz zu korrigieren. Sie wird verwendet, weil die unkorrigierte Stichprobenvarianz dazu neigt, die wahre Varianz der Grundgesamtheit zu unterschätzen. Das ist vor allem bei kleinen Stichproben der Fall. Die Bessel-Korrektur besteht darin, den Nenner von n auf (n - 1) zu ändern, wodurch die Varianz größer wird:

\({s_{n - 1}}^2 = \dfrac{1}{{n - 1}} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}} \)

Beispiel 

Stichprobe:  2, 4, 6  somit n=3

Empirischer Mittelwert = Mittelwert der Stichprobe: 
\(\overline x = \dfrac{{2 + 4 + 6}}{3} = \dfrac{{12}}{3} = 4\)

Unkorrigierte Varianz der Stichprobe:
\({s_n}^2 = \dfrac{{{{\left( {2 - 4} \right)}^2} + {{\left( {4 - 4} \right)}^2} + {{\left( {6 - 4} \right)}^2}}}{3} = \dfrac{{{{\left( { - 2} \right)}^2} + {{\left( 0 \right)}^2} + {{\left( 2 \right)}^2}}}{3} = \dfrac{8}{3} \approx 2,67\)

Korrigierte Varianz der Stichprobe, gemäß Bessel-Korrektur

\({s_{n - 1}}^2 = \dfrac{{{{\left( {2 - 4} \right)}^2} + {{\left( {4 - 4} \right)}^2} + {{\left( {6 - 4} \right)}^2}}}{{3 - 1}} = \dfrac{{{{\left( { - 2} \right)}^2} + {{\left( 0 \right)}^2} + {{\left( 2 \right)}^2}}}{2} = \dfrac{8}{2} = 4\)

Varianz \(\sigma ^2\) einer diskreten Zufallsvariablen X mit den Werten x₁, x₂, ..., x_k berechnen

\({\sigma ^2} = Var\left( X \right) = E{\left( {X - E\left( X \right)} \right)^2} = E\left( {{X^2}} \right) - {\left( {E\left( X \right)} \right)^2}\)

• Von jedem Wert x_i der Zufallsvariablen X wird der Erwartungswert \(E\left( X \right) = \mu \) abgezogen.
• Diese Differenz wird quadriert
• Davon bildet man erneut den Erwartungswert, um so die Varianz zu erhalten.

\({\sigma ^2} = V\left( X \right) = Var\left( X \right) = {\sum\limits_{i = 1}^k {\left( {{x_i} - \mu } \right)} ^2} \cdot P\left( {X = {x_i}} \right) = {\sum\limits_{i = 1}^k {\left( {{x_i} - E\left( X \right)} \right)} ^2} \cdot P\left( {X = {x_i}} \right)\)

• Es wird jeweils vom Wert x_i der diskreten Zufallsvariablen X der Erwartungswert E(X) abgezogen.
• Diese Differenz quadriert man und anschließend multipliziert man noch mit der Wahrscheinlichkeit P(X = x_i).
• So verfährt man mit jedem Wert x_i und summiert letztlich die einzelnen Ergebnisse auf, um so die Varianz zu erhalten.

Standardabweichung

Die Standardabweichung ist ein Maß für die durchschnittliche Entfernung aller Messwerte vom arithmetischen Mittelwert. Je stärker die Werte um den arithmetischen Mittelwert streuen um so höher ist die Standardabweichung. Die Standardabweichung einer Stichprobe ist umso größer, je kleiner der Stichprobenumfang ist. Der Graph der Dichtefunktion ist umso breiter und verläuft umso flacher, je kleiner die Stichprobe ist. 

• \(\sigma\) ist die übliche Bezeichnung, wenn es sich um die Standardabweichung der Grundgesamtheit handelt.
• s ist die übliche Bezeichnung, wenn die Standardabweichung aus einer Stichprobe ermittelt wurde.

Beispiel: 10 Personen werden gefragt, wie viel sie für einen Sommerurlaub ausgeben. Der Mittelwert der 10 Ausgaben liegt bei 2.000€, die Standardabweichung liegt bei 200 €. Das bedeutet dass die durchschnittliche Entfernung aller Antworten vom Mittelwert 200 € beträgt.

Unterschied Standardabweichung und Varianz

• Die Standardabweichung ist ein Maß für die durchschnittliche, während die Varianz ein Maß für das Quadrat der durchschnittlichen Entfernung aller Messwerte vom arithmetischen Mittelwert ist.
• Der Vorteil der Standardabweichung gegenüber der Varianz ist, dass nicht Quadrate der Einheiten (z.B. Euro²) sondern die eigentlichen Einheiten der gemessenen Werte (z.B. Euro) verwendet werden.
• Die Standardabweichung ist die Wurzel aus der Varianz. Standardabweichung und Varianz sind direkt proportional zu einander.

Auswirkung von "Ausreißern"

Standardabweichung einer Vollerhebung berechnen

Standardabweichung einer Vollerhebung berechnen, bei der man den wahren Mittelwert kennt → \(\dfrac{1}{n}\)

Die (empirische) Standardabweichung ist ein Maß dafür, wie weit im Durchschnitt die einzelnen Messwerte vom Erwartungswert entfernt liegen, d.h. wie weit die einzelnen Messwerte um den Erwartungswert streuen. Je kleiner die Standardabweichung ist, um so besser repräsentiert der Erwartungswert die einzelnen Messwerte.

• Betrachten wir einen extremen Fall: Sind alle einzelnen Messwerte gleich, dann ist die Standardabweichung null, weil dann alle Messwerte zu ihrem Erwartungswert gleich sind.
• Die Standardabweichung ist immer größer gleich Null.

\(\eqalign{ & \sigma = \sqrt {{\sigma ^2}} = \sqrt {\dfrac{{{{\left( {{x_1} - \overline x } \right)}^2} + {{\left( {{x_2} - \overline x } \right)}^2} + ...{{\left( {{x_n} - \overline x } \right)}^2}}}{n}} \cr & \sigma = \sqrt {\dfrac{1}{n} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}\,\,} } \cr}\)

\(\sigma = \sqrt {Var\left( X \right)} \)

Korrigierte Standardabweichung einer Stichprobe berechnen

Die Stichprobenstandardabweichung ist umso größer, je kleiner der Stichprobenumfang n ist. Der Graph der Dichtefunktion ist umso breiter und verläuft umso flacher, je kleiner die Stichprobe ist. Die Standardabweichung der Stichprobe entspricht dem Abstand der Wendepunkte vom Graph der Dichtefunktion bis zum Erwartungswert der Stichprobe.

Standardabweichung einer Stichprobe vom Umfang n berechnen, bei der man den wahren Mittelwert nicht kennt → \(\dfrac{1}{{n - 1}}\)

\({s} = \sqrt {\dfrac{1}{{n - 1}} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}\,\,} } \)

Standardabweichung einer Stichprobe vom Umfang n berechnen, bei gegebener absoluter Häufigkeit n₁, .., n_k → \(\dfrac{1}{{n - 1}}\)

\(s = \sqrt {\dfrac{1}{{n - 1}} \cdot \sum\limits_{i = 1}^k {{n_k} \cdot {{\left( {{x_i} - \overline x } \right)}^2}} } \)

Standardabweichung einer Stichprobe vom Umfang n berechnen, bei gegebener relativer Häufigkeit h₁,..., h_k → \(\dfrac{1}{{n - 1}}\)

\(s = \sqrt {\dfrac{n}{{n - 1}} \cdot \sum\limits_{i = 1}^k {{h_k} \cdot {{\left( {{x_i} - \overline x } \right)}^2}} } \)

Standardfehler bzw. Stichprobenfehler

Der Standardfehler (SEM = Standard Error of the Mean) ist ein Maß dafür, inwieweit die Standardabweichung einer Stichprobe s von der Standardabweichung der Grundgesamtheit σ abweicht. Wenn die Standardabweichung der Grundgesamtheit σ und die Stichprobengröße n  bekannt sind, gilt:

\(SEM = {\sigma _S} = \dfrac{\sigma }{{\sqrt n }}\)

Je größer die Stichprobe, die ja im Nenner steht, umso kleiner der Standardfehler. 

Beispiel:

Standardfehler SEM einer kleinen Stichprobe:

\(\eqalign{
& \sigma = 4,5{\text{ml}} \cr
& n = 10 \cr
& SEM = \frac{\sigma }{{\sqrt n }} = \frac{{4,5}}{{\sqrt {10} }} \approx 1,423{\text{ml}} \cr} \)

Standardfehler SEM einer großen Stichprobe:

\(\eqalign{
& \sigma = 4,5{\text{ml}} \cr
& n = 100 \cr
& SEM = \frac{\sigma }{{\sqrt n }} = \frac{{4,5}}{{\sqrt {100} }} = \frac{{4,5}}{{10}} \approx 0,45{\text{ml}} \cr} \)

Wir sehen: Der Standardfehler einer Stichprobe ist umso größer, je kleiner der Stichprobenumfang n ist.
\(n = 10 \to {\sigma _S} = 1,423{\text{ml}} > 0,45{\text{ml = }}{\sigma _s} \leftarrow n = 100\)

Unterschied Standardabweichung und Standardfehler

• Die Standardabweichung ist ein Maß für die durchschnittliche Entfernung aller Messwerte vom arithmetischen Mittelwert. Sie beeinflusst Breite und Höhe vom Graph der Dichtefunktion
• Der Standardfehler ist ein Maß für mittlere Abweichung des Mittelwerts einer Stichprobe zum Mittelwert der realen Grundgesamtheit.

Kovarianz - Korrelation - Scheinkorrelation - Regression

Kovarianz

Die Kovarianz ist ein dimensionsloses Maß für die Stärke vom linearen Zusammenhang zweier Datensätze x₁, x₂, … , x_n bzw. y₁, y₂, … y_n , deren Merkmale metrisch und stetig sind.

Korrelation

Korrelation beschreibt eine statistische Beziehung zwischen zwei Variablen, bei der Veränderungen in einer Variable mit Veränderungen in der zweiten Variable zusammen auftreten. Wenn zwei Variablen korrelieren, bedeutet dies, dass eine Veränderung in einer Variable mit einer Veränderung in der anderen Variable einhergeht (=korreliert). Im Unterschied zur Kovarianz ist bei der Korrelation eine Standardisierung erfolgt, was Vergleiche erlaubt. Die Korrelation bzw. der Korrelationskoeffizient r ist ein Maß für die lineare Abhängigkeit von 2 Datensätzen. Der Korrelationskoeffizient besitzt Werte zwischen -1 bis +1.

• r=-1: Es besteht ein gegenläufiger Zusammenhang. Eine Größe nimmt zu, die andere Größe nimmt ab
• r=0: Es besteht kein linearer Zusammenhang
• r=+1: Es besteht ein gleichläufiger Zusammenhang. Wenn eine Größe zunimmt, nimmt auch die andere Größe im selben Ausmaß zu
   

Ob ein Korrelationskoeffizient ab 0,5 oder erst ab 0,9 als "hoch" einzuschätzen ist, hängt von der jeweiligen Fragestellung ab. Man kann von Änderungen eines Datensatzes, gemäß dem Korrelationskoeffizient r nach Pearson Vorhersagen über die Änderung des anderen Datensatzes treffen und vice versa, ohne dass es eine Kausalbeziehung zwischen den Datensätzen gibt. Achtung: Korrelation impliziert keinen kausalen Zusammenhang zwischen den Datensätzen.

Scheinkorrelation

Von einer Scheinkorrelation spricht man, wenn es zwischen zwei Datensätzen zwar eine Korrelation gibt, diese aber auf keinen Ursache-Wirkungs Zusammenhang zurückgeführt werden kann. Korrelation bedeutet nämlich nicht zwangsläufig, dass eine Variable die Ursache für die Veränderung der anderen Variable ist. 

Die Problematik bezüglich der Scheinkorrelation soll an Anhand eines Beispiels veranschaulicht werden: Seit Jahrzehnten sinkt die Anzahl an Störchen und die Anzahl an Geburten im Burgenland. D.h. die beiden Datensätze (Störche, Geburten) entwickeln sich in dieselbe Richtung und sind korreliert und man kann auch einen Korrelationskoeffizienten r > 0 berechnen. Dennoch gibt es keine Kausalität (kein Ursache- Wirkungsprinzip, kein Zusammenhang) zwischen den Datensätzen und es wäre daher falsch, auf Auswirkungen von einem Datensatz (Anzahl Störche) auf den anderen Datensatz (Anzahl Geburten) zu schließen.

Wenn eine Variable oder ein Ereignis eine Veränderung in einer anderen Variable oder einem anderen Ereignis verursacht, spricht man von Kausalität. Wenn man also berechtigt von einem Datensatz auf einen anderen korrelierten Datensatz schließen will, muss man zusätzlich die Kausalität, etwa durch ein Experiment oder einer Regressionsanalyse nachweisen, um eine allfällige Scheinkorrelation auf Grund einer tatsächlich bestehenden Korrelation ohne kausalem Zusammenhang ausschließen zu können!

Regression

Die Regression geht über die Korrelation hinaus uns setzt einen Ursache Wirkungszusammenhang (Kausalität) voraus. Daher gibt es eine unabhängige Variable (X, Regressor, Ursache) und eine abhängige Variable (Y, Regressand, Wirkung).

Lineare Regression

Ziel der linearen Regression ist es eine abhängige Variable (Y, Regressand) aus einer unabhängigen Variable (X, Regressor) mittels einer linearen Funktion, der Regressionsgeraden zu berechnen, um aus dem bekannten Zustand von X Vorhersagen für den unbekannten Zustand von Y treffen zu können. Dazu sollen die Abweichungsquadrate der beobachteten Werte zur Regressionsgeraden (Gerade = linearer Zusammenhang) minimiert werden. Alle Punkte eines Streudiagramms (nicht einzelne ! Punkte) haben den minimalen Abstand zur Regressionsgeraden.

Kovarianz

Die Kovarianz ist ein dimensionsbehaftetes Maß für die Stärke vom linearen Zusammenhang zweier metrischer Datensätze x₁, x₂, … , x_n bzw. y₁, y₂, … y_n.

\(Cov\left( {x,y} \right) = \dfrac{{\sum\limits_{i = 1}^N {\left( {{x_i} - \overline x } \right) \cdot \left( {{y_i} - \overline y } \right)} }}{{N - 1}}\)

Die Kovarianz ist leider anfällig gegenüber Ausreißer, nicht standardisiert und daher für Vergleiche ungeeignet. Standardisiert man die Kovarianz, erhält man die Korrelation.

\(Cov\left( {X,Y} \right) = 0\) ⇒ X und Y sind unkorreliert. D.h. aber nicht, dass sie auch unabhängig sein müssen.

Korrelationsanalyse

Mit einer Korrelationsanalyse werden Maßzahlen errechnet, um die Stärke eines linearen Zusammenhangs zweier Datensätze, deren Merkmale metrisch und stetig sind, zu quantifizieren. Beispiele für solch eine Maßzahl sind

• die Kovarianz
• der Korrelationskoeffizient r nach Pearson

Korrelationskoeffizient nach Pearson

Die Korrelation ist ein Maß für den linearen Zusammenhang zwischen zwei Datensätzen (Variablen). Der Korrelationskoeffizient nach Pearson ist eine von mehreren Möglichkeiten diesen Zusammenhang zu quantifizieren.

• Für einen Wert nahe bei +/- 1 besteht ein hoher linearer Zusammenhang
• Für einen Wert nahe bei 0 besteht kein linearer Zusammenhang
• Dessen ungeachtet kann aber ein nicht-linearer Zusammenhang bestehen
   

\(r(x,y) = \rho \left( {x,y} \right) = \dfrac{{Cov\left( {x,y} \right)}}{{\sqrt {Var\left( x \right) \cdot Var\left( y \right)} }} = \dfrac{{Cov\left( {x,y} \right)}}{{\sigma \left( x \right) \cdot \sigma \left( y \right)}}\)

Für den Korrelationskoeffizient r nach Pearson, dessen Wert zwischen -1 und 1 liegt gilt:

• Bei positiver Kovarianz / Korrelation r > 0 ändern sich die beiden Datensätze in dieselbe Richtung.
• Bei negativer Kovarianz / Korrelation r < 0 steigt ein Datensatz an während der andere Datensatz abnimmt.
• Bei einer Kovarianz / Korrelation r = 0 sind die beiden Datensätze unabhängig / unkorreliert voneinander.

Regressionsanalyse

Eine Regressionsanalyse geht über die Korrelationsanalyse hinaus (!) indem sie einen Ursache-Wirkungszusammenhang beschreibt. Ihr Ziel ist es einen mathematischen Zusammenhang zwischen unabhängigen und abhängigen Variablen herzustellen. Ist dieser Zusammenhang linear, so spricht man von einer Regressionsgeraden, andernfalls von einer Regressionsfunktion. 

Regressionsgerade

Die Regressionsgerade stellt einen linearen Zusammenhang zwischen einer unabhängigen Variabel und einer abhängigen Variablen die vorhergesagt werden soll her. Die Regressionsgerade ist die bestmögliche Gerade, die man in einem Streudiagramm durch alle Daten legen kann, sodass alle Datenpunkte von der Geraden in Summe den kleinsten Abstand haben.

\(\eqalign{ & {\text{f}}\left( x \right){\text{ = y = k}} \cdot {\text{x + d}} \cr & k = \dfrac{{\sum\limits_{i = 1}^n {\left( {{x_i} - \overline x } \right) \cdot \left( {{y_i} - \overline y } \right)} }}{{\sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}} }} = {r_{xy}} \cdot \dfrac{{{s_y}}}{{{s_x}}} \cr & d = \overline y - b \cdot \overline x \cr}\)