Standardabweichung

Beschreibende bzw. deskriptive Statistik

Die beschreibende bzw. deskriptive Statistik stellt große Datenmengen (Vollerhebung, Grundgesamtheit) übersichtlich dar und verdichtet diese, damit charakteristische Eigenschaften der Datenmenge durch einfache Kennzahlen ausgedrückt werden können. Bei den statistischen Kennzahlen unterscheidet man zwischen Lage- und Streumaßen

Lagemaße:

Die Lagemaße geben Auskunft zur zentralen Tendenz, darüber wo sich die Werte konzentrieren.

• Modalwert = Modus
• Arithmetisches Mittel
• Gewichtetes / gewogenes arithmetisches Mittel
• Geometrisches Mittel
• Median =Zentralwert
• Quantil

Streuungsmaße:

Die Steuungsmaße geben Auskunft über die Breite der Verteilung, also zur Variabilität der Werte.

• Spannweite
• Lineare Abweichung
• Varianz
• Standardabweichung

Diskrete Zufallsvariable

Die Anzahl der Ergebnisse des Zufallsexperiments ist endlich / abzählbar. Eine diskrete Zufallsvariable ist durch die Angabe ihres Wertebereichs \({x_1},{x_2},...,{x_n}\) und den Einzelwahrscheinlichkeiten fur das Auftreten von jedem Wert des Wertebereichs, also \(P\left( {X = {x_1}} \right) = {p_1},\,\,\,P\left( {X = {x_2}} \right) = {p_2},...P\left( {X = {x_n}} \right) = {p_n}\) vollständig definiert. Man spricht von der Wahrscheinlichkeitsfunktion, welche es nur für diskrete Zufallsvariablen gibt. (Bei stetigen Zufallsvariablen gibt es entsprechend die Dichtefunktion.)

Spezielle Verteilungen diskreter Zufallsvariabler sind

• Bernoulli-Verteilung
• Binomialverteilung (mit Zurücklegen)
• Poissonverteilung
• hypergeometrische Verteilung (ohne Zurücklegen)

Wahrscheinlichkeitsfunktion

Die Wahrscheinlichkeitsfunktion, welche es nur für diskrete Zufallsvariablen gibt, beschreibt eine diskrete Wahrscheinlichkeitsverteilung, indem sie jedem \(x \in {\Bbb R}\) einer Zufallsvariablen X genau eine Wahrscheinlichkeit P aus dem Intervall \(\left[ {0;1} \right]\) zuordnet.

\(f:x \to p\)

\(f:x \to \left\{ {\begin{array}{*{20}{l}} {P\left( {X = {x_i}} \right)}&{für\,\,x = {x_i}}\\ 0&{für\,\,\,x \ne {x_i}} \end{array}} \right.\)

Funktionsgraph der Wahrscheinlichkeitsfunktion

Im Funktionsgraph der Wahrscheinlichkeitsverteilung werden über jedem (diskreten) Wert x die jeweilige Wahrscheinlichkeit P(X=x) dargestellt, wobei die einzelnen Wahrscheinlichkeiten P(X=x) mit Hilfe der Laplace-Wahrscheinlichkeit berechnet werden. Im Stabdiagramm wird über jedem (diskreten) Wert x ein Stab (dünner Balken) aufgetragen, dessen Höhe der jeweilige Wahrscheinlichkeit P(X=x) entspricht.

Verteilungsfunktion

Die Verteilungsfunktion einer diskreten Zufallsvariablen, auch kumulative Verteilfunktion genannt, gibt die Wahrscheinlichkeit dafür an, dass die Zufallsvariable X höchstens den Wert x annimmt.

\(F\left( x \right) = P\left( {X \leqslant x} \right)\)

Sie ist eine monoton steigende Treppenfunktion mit Sprüngen an den Stellen x_i und daher nicht stetig. Geometrisch entspricht die Wahrscheinlichkeit P(X=x) der Sprunghöhe der Verteilungsfunktion F(x) an der Stelle x.

F(x) ist für jedes x definiert und nimmt Werte von mindestens 0 bis höchstens 1 an.

\(\eqalign{ & \mathop {\lim }\limits_{x \to - \infty } F(x) = 0 \cr & \mathop {\lim }\limits_{x \to \infty } F(x) = 1 \cr} \)

Darüber hinaus gilt:

\(\eqalign{ & P\left( {X \geqslant x} \right) = 1 - P\left( {X < x} \right) \cr & P\left( {X > x} \right) = 1 - P\left( {X \leqslant x} \right) \cr} \)

Mittelwert einer Vollerhebung bzw. einer Stichprobe

Der arithmetische Mittelwert bezieht sich immer auf die grundsätzlich abzählbare Anzahl n an Durchgängen eines Zufallsexperiments. Er ist definiert als die Summe aller beobachteten Werte dividiert durch die Anzahl der beobachteten Werte.
\(\overline x = \dfrac{1}{n} \cdot \sum\limits_{i = 1}^n {{x_i}} \)

Unterschied Mittelwert und Erwartungswert

Wiederholt man das Zufallsexperiment unendlich oft, geht also \(n \to \infty \), so wird aus dem Mittelwert der Erwartungswert.

Erwartungswert

Der Erwartungswert einer diskreten Zufallsvariablen X, welche die diskreten Werte x₁, x₂, ..., x_n mit den zugehörigen Wahrscheinlichkeiten P(X=x₁), P(X=x₂), ... P(X=x_n) annimmt, errechnet sich aus der Summe der Produkte vom jeweiligen Wert x_i und seiner Wahrscheinlichkeit P(X=x_i). Merkregel: "Was passiert" mal "mit welcher Wahrscheinlichkeit passiert es".

\(E\left( X \right) = \mu = {x_1} \cdot P\left( {X = {x_1}} \right) + {x_2} \cdot P\left( {X = {x_2}} \right) + ... + {x_n} \cdot P\left( {X = {x_n}} \right) = \sum\limits_{i = 1}^n {{x_i} \cdot P\left( {X = {x_i}} \right)} \)

mit: \(P\left( E \right) = \frac{{{\text{Anzahl günstige Fälle}}}}{{{\text{Anzahl möglicher Fälle}}}}\)

Der Erwartungswert ist ein Maß für die mittlere Lage der Verteilung, und somit ein Lageparameter der beschreibenden Statistik.

• Ist die Wahrscheinlichkeit für jeden Versuch die selbe (z.B. bei binomialverteilten Experimenten), dann ist der Erwartungswert gleich dem arithmetischen Mittel.
• Ist die Wahrscheinlichkeit für jeden Versuch unterschiedlich , dann ist der Erwartungswert gemäß obiger Formel ein gewichtetes arithmetisches Mittel.

Erwartungswert für den Fall dass die diskrete Verteilung eine Binomialverteilung ist,

die nur zwei Werte (Erfolg / Misserfolg) annehmen kann und deren Trefferwahrscheinlichkeit immer p ist:

\(E\left( X \right) = n \cdot p\)

Physikalische Analogie

• Physikalisch entspricht der Erwartungswert dem Schwerpunkt. Man muss sich dabei die Massen R(X=x_i) an den Positionen x_i entlang vom Zahlenstrahl x platziert vorstellen.
• Physikalisch entspricht die Varianz dem Trägheitsmoment, wenn man den oben beschriebenen Zahlenstrahl um eine Achse dreht, die senkrecht auf den Zahlenstrahl steht und die durch den Schwerpunkt verläuft.

Varianz

Die Varianz einer diskreten Zufallsvariablen ist die mittlere quadratische Abweichung der Zufallsvariablen von ihrem Erwartungswert und somit ein Streumaß der beschreibenden Statistik.
\({\sigma _x}^2 = Var\left( X \right) = {\sum\limits_{i = 1}^n {\left( {{x_i} - E\left( x \right)} \right)} ^2} \cdot P\left( {X = {x_i}} \right)\)

Verschiebungssatz

Der Verschiebungssatz für diskrete Zufallsvariablen kann den Rechenaufwand für die Berechnung der Varianz verringern, es kann aber zum Verlust von Rechengenauigkeit kommen.
\({\sigma _x}^2 = Var\left( X \right) = E\left( {{X^2}} \right) - E{\left( X \right)^2} = \sum\limits_{i = 1}^n {{x_i}^2 \cdot P\left( {X = {x_i}} \right) - E{{\left( X \right)}^2}} \)

Standardabweichung

Die Varianz hat den Nachteil, als Einheit das Quadrat der Einheit der zugrunde liegenden Zufallsvariablen zu haben. Das ist bei der Standardabweichung (auf Grund der Quadratwurzel) und beim Erwartungswert nicht der Fall.
\({\sigma _x} = \sqrt {Var\left( X \right)} \)

Physikalische Analogie für den Erwartungswert und für die Varianz:

• Physikalisch entspricht der Erwartungswert dem Schwerpunkt. Man muss sich dabei die Massen R(X=xi) an den Positionen xi entlang vom Zahlenstrahl x plaziert vorstellen.
• Physikalisch entspricht die Varianz dem Trägheitsmoment, wenn man den oben beschriebenen Zahlenstrahl um eine Achse dreht, die senkrecht auf den Zahlenstrahl steht und die durch den Schwerpunkt verläuft

Illustration zur Veranschaulichung einer kleinen Varianz:

\(\eqalign{ & {x_1} = 3;\,\,\,\,\,{x_2} = 4;\,\,\,\,\,{x_3} = 5; \cr & P\left( {{x_1}} \right) = 0,2;\,\,\,\,\,P\left( {{x_2}} \right) = 0,6;\,\,\,\,\,P\left( {{x_3}} \right) = 0,2; \cr & E(X) = \mu = \sum\limits_{i = 1}^3 {{x_i} \cdot P\left( {X = {x_i}} \right)} = 3 \cdot 0,2 + 4 \cdot 0,6 + 5 \cdot 0,2 = 4 \cr & Var(X) = {\sum\limits_{i = 1}^3 {\left( {{x_i} - E\left( X \right)} \right)} ^2} \cdot P\left( {X = {x_i}} \right) = {\left( {3 - 4} \right)^2} \cdot 0,2 + {\left( {4 - 4} \right)^2} \cdot 0,6 + {\left( {5 - 4} \right)^2} \cdot 0,2 = 0,4 \cr} \)

Alternativ errechnet sich die Varianz unter Zuhilfenahme vom Verschiebungssatz wie folgt:

\(Var(X) = \sum\limits_{i = 3}^3 {{x_i}^2 \cdot P\left( {X = {x_i}} \right)} - {\left( {E\left( X \right)} \right)^2} = {3^2} \cdot 0,2 + {4^2} \cdot 0,6 + {5^2} \cdot 0,2 - {4^2} = 0,4\)

Illustration zur Veranschaulichung einer großen Varianz mit dem gleichen Erwartungswert:

\(\eqalign{ & {x_1} = 2;\,\,\,\,\,{x_2} = 4;\,\,\,\,\,{x_3} = 6; \cr & P\left( {{x_1}} \right) = 0,2;\,\,\,\,\,P\left( {{x_2}} \right) = 0,6;\,\,\,\,\,P\left( {{x_3}} \right) = 0,2; \cr & E(X) = \mu = \sum\limits_{i = 1}^3 {{x_i} \cdot P\left( {X = {x_i}} \right)} = 2 \cdot 0,2 + 4 \cdot 0,6 + 6 \cdot 0,2 = 4 \cr & Var(X) = {\sum\limits_{i = 1}^3 {\left( {{x_i} - E\left( X \right)} \right)} ^2} \cdot P\left( {X = {x_i}} \right) = {\left( {2 - 4} \right)^2} \cdot 0,2 + {\left( {4 - 4} \right)^2} \cdot 0,6 + {\left( {6 - 4} \right)^2} \cdot 0,2 = 1,6 \cr} \)

Alternativ errechnet sich die Varianz unter Zuhilfenahme vom Verschiebungssatz wie folgt:

\(Var(X) = \sum\limits_{i = 3}^3 {{x_i}^2 \cdot P\left( {X = {x_i}} \right)} - {\left( {E\left( X \right)} \right)^2} = {2^2} \cdot 0,2 + {4^2} \cdot 0,6 + {6^2} \cdot 0,2 - {4^2} = 1,6\)

Stetige Zufallsvariable

Man spricht von einer stetigen Zufallsvariablen, wenn die Anzahl der Ergebnisse des Zufallsexperiments unendlich,also nicht abzählbar, ist. Sie wird durch eine Dichtefunktion und/oder eine Verteilungsfunktion beschrieben.

Spezielle Verteilungen stetiger Zufallsvariabler sind

• Rechtecksverteilung
• Exponentialverteilung
• Normalverteilung
• Standardnormalverteilung

Dichtefunktion

Die Fläche unter der Dichtefunktion beschreibt (mittels Integralrechnung) die Wahrscheinlichkeit dafür, dass die stetige Zufallsvariable innerhalb vom Intervall [a, b] liegt. Umgekehrt bedeutet dies, dass in Intervallen in denen die Dichte (de-facto) Null ist auch (de-facto) keine Realisierungen von X liegen, während in Intervallen mit hoher Dichte auch eine große Anzahl an Realisierungen von X liegen.

Dichtefunktion f(x): \(P\left( {a < X \le b} \right) = \int\limits_a^b {f\left( x \right)} \,\,dx = F\left( b \right) - F\left( a \right)\) , wobei die Fläche unter der Dichtefunktion normiert ist gemäß: \(\int\limits_{ - \infty }^\infty {f\left( x \right)} \,\,{\mathop{\rm dx}\nolimits} = 1\)

Die Dichtefunktion ist für stetige Zufallsvariablen das Äquivalent zur Wahrscheinlichkeitsfunktion von diskreten Zufallsvariablen. Sie kann nur positive Werte annehmen und die gesamte Fläche unter ihrem Graph hat den Wert 1. Aus der Dichtefunktion f(x) lässt sich keine Wahrscheinlichkeit P(X) ablesen, da die Wahrscheinlichkeit dafür, dass eine stetige Zufallsvariable X einen konkreten Wert x annimmt, Null ist. Es gilt also: \(f\left( x \right) \ne P\left( {X = x} \right)\)

Zwischen der Dichtefunktion f(x) und der Verteilungsfunktion F(x) besteht folgender Zusammenhang:

\(\begin{array}{l} f\left( x \right) = F'\left( x \right)\\ F\left( X \right) = \int\limits_{ - \infty }^\infty {f(t)\,\,dt} \end{array}\)

Durch Ableiten der Verteilfunktion F erhält man die Dichtefunktion. Aus einer gegebenen Dichtefunktion f erhält man durch Integrieren die Verteilfunktion F.

Verteilungsfunktion

Die Verteilungsfunktion F(x) einer stetigen Zufallsvariablen gibt die Wahrscheinlichkeit dafür an, dass eine Zufallsvariable X einen Wert der kleiner oder gleich x annimmt. Sie entspricht der Fläche unter der Dichtefunktion f(t), die sich bis zum Wert x kumuliert hat.

\(F(X) = \int\limits_{ - \infty }^\infty {f\left( t \right)} \,\,dt\)

Weil bei stetigen Zufallsvariablen die Wahrscheinlichkeit für jeden einzelnen Wert Null ist, gemäß \(P(X = x) = 0\) ist es egal, ob die Intervallgrenze zum Intervall gezählt wird [a, b], oder ob nicht (a, b):

\(P\left( {a \le X \le b} \right) = P\left( {a < X \le b} \right) = P\left( {a \le X < b} \right) = P\left( {a < X < b} \right) = F(b) - F(a)\)

Erwartungswert

Der Erwartungswert E(X) einer stetigen Zufallsvariable X gibt an, welchen Wert die Zufallsvariable X im Mittel bei einer unbegrenzten Wiederholung annimmt. Gegenüber dem Erwartungswert einer diskreten Verteilung ersetzt man bei der stetigen Verteilung die Summe durch das Integral und die Wahrscheinlichkeit P(X=x_i) durch die Dichtefunktion f(x).

\(E(X) = \mu = \int\limits_{ - \infty }^\infty {x \cdot f\left( x \right)} \,\,dx\)

Varianz

Die Varianz einer stetigen Zufallsvariablen ist die mittlere quadratische Abweichung der Zufallsvariablen von ihrem Erwartungswert und somit ein Streumaß der beschreibenden Statistik.

\({\sigma _x}^2 = Var\left( X \right) = E{\left( {X - {\mu _x}} \right)^2} = \int\limits_{ - \infty }^\infty {{{\left( {x - {\mu _x}} \right)}^2}} \cdot f\left( x \right)\,\,dx\)

Verschiebungssatz

Der Verschiebungssatz für stetige Zufallsvariablen kann den Rechenaufwand für die Berechnung der Varianz verringern.

• Der 1. Term ist das einfacher zu rechnende Integral von X² , also dem Erwartungswert von X²
• Der 2. Term ist ganz simpel das Quadrat vom Erwartungswert von X

\({\sigma _x}^2 = Var(X) = E{\left( X \right)^2} - {\left( {E\left( X \right)} \right)^2} = \left( {\int\limits_{ - \infty }^\infty {{x^2} \cdot f\left( x \right)\,\,dx} } \right) - {\left( {E\left( X \right)} \right)^2}\)

Standardabweichung

Die Varianz einer stetigen Zufallsvariablen hat den Nachteil, als Einheit das Quadrat der Einheit der zugrunde liegenden Zufallsvariablen zu haben. Das ist bei der Standardabweichung (auf Grund der Quadratwurzel) und beim Erwartungswert nicht der Fall.
\({\sigma _x} = \sqrt {Var\left( X \right)} \)

Physikalische Analogie für den Erwartungswert und für die Varianz:

• Physikalisch entspricht der Erwartungswert dem Schwerpunkt. Man muss sich dabei die Massen R(X=x_i) an den Positionen x_i entlang vom Zahlenstrahl x plaziert vorstellen.
• Physikalisch entspricht die Varianz dem Trägheitsmoment, wenn man den oben beschriebenen Zahlenstrahl um eine Achse dreht, die senkrecht auf den Zahlenstrahl steht und die durch den Schwerpunkt verläuft

Streuung

Unter Streuung versteht man die Verteilung der einzelnen Werte um den Mittelwert. Eine schwache Streuung bedeutet, dass die Werte dicht beim Mittelwert liegen, während eine starke Streuung bedeutet, dass die Werte entfernt vom Mittelwert liegen.

Beispiel:
Die Werte 100, 200 und 300 haben einen Mittelwert von 200. Die Werte 199, 200 und 201 haben ebenfalls den Mittelwert 200, sie sind streuen aber erheblich weniger.

Streumaße

Streumaße geben Auskunft über die Breite der Verteilung, also zur Variabilität der Werte. Streumaße messen die Streuung.

Streudiagramme

Streudiagramme bilden paarweise verknüpfte Datensätze (X, Y) in Form einer zweidimensionalen Punktwolke ab.

Spannweite

Die Spannweite R (engl. range) ist die Differenz zwischen dem größten und dem kleinsten Wert der geordneten Datenreihe. Sie beinhaltet lediglich eine Aussage bezüglich der beiden Extremwerte, erlaubt aber keine Aussage bezüglich der Struktur der Einzelwertverteilung zwischen den beiden Extremwerten.

\(R = {x_{{\text{max}}}} - {x_{{\text{min}}}}\)

Mittlere lineare Abweichung

Der mittleren linearen Abweichung liegt der Abstand von jedem einzelnen Wert x_i zum arithmetischen Mittelwert \(\overline x\) zugrunde.

\(e = \dfrac{{\left| {{x_1} - \overline x } \right| + \left| {{x_2} - \overline x } \right| + ...\left| {{x_n} - \overline x } \right|}}{n} = \dfrac{1}{n}\sum\limits_{i = 1}^n {\left| {{x_i} - \overline x } \right|}\)

Varianz einer Grundgesamtheit

Die Varianz \({\sigma ^2} = Var\left( X \right)\) dient der Beschreibung der Wahrscheinlichkeitsverteilung einer Grundgesamtheit und ist ein Streumaß der beschreibenden Statistik. Die Varianz ist ein Maß für die quadrierte durchschnittliche Entfernung aller Messwerte vom arithmetischen Mittelwert \({\overline x }\) bzw. vom Erwartungswert \(\mu \). 

Der Varianz liegt der quadrierte Abstand jedes einzelnen Werts x_i zum arithmetischen Mittelwert \(\overline x \) bzw. dem Erwartungswert \(\mu \) zugrunde. Die Varianz hat daher eine andere Einheit als die Messwerte, nämlich deren Quadrat. Diese "Unschönheit" löst man auf, indem man mit der Standardabweichung arbeitet, welche die Quadratwurzel aus der Varianz ist.

\(\eqalign{
& {\sigma ^2} = Var\left( X \right) = \dfrac{{{{\left( {{x_1} - \overline x } \right)}^2} + {{\left( {{x_2} - \overline x } \right)}^2} + ... + {{\left( {{x_n} - \overline x } \right)}^2}}}{n} \cr
& {\sigma ^2} = \dfrac{1}{n} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \mu } \right)}^2}} = \dfrac{1}{n} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}} \cr} \)

Varianz vs. empirische Varianz

Das Wort "empirisch" weist darauf hin, dass Daten einer Stichprobe analysiert werden, die aus der Beobachtung eines Prozesses gewonnen wurden. 

Merke:
Um auszudrücken, dass es sich um eine Stichprobe und nicht um die Grundgesamtheit handelt, ersetzen wir \(\sigma \to s\)

Merke:
Bei bekannter Grundgesamtheit kommt \(\dfrac{1}{n}\), bei Stichproben kommt grundsätzlich \(\dfrac{1}{{n - 1}}\) zur Anwendung!

"unkorrigierte" Varianz einer Stichprobe

Bei der unkorrigierten Stichprobenvarianz wird die Summe der quadrierten Abweichungen durch die Anzahl der erhobenen Merkmalsausprägungen n dividiert. Wir kennen den Erwartungswert \(\mu \) der Grundgesamtheit nicht und verwenden daher den arithmetischen Mittelwert \(\overline x \) der Stichprobe! Um auszudrücken, dass es sich um eine Stichprobe und nicht um die Grundgesamtheit handelt, ersetzen wir \(\sigma \to s\)

\({s_n}^2 = \dfrac{1}{n} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}} \)

Die unkorrigierte Varianz ist ein verzerrter Schätzer für die Varianz der Grundgesamtheit. Sie unterschätzt systematisch die wahre Varianz, insbesondere bei kleinen Stichproben, denn in der Regel ist die Streuung innerhalb einer Stichprobe etwas geringer als in der gesamten Population, da extreme Werte oft nicht in der Stichprobe enthalten sind.

„korrigierte“ Varianz einer Stichprobe, gemäß der Bessel-Korrektur

Die Bessel-Korrektur ist eine statistische Anpassung, die angewendet wird, um eine verzerrte Schätzung der Stichprobenvarianz zu korrigieren. Sie wird verwendet, weil die unkorrigierte Stichprobenvarianz dazu neigt, die wahre Varianz der Grundgesamtheit zu unterschätzen. Das ist vor allem bei kleinen Stichproben der Fall. Die Bessel-Korrektur besteht darin, den Nenner von n auf (n - 1) zu ändern, wodurch die Varianz größer wird:

\({s_{n - 1}}^2 = \dfrac{1}{{n - 1}} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}} \)

Beispiel 

Stichprobe:  2, 4, 6  somit n=3

Empirischer Mittelwert = Mittelwert der Stichprobe: 
\(\overline x = \dfrac{{2 + 4 + 6}}{3} = \dfrac{{12}}{3} = 4\)

Unkorrigierte Varianz der Stichprobe:
\({s_n}^2 = \dfrac{{{{\left( {2 - 4} \right)}^2} + {{\left( {4 - 4} \right)}^2} + {{\left( {6 - 4} \right)}^2}}}{3} = \dfrac{{{{\left( { - 2} \right)}^2} + {{\left( 0 \right)}^2} + {{\left( 2 \right)}^2}}}{3} = \dfrac{8}{3} \approx 2,67\)

Korrigierte Varianz der Stichprobe, gemäß Bessel-Korrektur

\({s_{n - 1}}^2 = \dfrac{{{{\left( {2 - 4} \right)}^2} + {{\left( {4 - 4} \right)}^2} + {{\left( {6 - 4} \right)}^2}}}{{3 - 1}} = \dfrac{{{{\left( { - 2} \right)}^2} + {{\left( 0 \right)}^2} + {{\left( 2 \right)}^2}}}{2} = \dfrac{8}{2} = 4\)

Varianz \(\sigma ^2\) einer diskreten Zufallsvariablen X mit den Werten x₁, x₂, ..., x_k berechnen

\({\sigma ^2} = Var\left( X \right) = E{\left( {X - E\left( X \right)} \right)^2} = E\left( {{X^2}} \right) - {\left( {E\left( X \right)} \right)^2}\)

• Von jedem Wert x_i der Zufallsvariablen X wird der Erwartungswert \(E\left( X \right) = \mu \) abgezogen.
• Diese Differenz wird quadriert
• Davon bildet man erneut den Erwartungswert, um so die Varianz zu erhalten.

\({\sigma ^2} = V\left( X \right) = Var\left( X \right) = {\sum\limits_{i = 1}^k {\left( {{x_i} - \mu } \right)} ^2} \cdot P\left( {X = {x_i}} \right) = {\sum\limits_{i = 1}^k {\left( {{x_i} - E\left( X \right)} \right)} ^2} \cdot P\left( {X = {x_i}} \right)\)

• Es wird jeweils vom Wert x_i der diskreten Zufallsvariablen X der Erwartungswert E(X) abgezogen.
• Diese Differenz quadriert man und anschließend multipliziert man noch mit der Wahrscheinlichkeit P(X = x_i).
• So verfährt man mit jedem Wert x_i und summiert letztlich die einzelnen Ergebnisse auf, um so die Varianz zu erhalten.

Standardabweichung

Die Standardabweichung ist ein Maß für die durchschnittliche Entfernung aller Messwerte vom arithmetischen Mittelwert. Je stärker die Werte um den arithmetischen Mittelwert streuen um so höher ist die Standardabweichung. Die Standardabweichung einer Stichprobe ist umso größer, je kleiner der Stichprobenumfang ist. Der Graph der Dichtefunktion ist umso breiter und verläuft umso flacher, je kleiner die Stichprobe ist. 

• \(\sigma\) ist die übliche Bezeichnung, wenn es sich um die Standardabweichung der Grundgesamtheit handelt.
• s ist die übliche Bezeichnung, wenn die Standardabweichung aus einer Stichprobe ermittelt wurde.

Beispiel: 10 Personen werden gefragt, wie viel sie für einen Sommerurlaub ausgeben. Der Mittelwert der 10 Ausgaben liegt bei 2.000€, die Standardabweichung liegt bei 200 €. Das bedeutet dass die durchschnittliche Entfernung aller Antworten vom Mittelwert 200 € beträgt.

Unterschied Standardabweichung und Varianz

• Die Standardabweichung ist ein Maß für die durchschnittliche, während die Varianz ein Maß für das Quadrat der durchschnittlichen Entfernung aller Messwerte vom arithmetischen Mittelwert ist.
• Der Vorteil der Standardabweichung gegenüber der Varianz ist, dass nicht Quadrate der Einheiten (z.B. Euro²) sondern die eigentlichen Einheiten der gemessenen Werte (z.B. Euro) verwendet werden.
• Die Standardabweichung ist die Wurzel aus der Varianz. Standardabweichung und Varianz sind direkt proportional zu einander.

Auswirkung von "Ausreißern"

Standardabweichung einer Vollerhebung berechnen

Standardabweichung einer Vollerhebung berechnen, bei der man den wahren Mittelwert kennt → \(\dfrac{1}{n}\)

Die (empirische) Standardabweichung ist ein Maß dafür, wie weit im Durchschnitt die einzelnen Messwerte vom Erwartungswert entfernt liegen, d.h. wie weit die einzelnen Messwerte um den Erwartungswert streuen. Je kleiner die Standardabweichung ist, um so besser repräsentiert der Erwartungswert die einzelnen Messwerte.

• Betrachten wir einen extremen Fall: Sind alle einzelnen Messwerte gleich, dann ist die Standardabweichung null, weil dann alle Messwerte zu ihrem Erwartungswert gleich sind.
• Die Standardabweichung ist immer größer gleich Null.

\(\eqalign{ & \sigma = \sqrt {{\sigma ^2}} = \sqrt {\dfrac{{{{\left( {{x_1} - \overline x } \right)}^2} + {{\left( {{x_2} - \overline x } \right)}^2} + ...{{\left( {{x_n} - \overline x } \right)}^2}}}{n}} \cr & \sigma = \sqrt {\dfrac{1}{n} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}\,\,} } \cr}\)

\(\sigma = \sqrt {Var\left( X \right)} \)

Korrigierte Standardabweichung einer Stichprobe berechnen

Die Stichprobenstandardabweichung ist umso größer, je kleiner der Stichprobenumfang n ist. Der Graph der Dichtefunktion ist umso breiter und verläuft umso flacher, je kleiner die Stichprobe ist. Die Standardabweichung der Stichprobe entspricht dem Abstand der Wendepunkte vom Graph der Dichtefunktion bis zum Erwartungswert der Stichprobe.

Standardabweichung einer Stichprobe vom Umfang n berechnen, bei der man den wahren Mittelwert nicht kennt → \(\dfrac{1}{{n - 1}}\)

\({s} = \sqrt {\dfrac{1}{{n - 1}} \cdot \sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}\,\,} } \)

Standardabweichung einer Stichprobe vom Umfang n berechnen, bei gegebener absoluter Häufigkeit n₁, .., n_k → \(\dfrac{1}{{n - 1}}\)

\(s = \sqrt {\dfrac{1}{{n - 1}} \cdot \sum\limits_{i = 1}^k {{n_k} \cdot {{\left( {{x_i} - \overline x } \right)}^2}} } \)

Standardabweichung einer Stichprobe vom Umfang n berechnen, bei gegebener relativer Häufigkeit h₁,..., h_k → \(\dfrac{1}{{n - 1}}\)

\(s = \sqrt {\dfrac{n}{{n - 1}} \cdot \sum\limits_{i = 1}^k {{h_k} \cdot {{\left( {{x_i} - \overline x } \right)}^2}} } \)

Standardfehler bzw. Stichprobenfehler

Der Standardfehler (SEM = Standard Error of the Mean) ist ein Maß dafür, inwieweit die Standardabweichung einer Stichprobe s von der Standardabweichung der Grundgesamtheit σ abweicht. Wenn die Standardabweichung der Grundgesamtheit σ und die Stichprobengröße n  bekannt sind, gilt:

\(SEM = {\sigma _S} = \dfrac{\sigma }{{\sqrt n }}\)

Je größer die Stichprobe, die ja im Nenner steht, umso kleiner der Standardfehler. 

Beispiel:

Standardfehler SEM einer kleinen Stichprobe:

\(\eqalign{
& \sigma = 4,5{\text{ml}} \cr
& n = 10 \cr
& SEM = \frac{\sigma }{{\sqrt n }} = \frac{{4,5}}{{\sqrt {10} }} \approx 1,423{\text{ml}} \cr} \)

Standardfehler SEM einer großen Stichprobe:

\(\eqalign{
& \sigma = 4,5{\text{ml}} \cr
& n = 100 \cr
& SEM = \frac{\sigma }{{\sqrt n }} = \frac{{4,5}}{{\sqrt {100} }} = \frac{{4,5}}{{10}} \approx 0,45{\text{ml}} \cr} \)

Wir sehen: Der Standardfehler einer Stichprobe ist umso größer, je kleiner der Stichprobenumfang n ist.
\(n = 10 \to {\sigma _S} = 1,423{\text{ml}} > 0,45{\text{ml = }}{\sigma _s} \leftarrow n = 100\)

Unterschied Standardabweichung und Standardfehler

• Die Standardabweichung ist ein Maß für die durchschnittliche Entfernung aller Messwerte vom arithmetischen Mittelwert. Sie beeinflusst Breite und Höhe vom Graph der Dichtefunktion
• Der Standardfehler ist ein Maß für mittlere Abweichung des Mittelwerts einer Stichprobe zum Mittelwert der realen Grundgesamtheit.

Kovarianz - Korrelation - Scheinkorrelation - Regression

Kovarianz

Die Kovarianz ist ein dimensionsloses Maß für die Stärke vom linearen Zusammenhang zweier Datensätze x₁, x₂, … , x_n bzw. y₁, y₂, … y_n , deren Merkmale metrisch und stetig sind.

Korrelation

Korrelation beschreibt eine statistische Beziehung zwischen zwei Variablen, bei der Veränderungen in einer Variable mit Veränderungen in der zweiten Variable zusammen auftreten. Wenn zwei Variablen korrelieren, bedeutet dies, dass eine Veränderung in einer Variable mit einer Veränderung in der anderen Variable einhergeht (=korreliert). Im Unterschied zur Kovarianz ist bei der Korrelation eine Standardisierung erfolgt, was Vergleiche erlaubt. Die Korrelation bzw. der Korrelationskoeffizient r ist ein Maß für die lineare Abhängigkeit von 2 Datensätzen. Der Korrelationskoeffizient besitzt Werte zwischen -1 bis +1.

• r=-1: Es besteht ein gegenläufiger Zusammenhang. Eine Größe nimmt zu, die andere Größe nimmt ab
• r=0: Es besteht kein linearer Zusammenhang
• r=+1: Es besteht ein gleichläufiger Zusammenhang. Wenn eine Größe zunimmt, nimmt auch die andere Größe im selben Ausmaß zu
   

Ob ein Korrelationskoeffizient ab 0,5 oder erst ab 0,9 als "hoch" einzuschätzen ist, hängt von der jeweiligen Fragestellung ab. Man kann von Änderungen eines Datensatzes, gemäß dem Korrelationskoeffizient r nach Pearson Vorhersagen über die Änderung des anderen Datensatzes treffen und vice versa, ohne dass es eine Kausalbeziehung zwischen den Datensätzen gibt. Achtung: Korrelation impliziert keinen kausalen Zusammenhang zwischen den Datensätzen.

Scheinkorrelation

Von einer Scheinkorrelation spricht man, wenn es zwischen zwei Datensätzen zwar eine Korrelation gibt, diese aber auf keinen Ursache-Wirkungs Zusammenhang zurückgeführt werden kann. Korrelation bedeutet nämlich nicht zwangsläufig, dass eine Variable die Ursache für die Veränderung der anderen Variable ist. 

Die Problematik bezüglich der Scheinkorrelation soll an Anhand eines Beispiels veranschaulicht werden: Seit Jahrzehnten sinkt die Anzahl an Störchen und die Anzahl an Geburten im Burgenland. D.h. die beiden Datensätze (Störche, Geburten) entwickeln sich in dieselbe Richtung und sind korreliert und man kann auch einen Korrelationskoeffizienten r > 0 berechnen. Dennoch gibt es keine Kausalität (kein Ursache- Wirkungsprinzip, kein Zusammenhang) zwischen den Datensätzen und es wäre daher falsch, auf Auswirkungen von einem Datensatz (Anzahl Störche) auf den anderen Datensatz (Anzahl Geburten) zu schließen.

Wenn eine Variable oder ein Ereignis eine Veränderung in einer anderen Variable oder einem anderen Ereignis verursacht, spricht man von Kausalität. Wenn man also berechtigt von einem Datensatz auf einen anderen korrelierten Datensatz schließen will, muss man zusätzlich die Kausalität, etwa durch ein Experiment oder einer Regressionsanalyse nachweisen, um eine allfällige Scheinkorrelation auf Grund einer tatsächlich bestehenden Korrelation ohne kausalem Zusammenhang ausschließen zu können!

Regression

Die Regression geht über die Korrelation hinaus uns setzt einen Ursache Wirkungszusammenhang (Kausalität) voraus. Daher gibt es eine unabhängige Variable (X, Regressor, Ursache) und eine abhängige Variable (Y, Regressand, Wirkung).

Lineare Regression

Ziel der linearen Regression ist es eine abhängige Variable (Y, Regressand) aus einer unabhängigen Variable (X, Regressor) mittels einer linearen Funktion, der Regressionsgeraden zu berechnen, um aus dem bekannten Zustand von X Vorhersagen für den unbekannten Zustand von Y treffen zu können. Dazu sollen die Abweichungsquadrate der beobachteten Werte zur Regressionsgeraden (Gerade = linearer Zusammenhang) minimiert werden. Alle Punkte eines Streudiagramms (nicht einzelne ! Punkte) haben den minimalen Abstand zur Regressionsgeraden.

Kovarianz

Die Kovarianz ist ein dimensionsbehaftetes Maß für die Stärke vom linearen Zusammenhang zweier metrischer Datensätze x₁, x₂, … , x_n bzw. y₁, y₂, … y_n.

\(Cov\left( {x,y} \right) = \dfrac{{\sum\limits_{i = 1}^N {\left( {{x_i} - \overline x } \right) \cdot \left( {{y_i} - \overline y } \right)} }}{{N - 1}}\)

Die Kovarianz ist leider anfällig gegenüber Ausreißer, nicht standardisiert und daher für Vergleiche ungeeignet. Standardisiert man die Kovarianz, erhält man die Korrelation.

\(Cov\left( {X,Y} \right) = 0\) ⇒ X und Y sind unkorreliert. D.h. aber nicht, dass sie auch unabhängig sein müssen.

Korrelationsanalyse

Mit einer Korrelationsanalyse werden Maßzahlen errechnet, um die Stärke eines linearen Zusammenhangs zweier Datensätze, deren Merkmale metrisch und stetig sind, zu quantifizieren. Beispiele für solch eine Maßzahl sind

• die Kovarianz
• der Korrelationskoeffizient r nach Pearson

Korrelationskoeffizient nach Pearson

Die Korrelation ist ein Maß für den linearen Zusammenhang zwischen zwei Datensätzen (Variablen). Der Korrelationskoeffizient nach Pearson ist eine von mehreren Möglichkeiten diesen Zusammenhang zu quantifizieren.

• Für einen Wert nahe bei +/- 1 besteht ein hoher linearer Zusammenhang
• Für einen Wert nahe bei 0 besteht kein linearer Zusammenhang
• Dessen ungeachtet kann aber ein nicht-linearer Zusammenhang bestehen
   

\(r(x,y) = \rho \left( {x,y} \right) = \dfrac{{Cov\left( {x,y} \right)}}{{\sqrt {Var\left( x \right) \cdot Var\left( y \right)} }} = \dfrac{{Cov\left( {x,y} \right)}}{{\sigma \left( x \right) \cdot \sigma \left( y \right)}}\)

Für den Korrelationskoeffizient r nach Pearson, dessen Wert zwischen -1 und 1 liegt gilt:

• Bei positiver Kovarianz / Korrelation r > 0 ändern sich die beiden Datensätze in dieselbe Richtung.
• Bei negativer Kovarianz / Korrelation r < 0 steigt ein Datensatz an während der andere Datensatz abnimmt.
• Bei einer Kovarianz / Korrelation r = 0 sind die beiden Datensätze unabhängig / unkorreliert voneinander.

Regressionsanalyse

Eine Regressionsanalyse geht über die Korrelationsanalyse hinaus (!) indem sie einen Ursache-Wirkungszusammenhang beschreibt. Ihr Ziel ist es einen mathematischen Zusammenhang zwischen unabhängigen und abhängigen Variablen herzustellen. Ist dieser Zusammenhang linear, so spricht man von einer Regressionsgeraden, andernfalls von einer Regressionsfunktion. 

Regressionsgerade

Die Regressionsgerade stellt einen linearen Zusammenhang zwischen einer unabhängigen Variabel und einer abhängigen Variablen die vorhergesagt werden soll her. Die Regressionsgerade ist die bestmögliche Gerade, die man in einem Streudiagramm durch alle Daten legen kann, sodass alle Datenpunkte von der Geraden in Summe den kleinsten Abstand haben.

\(\eqalign{ & {\text{f}}\left( x \right){\text{ = y = k}} \cdot {\text{x + d}} \cr & k = \dfrac{{\sum\limits_{i = 1}^n {\left( {{x_i} - \overline x } \right) \cdot \left( {{y_i} - \overline y } \right)} }}{{\sum\limits_{i = 1}^n {{{\left( {{x_i} - \overline x } \right)}^2}} }} = {r_{xy}} \cdot \dfrac{{{s_y}}}{{{s_x}}} \cr & d = \overline y - b \cdot \overline x \cr}\)