Warum man Varianzen addieren darf

Viele Menschen verwenden ja Regeln, die garnicht mehr hinterfragt werden. Beispielsweise dürfen Varianzen unabhängiger Zufallsvariablen direkt addiert werden, sofern die Zufallsvariablen unabhängig sind. Die Begründung für diesen Umstand weiß man dann oft nicht so genau. Daher möchte ich hier die Herleitung der Regel kurz skizzieren. Vielleicht hilft es euch, im Vorfeld zu lesen, warum man Erwartungswerte addieren und multiplizieren kann.

Wir wollen zeigen, dass

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$ .

Allgemein wird die Varianz als Erwartungswert der quadratischen Abweichung definiert:

$\displaystyle \mathrm{Var}(Z)=\mathrm{E}\Big[\big(Z-\mathrm{E}[Z]\big)^{2}\Big]$

Setzen wir $Z=X+Y$ .

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{E}\Big[\big(X+Y-\mathrm{E}[X+Y]\big)^{2}\Big]$

Wir dürfen $\mathrm{E}[X+Y]$ in $\mathrm{E}[X]+\mathrm{E}[Y]$ überführen und können die Summanden dann umsortieren:

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{E}\Big[\big(\big(X-\mathrm{E}[X]\big)+\big(Y-\mathrm{E}[Y]\big)\big)^{2}\Big]$

Nach dem Ausmultiplizieren erhalten wir u. a. zwei Summanden, die den Varianzen $\mathrm{Var}(X)$ und $\mathrm{Var}(Y)$ entsprechen. Der Erwartungswert wird anschließend in die Summe mehrer Erwartungswerte aufgebrochen.

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{E}\Big[\big(X-\mathrm{E}[X]\big)^{2}+2\big(X-\mathrm{E}[X]\big)\big(Y-\mathrm{E}[Y]\big)+\big(Y-\mathrm{E}[Y]\big)^{2}\Big]$

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{Var}\big(X\big)+\mathrm{E}\Big[2\big(X-\mathrm{E}[X]\big)\big(Y-\mathrm{E}[Y]\big)\Big]+\mathrm{Var}\big(Y\big)$

Bei den neu erhaltenen Varianzen handelt es sich um Konstanten – und der Erwartungswert einer Konstante ist die Konstante selbst. Wären $X$ und $Y$ nicht unabhängig, dann müssten wir an dieser Stelle aufhören (siehe Ende des Beitrags).

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{Var}\big(X\big)+\mathrm{Var}\big(Y\big)+\mathrm{E}\Big[2\big(X-\mathrm{E}[X]\big)\big(Y-\mathrm{E}[Y]\big)\Big]$

Nun müssen wir uns nur noch um den letzten verbleibenden Erwartungswert kümmern. Wir ziehen den Faktor 2 aus dem Erwartungswert und multiplizieren auch hier aus.

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{Var}\big(X\big)+\mathrm{Var}\big(Y\big)+2 \cdot \mathrm{E}\Big[XY+\mathrm{E}[X]\mathrm{E}[Y]-X\mathrm{E}[Y]-Y\mathrm{E}[X]\Big]$

Die Summe im Erwartungswert führt auch hier wieder dazu, dass wir den rechten Term in eine Summe aus Erwartungswerten überführen können.

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{Var}\big(X\big)+\mathrm{Var}\big(Y\big)+2\Big(\mathrm{E}\Big[XY\Big]+\mathrm{E}\Big[\mathrm{E}[X]\mathrm{E}[Y]\Big]-\mathrm{E}\Big[X\mathrm{E}[Y]\Big]-\mathrm{E}\Big[Y\mathrm{E}[X]\Big]\Big)$

Viele der so entstandenen Erwartungswerte beinhalten wiederrum Erwartungswerte. Da es sich bei den inneren Erwartungswerten um konstante Faktoren handelt, ziehen wir sie aus den umgebenden Erwartungswerten heraus. Einige Erwartungswerte entfallen hierbei ganz.

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{Var}\big(X\big)+\mathrm{Var}\big(Y\big)+2\big(\mathrm{E}[XY]+\mathrm{E}[X]\mathrm{E}[Y]-\mathrm{E}[X]\mathrm{E}[Y]-\mathrm{E}[X]\mathrm{E}[Y]\big)$

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{Var}\big(X\big)+\mathrm{Var}\big(Y\big)+2\big(\mathrm{E}[XY]-\mathrm{E}[X]\mathrm{E}[Y]\big)$

Der eigentliche Kniff ist jetzt der, $\mathrm{E}[XY]$ in $\mathrm{E}[X]\mathrm{E}[Y]$ zu überführen. Dass der Erwartungswert eines Produktes zweier Zufallsvariablen gleich dem Produkt beider Erwartungswerte ist, funktioniert nur, wenn beide Zufallsvariablen unabhängig sind. Dies ist auch der Grund, warum nur die Varianzen von unabhängigen Zufallsvariablen einfach so addiert werden dürfen.

Der rechte Term entfällt damit:

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{Var}\big(X\big)+\mathrm{Var}\big(Y\big)+2\big(\mathrm{E}[X]\mathrm{E}[Y]-\mathrm{E}[X]\mathrm{E}[Y]\big)$

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{Var}\big(X\big)+\mathrm{Var}\big(Y\big)$

That’s it!

Anmerkung zur Addition von Varianzen abhängiger Zufallsvariablen

Wie in der Mitte der Herleitung bereits erwähnt wurde, kann man sich den zweiten Teil komplett sparen, wenn die Zufallsvariablen nicht unabhängig sind. Da wir am Ende nicht von $\mathrm{E}[XY]$ zu $\mathrm{E}[X]\mathrm{E}[Y]$ kommen, wäre der Aufwand sinnlos. Stattdessen können wir den zusätzlichen Term mithilfe der Kovarianz umwidmen:

$\displaystyle \mathrm{Var}(X+Y)=\mathrm{Var}\big(X\big)+Var\big(Y\big)+\mathrm{E}\Big[2\big(X-\mathrm{E}[X]\big)\big(Y-\mathrm{E}[Y]\big)\Big]$