Statistische Fehler und Residuen treten auf, weil die Messung nie exakt ist.

Es ist nicht möglich, eine genaue Messung durchzuführen, aber es ist möglich zu sagen, wie genau eine Messung ist. Man kann die gleiche Sache immer wieder messen und alle Daten zusammen sammeln. Das erlaubt uns, Statistiken über die Daten zu erstellen. Was mit Fehlern und Residuen gemeint ist, ist die Differenz zwischen dem beobachteten oder gemessenen Wert und dem tatsächlichen Wert, der unbekannt ist.

Wenn es nur eine Zufallsvariable gibt, ist die Differenz zwischen statistischen Fehlern und Residuen die Differenz zwischen dem Mittelwert der Grundgesamtheit und dem Mittelwert der (beobachteten) Stichprobe. In diesem Fall ist das Residuum die Differenz zwischen dem, was die Wahrscheinlichkeitsverteilung sagt, und dem, was tatsächlich gemessen wurde.

Angenommen, es gibt ein Experiment zur Messung der Körpergröße von 21-jährigen Männern aus einem bestimmten Gebiet. Der Mittelwert der Verteilung beträgt 1,75 m. Wenn ein zufällig ausgewählter Mann 1,80 m gross ist, beträgt der "(statistische) Fehler" 0,05 m (5 cm); wenn er 1,70 gross ist, beträgt der Fehler -5 cm.

Ein Residuum (oder Anpassungsfehler) hingegen ist eine beobachtbare Schätzung des nicht beobachtbaren statistischen Fehlers. Im einfachsten Fall handelt es sich um eine Zufallsstichprobe von n Männern, deren Körpergröße gemessen wird. Der Stichprobenmittelwert wird als Schätzung des Populationsmittelwerts verwendet. Dann haben wir:

  • Die Differenz zwischen der Körpergröße jedes Mannes in der Stichprobe und dem nicht beobachtbaren Bevölkerungsdurchschnitt ist ein statistischer Fehler, und
  • Die Differenz zwischen der Körpergröße jedes Mannes in der Probe und dem beobachtbaren Mittelwert der Probe ist ein Residuum.

Die Summe der Residuen innerhalb einer Zufallsstichprobe muss Null sein. Die Residuen sind also nicht unabhängig. Die Summe der statistischen Fehler innerhalb einer Zufallsstichprobe muss nicht Null sein; die statistischen Fehler sind unabhängige Zufallsvariablen, wenn die Individuen unabhängig aus der Grundgesamtheit ausgewählt werden.

Zusammengefasst: