Spektren normieren und vergleichen

Das Laborkalibrations-Dilemma

Im Labor kalibriert man unter kontrollierten Bedingungen: Die Probe ist homogen, die Küvette sauber, die Temperatur konstant, die Lichtquelle eingeschwungen. Das Modell lernt präzise Zusammenhänge zwischen Spektrum und Zielgröße. Dann geht dasselbe Modell in den Prozess - und die Vorhersagen weichen plötzlich ab. Unter Produktionsbedingungen sind diese Umgebungsvariablen einfach schwerer zu kontrollieren, auch wenn das Modell auf dem Tischaufbau noch so gut funktioniert hat. Das Prozess‑Spektrometer misst zwangsläufig bei schwankender Temperatur, etwa weil die Mittagssonne durch das Fenster scheint, mit inhomogenem Probenmaterial, weil am Band niemand fein säuberlich die Oberfläche glatt streicht usw. Und selbst, wenn zwar das gleiche Spektrometer-Modell wie im Labor genutzt wird, ist das nicht dieselbe Einheit wie im Prozess. Zwei Geräte desselben Typs haben leicht unterschiedliche Detektoren, Lampen und Optiken - ihre Spektren zeigen trotz Gerätekalibration einen ganz leichten systematischen Offset und unterschiedliche Amplituden, selbst bei identischer Probe.

Normierung schließt diese Kluft. Sie entfernt die nicht‑chemischen Unterschiede zwischen den Geräten und macht die spektrale Form vergleichbar - genau die Information, die das chemometrische Modell im Labor gelernt hat und im Prozess wiedererkennen soll.

Drei häufig genutzte Verfahren dafür werden hier mit ihren jeweiligen Möglichkeiten und Grenzen vorgestellt.

Min‑Max‑Normalisierung: Der feste Rahmen

Die einfachste Normierungsmethode skaliert jedes Spektrum so, dass sein Minimum auf 0 und sein Maximum auf 1 gesetzt wird:

\(X_{\text{norm}} = \frac{X - \min(X)}{\max(X) - \min(X)}\)

Jedes Spektrum wird unabhängig normiert; Referenz ist ausschließlich das Spektrum selbst. In Python:

import numpy as np

def minmax_normalize(spectrum):
    spec_min = np.min(spectrum)
    spec_max = np.max(spectrum)
    return (spectrum - spec_min) / (spec_max - spec_min)

Gerätetransfer: Bei zwei Einheiten desselben Spektrometertyps funktioniert Min‑Max, solange beide Geräte einen ähnlichen Dynamikbereich aufspannen. Die Methode setzt voraus, dass das Minimum und Maximum jedes Spektrums durch dieselben spektralen Merkmale bestimmt werden. Das ist bei baugleichen Geräten erfüllt. Wenn jedoch eine Einheit eine gealterte Lampe nutzt, die im unteren Wellenlängenbereich schwächer strahlt, verschiebt sich die Skalierung asymmetrisch, und die normierten Spektren passen nicht mehr übereinander.

UV‑ vs. NIR‑Einsatz: In der NIR‑Spektroskopie ist Min‑Max ein gängiges Verfahren, vor allem als Vorbereitung für neuronale Netze, die Eingabewerte im Intervall \([0, 1]\) erwarten. In der UV‑Spektrometrie ist Min‑Max mit Vorsicht einzusetzen, weil die absolute Absorptionshöhe konzentrationsproportional ist - nach der Normierung ist diese direkte Proportionalität verloren. Für quantitative UV‑Analysen ist das Verfahren daher ungeeignet, für qualitative Vergleiche aber nutzbar.

Ein gravierender Nachteil der Min‑Max‑Normalisierung ist ihre extreme Empfindlichkeit gegenüber Ausreißern. Ein einziger Spikepunkt im Prozessspektrum - etwa durch eine Luftblase oder ein Staubkorn - wird zum neuen Maximum. Das gesamte Spektrum wird daraufhin in einen winzigen Wertebereich gestaucht und ist unbrauchbar.

Mean‑Centering: Der Offset‑Killer

Beim Mean‑Centering wird von jedem Spektrum sein eigener Mittelwert abgezogen. Das Ergebnis hat den Mittelwert null; die spektrale Form bleibt vollständig erhalten:

\(X_{\text{centered}} = X - \bar{X}\)

def mean_center(spectrum):
    return spectrum - np.mean(spectrum)

Gerätetransfer: Mean‑Centering ist das ideale Verfahren, wenn zwei Einheiten desselben Spektrometertyps sich vor allem durch einen konstanten Basislinien‑Versatz unterscheiden - genau das, was durch Fertigungstoleranzen bei Optik und Detektor entsteht. Ein konstanter Offset (z.B. +0,05 Absorptionseinheiten auf allen Wellenlängen) verschwindet vollständig. Die Form, und damit die chemische Information, bleibt unberührt.

UV‑ vs. NIR‑Einsatz: Mean‑Centering ist in beiden Bereichen uneingeschränkt einsetzbar. In NIR ist es der erste Schritt nahezu jeder Vorverarbeitungspipeline. In UV bringt es den zusätzlichen Vorteil, dass der zentrierte Wert zwar nicht mehr direkt \(A\) ist, aber die relativen Absorptionsunterschiede und damit die Proportionalität zur Konzentration indirekt erhalten bleiben - das Spektrum ist lediglich verschoben, nicht verzerrt.

Das Verfahren ist robust, weil es keinen einzelnen Extremwert verwendet, sondern den Mittelwert aller Messpunkte. Ausreißer haben nur begrenzten Einfluss.

Vektor‑Normalisierung: Die reine Form

Die Vektor‑Normalisierung betrachtet jedes Spektrum als Vektor im \(n\)‑dimensionalen Raum (eine Dimension pro Wellenlänge) und teilt durch dessen euklidische Länge:

\(X_{\text{norm}} = \frac{X}{\|X\|_2} = \frac{X}{\sqrt{\sum_{i=1}^{n} x_i^2}}\)

Jedes Spektrum wird zu einem Einheitsvektor. Mit sklearn:

from sklearn.preprocessing import Normalizer

normalizer = Normalizer(norm='l2')
spectra_normalized = normalizer.fit_transform(spectra)

Gerätetransfer: Die Vektor‑Norm ist das stärkste der drei Werkzeuge - sie beseitigt sowohl einen konstanten Offset als auch unterschiedliche Amplituden zwischen zwei Geräten. Nach der Normierung liegt jedes Spektrum auf derselben Einheitskugel; übrig bleibt nur die spektrale Richtung. Bei zwei Einheiten desselben Spektrometertyps ist dies fast immer ausreichend für einen erfolgreichen Kalibrationstransfer.

UV‑ vs. NIR‑Einsatz: Hier trennen sich die Wege. In der NIR‑Spektroskopie ist die Vektor‑Norm ein Standardwerkzeug, weil NIR‑Modelle selten von absoluten Amplituden abhängen; die Wellenlängenverhältnisse dominieren. In der UV‑Spektrometrie ist die Vektor‑Norm nur für qualitative Vergleiche geeignet - etwa zur Klassifikation („Handelt es sich um Substanz A oder B?"). Für quantitative Konzentrationsbestimmungen ist sie unbrauchbar, weil das Lambert‑Beer‑Gesetz \(A = \varepsilon \cdot c \cdot d\) eine direkte Proportionalität zwischen Absorptionshöhe und Konzentration voraussetzt. Wer \(A\) auf eine Einheitslänge normiert, zerstört diese Proportionalität. Die Vektor‑Norm sollte in der UV‑Quantifizierung daher nicht eingesetzt werden.

Eine Randbemerkung zur Verwechslungsgefahr: Die Vektor‑Normalisierung ähnelt konzeptionell SNV (Standard Normal Variate), einem Klassiker der NIR‑Vorverarbeitung. SNV arbeitet jedoch punktweise (zentriert und teilt durch die Standardabweichung innerhalb des Spektrums), während die Vektor‑Norm das gesamte Spektrum als Einheit betrachtet.

Die drei Verfahren im Vergleich

Die Wahl des Verfahrens hängt von drei Fragen ab. Erstens: Unterscheiden sich die Geräte nur im Basislinien‑Offset? Dann reicht Mean‑Centering. Zweitens: Unterscheiden sie sich zusätzlich in der Amplitude? Dann braucht es die Vektor‑Norm - aber nur, wenn keine UV‑Quantifizierung ansteht. Drittens: Sollen die Spektren als Input für ein neuronales Netz dienen? Dann ist Min‑Max auf \([0, 1]\) die richtige Wahl, sofern Ausreißer vorher entfernt wurden.

Fallstricke in der Praxis

Einige Fehler tauchen beim Normieren immer wieder auf:

• Normierung vor dem Daten‑Split. Die Train‑/Test‑Aufteilung muss vor jeder Normierung erfolgen. Wer zuerst normiert und dann aufteilt, lässt Information aus dem Testset in die Normierungsparameter des Trainingssets einfließen. Dieses klassische Datenleck führt dann zu überoptimistischen RMSEP‑Werten. (Mehr dazu im Artikel über Kalibrieren und Validieren.)

• Inkonsistente Normierung zwischen Labor und Prozess. Die Normierungsmethode, mit der das Modell kalibriert wurde, muss exakt dieselbe sein, die später auf die Prozessspektren angewandt wird. Ein mit Mean‑Centering kalibriertes Modell versteht keine Vektor‑normierten Prozessdaten.

• Vektor‑Norm in der UV‑Quantifizierung. Wie im vorigen Abschnitt beschrieben: Wer \(A \propto c\) durch Normierung zerstört, kann keine Konzentrationen mehr vorhersagen. Dieser Fehler passiert leicht versehentlich, wenn ein Messaufbau bisher nur das NIR-Band betrachtet hat und nun um ein UV-Gerät erweitert wird, um zusätzliche Proben-Eigenschaften zu erfassen.

Zusammenfassung

Die Übertragung einer Laborkalibration auf Prozess‑Spektrometer kann zunächst ganz schön herausfordernd wirken. Mit überlegtem Vergleich der Bedingungen an beiden Orten sind die wichtigsten Hürden aber schon überwunden. Mit einer der genannten Methoden normierte Spektren sind in den meisten Fällen ausreichend. Wer das richtige Verfahren wählt und es zwischen Labor und Prozess konsistent anwendet, macht aus einer Laborkalibration ein robustes Prozessmodell - mit zwei Einheiten desselben Spektrometers.

Spektralwerk Core: Das Inline-Spektrometer.