Filterschritt für nichtlineare Systeme

Rückwärtsinferenz: Inferenz entgegen der modellierter Abhängigkeit mit gegebenen Vorwissen

Zwei Fälle

• Konkrekter Wert für Ausgang (Messung) gegeben
• Dichte für Ausgang gegeben

Rückwärtsinferenz mit Konkrektem Messwert

Stochastische Abbildung von $a \in \mathbb{R}^N$ auf $b \in \mathbb{R}^M$

Probabilistischer Modell $f(b \mid a)$ (grafisch)

Für konkretes $\underline{\hat{b}}$, wir suchen $f(a \mid \underline{\hat{b}})$ 💪

$$ \begin{aligned} &f(\underline{a} \mid \underline{\hat{b}}) f(\underline{\hat{b}})=f(\underline{\hat{b}} \mid \underline{a}) \cdot f(\underline{a}) \\ &\Rightarrow \underbrace{ f(\underline{a} \mid \underline{\hat{b}})}_{\text{Posteriror}}=\underbrace{\frac{1}{f(\underline{\hat{b}})}}_{\text{Normalizationskonstant}} \cdot \underbrace{f(\underline{\hat{b}} \mid \underline{a})}_{\text{Likelihood}} \cdot \underbrace{f(\underline{a})}_{\text{Vorwissen}} \end{aligned} $$

Für Messmodell

• Likelihood: $f(\underline{\hat{y}} \mid \underline{x})$, wobei $\underline{\hat{y}}$ die Messung ist
• $f^p(\underline{x})$: Gegebene priore Verteilung (also die Prädiktion) für Zustand

$\Rightarrow$ Posteriore Verteilung:

$$ f^e(\underline{x}) = f(\underline{x} \mid \underline{\hat{y}}) \propto f(\underline{\hat{y}} \mid \underline{x}) \cdot f^p(\underline{x}) $$

Rückwärtsinferenz mit Dichte

Spezialfall: Additives Rauschen

$$ \underline{y} = \underline{g}(\underline{x}) + \underline{v} = \underline{t} + \underline{v} $$

Generative Modell

Gegeben

• Vorwissen über Zustand $\underline{x}$ in Form von $f_x(\underline{x})$
• Messung $\underline{\hat{y}}$
• Charakteristik der Messrauschen $\underline{v}$ durch $f_v(\underline{v})$

Gesucht: $f(\underline{x} \mid \underline{\hat{y}})$

Probabilistisches Modell: Faktorisierung Beschreibung der Vebundsdichte

$$ \begin{aligned} f(\underline{t}, \underline{v}, \underline{x}, \underline{y}) &= f(\underline{y} \mid \underline{t}, \underline{v}, \underline{x}) \cdot f(\underline{t}, \underline{v}, \underline{x}) \quad | \quad \underline{y}, \underline{x} \text{ sind unab.} \\\\ &= f(\underline{y} \mid \underline{t}, \underline{v}) \cdot f(\underline{t} \mid \underline{v}, \underline{x}) \cdot f(\underline{v}, \underline{x}) \quad | \quad \underline{v}, \underline{t} \text{ sind unab.} \\\\ &= f(\underline{y} \mid \underline{t}, \underline{v}) \cdot f(\underline{t} \mid \underline{x}) \cdot f(\underline{v}, \underline{x}) \quad | \quad \underline{v}, \underline{x} \text{ sind unab.}\\\\ &= \delta(\underline{y} - \underline{t} - \underline{v}) \cdot \delta(\underline{t} - \underline{g}(\underline{x})) \cdot f_v(\underline{v}) \cdot f_x(\underline{x}) \end{aligned} $$

Grafisches Modell

Betrachtung 1: Direkt Marginalisierung

$$ \begin{aligned} f(\underline{x} \mid \underline{\hat{y}}) &= \frac{f(\underline{x}, \underline{\hat{y}})}{f(\underline{\hat{y}})} \\ &= \frac{1}{f(\underline{\hat{y}})} \int_{\mathbb{R}^M} \int_{\mathbb{R}^M} f(\underline{t}, \underline{v}, \underline{x}, \underline{\hat{y}}) d\underline{v} d\underline{t} \\ &= \frac{1}{f(\underline{\hat{y}})} \int_{\mathbb{R}^M} \int_{\mathbb{R}^M} \delta(\underline{\hat{y}} - \underline{t} - \underline{v}) \cdot \delta(\underline{t} - \underline{g}(\underline{x})) \cdot f_v(\underline{v}) \cdot f_x(\underline{x}) d\underline{v} d\underline{t} \\ &= \frac{1}{f(\underline{\hat{y}})} f_x(\underline{x}) \int_{\mathbb{R}^M} \delta(\underline{t} - \underline{g}(\underline{x})) f_v(\underline{\hat{y}} - \underline{t}) d\underline{t} \\ &= \frac{1}{f(\underline{\hat{y}})} f_x(\underline{x})f_v(\underline{\hat{y}} - \underline{g}(\underline{x})) \end{aligned} $$

Betrachtung 2: Unsicheres System und deterministische Messung

Wir betrachte $f(\underline{y} \mid \underline{x})$ als ein Ersatzsystem.

$$ \begin{aligned} f(\underline{y} \mid \underline{x}) &= \frac{1}{f_x(\underline{x})} f(\underline{x}, \underline{y}) \\\\ &= \int_{\mathbb{R}^M} \int_{\mathbb{R}^M} \delta(\underline{t} - \underline{g}(\underline{x})) \delta(\underline{\hat{y}} - \underline{t} - \underline{v}) f_v(\underline{v}) d\underline{v} d\underline{t} \\\\ &= f_v(\underline{\hat{y}} - \underline{g}(\underline{x})) \end{aligned} $$

Damit folgt für das vereinfachte System

Gesuchte posteriore Dichte

$$ \begin{aligned} f(\underline{x} \mid \underline{\hat{y}}) &= \frac{f(\underline{x}, \underline{\hat{y}})}{f(\underline{\hat{y}})} \\\\ &= \frac{1}{f(\underline{\hat{y}})} \cdot f(\underline{\hat{y}} \mid \underline{x}) \cdot f(\underline{x}) \\\\ &= \frac{1}{f(\underline{\hat{y}})} \cdot f_v(\underline{\hat{y}} - \underline{g}(\underline{x})) \cdot f_x(\underline{x}) \end{aligned} $$

Betrachtung 3: Deterministisches System und unsichere Messung

$$ \begin{aligned} f(\underline{\hat{y}} \mid \underline{t}) &= \frac{f(\underline{\hat{y}}, \underline{t})}{f(\underline{t})} \\\\ &= \frac{1}{f(\underline{t})} \int_{\mathbb{R}^M} \underbrace{f(\underline{v}, \underline{t}, \underline{\hat{y}})}_{= f(\underline{\hat{y}} \mid \underline{v}, \underline{t}) f(\underline{v}, \underline{t}) = f(\underline{\hat{y}} \mid \underline{v}, \underline{t}) f(\underline{v}) f(\underline{t})} d\underline{v} \\\\ &= \frac{1}{f(\underline{t})} f(\underline{t}) \int_{\mathbb{R}^M} f_v(\underline{v}) \delta(\underline{\hat{y}} - \underline{t} - \underline{v}) d\underline{v} \\\\ &= f_v(\underline{\hat{y}} - \underline{t}) \end{aligned} $$

Gesuchte posteriore Dichte

$$ \begin{aligned} f(\underline{x} \mid \underline{\hat{y}}) &= \frac{f(\underline{x}, \underline{\hat{y}})}{f(\underline{\hat{y}})} \\\\ &= \frac{1}{f(\underline{\hat{y}})} \int_{\mathbb{R}^M} f(\underline{x}, \underline{t}, \underline{\hat{y}}) d\underline{t} \\\\ &= \frac{1}{f(\underline{\hat{y}})} \int_{\mathbb{R}^M} \underbrace{f(\underline{\hat{y}} \mid \underline{x}, \underline{t})}_{=f(\underline{\hat{y}} \mid \underline{t})} f(\underline{x}, \underline{t}) d\underline{t} \quad \mid \underline{x}, \underline{t} \text{ sind unab.} \\\\ &= \frac{1}{f(\underline{\hat{y}})} \int_{\mathbb{R}^M} f(\underline{\hat{y}} \mid \underline{t}) f(\underline{x}) f(\underline{t}) d\underline{t} \\\\ &= \frac{1}{f(\underline{\hat{y}})} \cdot f_v(\underline{\hat{y}} - \underline{g}(\underline{x})) \cdot f(\underline{x}) \end{aligned} $$

Schwierigkeiten Filterschritt

Problem 1: Type der Dichte zur Beschreibung der Schätzung ändert sich.

Beispiel:

• Prior

  $$ f^p(x) \propto \exp \left[-\frac{1}{2} \frac{(x - x^p)^2}{\sigma_p^2}\right] $$

• Messabbildung

  $$ y = x^2 + v \quad v \sim f^v(v) $$

  z.B. $f^v(v)$ ist Gauß mit zero-mean und Varianz $=1$

  $$ f^L(y \mid x) = f^v(y - x^2) \propto \exp \left[-\frac{1}{2} (y - x^2)^2\right] $$

• Posteriror

  $$ \begin{aligned} f^{e}(x) & \propto f^{p}(x) \cdot f^{L}(\hat{y} \mid x)\\ & \propto \exp \left[-\frac{1}{2}\left(\frac{x-x^{p}}{\sigma_{p}}\right)^{2}\right] \cdot \exp \left[-\frac{1}{2}\left(y-x^{2}\right)^{2}\right] \\ & \propto \exp \left[a x^{4}+b x^{3}+c x^{2}+d x+e\right] \end{aligned} $$

  ist nicht mehr Gauß!🤪

Problem 2: Dichte wrid mit jedem Schritt komplexer

Beispiel

• Prior ist eine Mixture mit 2 Komponente

  $$ f^p(x) = \sum_{i=1}^2 f^{p, i}(x) $$

• Messabbildung

  $$ y = x + v \quad v \sim f^v(v) = \sum_{j=1}^2 f^{v, j}(v) $$

• Posterior

  $$ \begin{aligned} f^e(x) & \propto f^{p}(x) \cdot f^{v}(\hat{y}-x) \\ &=\left(\sum_{i=1}^{2} f^{p, i}(x)\right) \cdot\left(\sum_{j=1}^{2} f^{v, i}(\hat{y}-x)\right) \\ &=\sum_{i=1}^{4} f^{e_{i} i}(x) \end{aligned} $$

  $\Rightarrow$ Insgesamt ist Approximation unvermeidbar! 🤪