Allgemeine Systeme | Haobin Tan

Allgemeine Systeme

Sun, 17 Jul 2022 00:00:00 +0000

Motivation

Sun, 24 Jul 2022 00:00:00 +0000

Bisher: Systeme immer durch Gaußdichte repräsentiert.

Systemgleichung

$$ \underline{x}_{k+1} = \underline{a}_k (\underline{x}_k, \underline{w}_k) $$

kann durch Transitionsdichte $f(\underline{x}_{x+1} | \underline{x}_k)$ beschrieben werden.

Messgleichung

$$ \underline{y}_k = \underline{h}_k (\underline{x}_k, \underline{v}_k) $$

kann durch Likelihhod $f(\underline{y}_k | \underline{x}_k)$ beschrieben werden.

Allgemein für beide Gleichung:

$$ \underline{z} = \underline{h}(\underline{x}, \underline{v}) $$

Für lienare Systeme: Repräsentation durch Gaußdichte $\mathcal{N}(x, \mu, \sigma)$ ist in Ordnung

$$ z = Hx + v $$

Erwartungswert

$$ E(z | x) = Hx $$

Kovarianz

$$ \operatorname{Cov}(z \mid x)=E\left(\left[z-E(z|x)\right]^{2} \mid x\right)=\sigma_{v}^{2} $$

Daher

$$ \begin{aligned} f(z \mid x) &=\mathcal{N}\left(z, H \cdot x, \sigma_{v}\right) \\\\ & \propto \exp \left(-\frac{1}{2} \frac{(z-H \cdot x)^{2}}{\sigma_{v}^{2}}\right) \quad | \text { Gauß in } z \\\\ & \propto \exp \left\{-\frac{1}{2} \frac{\left(x-\frac{z}{H}\right)^{2}}{\left(\sigma_{v} / H\right)^{2}}\right\} \quad | \text { Gauß in } x \\\\ & = \mathcal{N}(x, \frac{z}{H}, \frac{\sigma_v}{H}) \end{aligned} $$

Aber im Allgemein für

$$ z = h(x) + v \tag{additives Rauschen} $$

ist $f(z|x)$ NICHT Gauß in $x$!!!

Wir benötigen eine Methode zur Berechnung von $f(z|x)$ im allgemeinen Fall. 💪

Dirac’sche Deltafunktion

Sun, 24 Jul 2022 00:00:00 +0000

Mehr zu Dirac’sche Deltafunktion siehe:

Eigenschaften

Symmetrie

$$ \delta (x) = \delta (-x) $$

Skalierung

$$ \delta (ax) = \frac{1}{|a|}\delta (x) $$

Kompizierte Argumente

$$ \delta (g(x)) = \sum_{i=1}^N \frac{1}{|g^\prime(x_i)|}\delta (x - x_i) $$

wobei

$g(x_i) = 0$ (also $x_i$ sind Nullstellen, $i = 1, 2, \dots, N$)
$g^\prime(x_i) \neq 0$

Ableitung der Heaviside Step Funktion

$$ \delta(x) = \frac{d}{dx} H(x) $$

wobei $H(x)$ ist die Heaviside Step Funktion

$$ H(x):= \begin{cases}1, & x>0 \\ 0, & x \leq 0\end{cases} $$

Funktionen von Zufallsvariablen

Sun, 24 Jul 2022 00:00:00 +0000

Abbildung

$$ y = h(x) $$

Gegeben: $x \sim f_x(x)$
Gesucht: $y \sim f_y(y)$

Verbunddichte

$$ f_{xy}(x, y) = f(y | x) \cdot f_x(x) $$

$f(y|x)$ kann als probabilistische Beschreibung der Abbildung anfassen.

Dichte von $y$

$$ f_{y}(y)=\int_{\mathbb{R}} f_{x y}(x, y) d x=\int_{\mathbb{R}} f(y \mid x) \cdot f_{x}(x) d x $$

Probabilistische Abbildung:

$$ f(y|x) = \delta(y - h(x)) $$

Damit folgt

$$ f_y(y)=\int_{\mathbb{R}} \delta(\underbrace{y-h(x)}_{g(x)}) f_x(x) d x $$

Beispiel

Beispiel 1

Gegeben

$$ y = \frac{1}{x} \qquad x \sim f_x(x) $$

Probabilistische Abbildung:

$$ f(y|x) = \delta(\underbrace{y - \frac{1}{x}}_{=g(x)}) $$ $$ g(x_1) = 0 \Rightarrow x_1 = \frac{1}{y} \qquad g^\prime(x) = \frac{1}{x^2} $$

Laut

$$ \delta (g(x)) = \sum_{i=1}^N \frac{1}{|g^\prime(x_i)|}\delta (x - x_i) $$

gilt

$$ f(y|x) = \delta(y - \frac{1}{x}) = x_1^2 \delta(x - \frac{1}{y}) = \frac{1}{y^2} \delta(x - \frac{1}{y}) $$ $$ \begin{aligned} f_y(y) &= \int_{\mathbb{R}} f(y | x) \cdot f_{x}(x) d x \\ &= \int_{\mathbb{R}} \frac{1}{y^2} \delta(x - \frac{1}{y}) f_{x}(x) d x \\ &= \frac{1}{y^2} f_{x}(\frac{1}{y}) \end{aligned} $$

Z.B., wenn $x$ gaußverteilt, also $f_x(x) = e^{-x^2}$ , dann kann man die Dichte von $y$ sofort berechnen:

$$ f_y(y) = \frac{1}{y^2} e^{-\frac{1}{y^2}} $$

Beispiel 2: Quadratic Function

$$ \begin{aligned} &\delta(g(x))=\delta\left(y-a x^{2}\right), \quad a>0 \\ &\Rightarrow g(x)=y-a x^{2} \\ &\Rightarrow g^{\prime}(x)=-2 a x \end{aligned} $$

Fallunterscheidung

$$ \begin{aligned} &g\left(x_{i}\right)=0 \\ &y \geq 0: N=2, \quad x_{1}=\sqrt{\frac{y}{a}}, \quad x_{2}=-\sqrt{\frac{y}{a}} \\ &y<0: N=0, \quad \text { no roots. } \end{aligned} $$ $$ \begin{aligned} f(y|x) &= \delta\left(y-a x^{2}\right) \\\\ &= \begin{cases}\frac{1}{\left|g^{\prime}\left(x_{1}\right)\right|} \delta\left(x-x_{1}\right)+\frac{1}{\left|g^{\prime}\left(x_{2}\right)\right|} \delta\left(x-x_{2}\right) & , y \geq 0 \\ 0 & , y<0\end{cases} \\\\ &= \begin{cases}\frac{1}{2 \cdot \sqrt{a y}}\left(\delta\left(x-\sqrt{\frac{y}{a}}\right)+\delta\left(x+\sqrt{\frac{y}{a}}\right)\right) & , y \geq 0 \\ 0 & , y<0\end{cases} \\\\ \end{aligned} $$ $$ \begin{aligned} f_y(y) &= \int_{\mathbb{R}} f(y | x) \cdot f_{x}(x) d x \\ &= \frac{1}{2 \sqrt{a y}}\left\{f_{x}\left(-\sqrt{\frac{y}{a}}\right)+f_x\left(\sqrt{\frac{y}{a}}\right)\right\} \cdot u(y) \qquad u(y)= \begin{cases}1, & y \geqslant 0 \\ 0, & \text { sonst }\end{cases} \end{aligned} $$

Für $f_x(x) = \mathcal{N}(x, 0, \sigma)$ :

$$ f_{y}(y)=\frac{1}{\sqrt{2 \pi a y}} \exp \left\{-\frac{1}{2} \frac{y}{a \sigma^{2}}\right\} u(y) $$

Probabilistische Systemmodelle

Sun, 24 Jul 2022 00:00:00 +0000

Mit Additivem Rauschen

Allgemein:

$$ \underline{z} = \underline{a}(\underline{x}) + \underline{v} $$

$\Rightarrow$

$$ f(\underline{z} \mid \underline{x})=f_v(\underline{z}-\underline{a}(\underline{x})) $$

Beispiel:

$$ z = x^2 + v \qquad v \sim f_v(v) $$

Gesucht: $f(z|x)$

$$ f(z \mid x, v)=\delta\left(z-x^{2}-v\right), \quad f(z, v \mid x)=f(z \mid x, v) \cdot f_v(v) $$ $$ \begin{aligned} f(z \mid x) &\overset{\text{Marginalisierung}}{=}\int_{\mathbb{R}} f(z, v \mid x) d v\\ &=\int_{\mathbb{R}} f(z \mid x, v) \cdot f_v(v) d v \\ &=\int_{\mathbb{R}} \delta\left(z-x^{2}-v\right) \cdot f_v(v) d v \\ &=f_{v}\left(z-x^{2}\right) \end{aligned} $$

In dem Fall

$$ z = x_{k + 1} \quad x = x_{k}, $$

heißt

$$ f_v(z \mid x) = f_v(x_{k+1} \mid x_k) = f_v(x_{k+1} - a(x_k)) \tag{additive} $$

Transitionsdichte (Engl. transition density).

Mit Multiplikativem Rauschen

Abbildung

$$ z = x \cdot v \quad v \sim \mathcal{N}(v, 0, \sigma_v) $$

Annahme: $z, x, v$ sind positiv.

Gesucht: $f(z \mid x)$

Rückführung auf additiven Fall mit $\log(\cdot)$:

$$ \underbrace{\log (z)}_{\bar{z}}=\log (x \cdot v)=\underbrace{\log (x)}_{\bar{x}}+\underbrace{\log (v)}_{\bar{v}} \Leftrightarrow \bar{z}=\bar{x}+\bar{v} $$

Dichte von $\bar{v} = \log(v)$ :

$$ f(\bar{v} \mid v) = \delta(\bar{v} - \log(v)) = \exp(\bar{v})\delta(v - \exp(\bar{v})) $$ $$ \begin{aligned} f_\bar{v}(\bar{v}) &= \int_{\mathbb{R}} f(\bar{v} \mid v) f_v(v) dv \\\\ &= \int_{\mathbb{R}} \exp(\bar{v})\delta(v - \exp(\bar{v})) f_v(v) dv \\\\ &= \exp(\bar{v}) f_v(\exp(\bar{v})) \\\\ &= \frac{1}{\sqrt{2 \pi} \sigma_{v}} \exp (\bar{v}) \exp\left\{-\frac{1}{2} \frac{[\exp(\bar{v})]^{2}}{\sigma_{v}^{2}}\right\} \end{aligned} $$

Dann

$$ \begin{aligned} f(\bar{z} \mid \bar{x}) &= f_\bar{v}(\bar{z} - \bar{x}) \\ &= \frac{1}{\sqrt{2 \pi} \sigma_{v}} \exp \{\bar{z} - \bar{x}\} \exp\left\{-\frac{1}{2} \frac{[\exp(\bar{z} - \bar{x})]^{2}}{\sigma_{v}^{2}}\right\} \end{aligned} $$ $$ \begin{aligned} z = \exp\{\bar{z}\} &\Rightarrow g(\bar{z}) = z - \exp(\bar{z}) \\ &\Rightarrow g^{\prime}(\bar{z}) = -\exp(\bar{z}) \quad \text{Nullstelle}: \bar{z} = \log(z) \end{aligned} $$ $$ f(z \mid \bar{x}) = \frac{1}{|z|} f(\log(z) \mid \bar{x}) $$

$x = \exp(\bar{x}) \Rightarrow$

$$ f(z \mid x)=\frac{1}{\sqrt{2 \pi} \sigma_{v}} \frac{1}{|x|} \exp \left\{-\frac{1}{2} \frac{z^{2}}{\sigma_{v}^{2} x^{2}}\right\} $$

Direkte Lösung:

$$ f(z \mid x, v) = \delta(z - x \cdot v) $$ $$ f(z, v \mid x) = f(z \mid x, v) \cdot f_v(v) = \delta(z - x \cdot v) f_v(v) $$ $$ f(z \mid x) = \int_{\mathbb{R}} f(z, v \mid x) dv = \int_{\mathbb{R}}\delta(z - x \cdot v) f_v(v) dv $$

Setze

$$ \begin{aligned} g(v) := z - xv &\Rightarrow g^\prime(v) = -x, \quad \text{Nullstelle } v = \frac{z}{x} \end{aligned} $$

Daher

$$ \begin{aligned} f(z \mid x)&=\int_{\mathbb{R}} \frac{1}{|x|} \delta\left(v-\frac{z}{x}\right) \cdot f_v(v) d v \\ &=\frac{1}{|x|} \cdot f_v\left(\frac{z}{x}\right) \qquad \qquad (\text{multiplicative}) \end{aligned} $$

Mixed Additive and Multiplicative Noise (Script Chp. 9.2.2)

System equation

$$ x_{k+1} = x_k v_k + w_k $$

with additive noise $w_k$ and multiplicative noise $v_k$. The noise termsare jointly distributed according to $f_{k}^{vw}(v_k, w_k)$.

The joint density of the state at time step $k+1$ is

$$ f\left(x_{k+1}, v_{k}, w_{k} \mid x_{k}\right)=f\left(x_{k+1} \mid x_{k}, v_{k}, w_{k}\right) f_{k}^{v w}\left(v_{k}, w_{k}\right), $$

where according to the system equation the density of the state at time step $k + 1$ conditioned on the state at time step $k$ and the noise terms $v_k$ and $w_k$ is

$$ f(x_{k+1} \mid x_{k}, v_{k}, w_{k}) = \delta(x_{k+1} - x_{k}v_{k} - w_{k}). $$

The desired transition density is now given by

$$ \begin{aligned} f\left(x_{k+1} \mid x_{k}\right) &=\int_{\mathbb{R}} \int_{\mathbb{R}} f\left(x_{k+1}, v_{k}, w_{k} \mid x_{k}\right) d w_{k} d v_{k} \\ &=\int_{\mathbb{R}} \int_{\mathbb{R}} \delta\left(x_{k+1}-x_{k} v_{k}-w_{k}\right) f_{k}^{v w}\left(v_{k}, w_{k}\right) \mathrm{d} w_{k} \mathrm{~d} v_{k}\\ &\overset{\text{additive}}{=} f_{k}\left(x_{k+1} \mid x_{k}\right)=\int_{\mathbb{R}} f_{k}^{v w}\left(v_{k}, x_{k+1}-x_{k} v_{k}\right) \mathrm{d} v_{k} \mid v_k, w_k \text{ independent}\\ &=\int_{\mathbb{R}} f_{k}^{v}\left(v_{k}\right) f_{k}^{w}\left(x_{k+1}-x_{k} v_{k}\right) \mathrm{d} v_{k} \end{aligned} $$

These expressions cannot in general be solved analytically.

Abstraktion

Wed, 27 Jul 2022 00:00:00 +0000

Skript 10.1, 10.2

Abstrahierte Systembeschreibung & Eigenschaften

Alle Komponenten eines Systems können durch

beschrieben werden ($\underline{a} \in \mathbb{R}^A, \underline{b}\in \mathbb{R}^b$ ) .

Kauselität: $a$ (Grund) bewrikt $b$ (Wirkung).

Für $\underline{a}$ gegeben, $f(\underline{b} \mid \cdot)$ heißt Transitionsdichte.

Für $\underline{b}$ gegeben, $f(\cdot \mid \underline{a})$ heißt Likelihood.

Eigenschaften von probabilistischer Systembeschreibung

In Allg. gilt

$$ \int_{\mathbb{R}^{B}} f(\underline{b} \mid \underline{a}) d \underline{b}=1 \quad \forall \underline{a} $$

Es gilt aber i.A.

$$ \int_{\mathbb{R}^{A}} f(\underline{b} \mid \underline{a}) d \underline{a} \neq 1, $$

sogar nicht definiert.

Vorwärts-/Rückwärtsinferenz

Vorwärtsinferenz

“Given information about $\underline{a}$, we desire information about $\underline{b}$.”

Gegeben: Werte für $\underline{\hat{a}}$ oder Dichte $f(\underline{a})$
Gesucht: $f(\underline{b})$

Rückwärtsinferenz

“Information about the output $\underline{b}$ is given and we desire to reconstruct an appropriate description of $\underline{a}$.”

Gegeben: Werte für $\underline{\hat{b}}$ oder Dichte $f(\underline{b})$
Gesucht: $f(\underline{a})$

Vorwärtsinferenz

Übungsblatt Aufg. 9.1

Annahme: KEIN Vorwissen über $f(\underline{b})$

Betrachte eine einfache generative Systemabbildung:

$$ \underline{b} = \underline{g}(\underline{a}) \quad \underline{a} \in \mathbb{R}^A, \underline{b} \in \mathbb{R}^B $$

Probablistische Systemabbildung:

$$ f(\underline{b} \mid \underline{a}) = \delta(\underline{b} - \underline{g}(\underline{a})) $$

Marginalisierung ergibt:

$$ \begin{aligned} f(\underline{b}) &= \int_{\mathbb{R}^A} f(\underline{a}, \underline{b}) d\underline{a} \\\\ &= \int_{\mathbb{R}^A} f(\underline{a} \mid \underline{b}) f(\underline{a}) d\underline{a} \\\\ &= \int_{\mathbb{R}^A} \delta(\underline{b} - \underline{g}(\underline{a})) f(\underline{a}) d\underline{a} \end{aligned} $$

Weitere Vereinfachung NUR für konkrete $\underline{g}(\cdot)$ möglich.

Für Speizialfall der Vorgabe eines Wertes $\underline{\hat{a}}$ ergibt sich

$$ f(\underline{a}) = \delta(\underline{a} - \underline{\hat{a}}) $$

Damit

$$ \begin{aligned} f(\underline{b}) &= \int_{\mathbb{R}^A} \delta(\underline{b} - \underline{g}(\underline{a})) f(\underline{a}) d\underline{a} \\\\ &= \int_{\mathbb{R}^A} \delta(\underline{b} - \underline{g}(\underline{a})) \delta(\underline{a} - \underline{\hat{a}}) d\underline{a} \\\\ &= \delta(\underbrace{\underline{b} - g(\underline{\hat{a}})}_{\underline{\hat{b}}}) \end{aligned} $$

Das erwartete Ergebnis ist dann

$$ f(\underline{b}) = \delta(\underline{b} - \underline{\hat{b}}) $$

mit $\underline{\hat{b}} = \underline{g}(\underline{\hat{a}})$.

Probabilistisches nichtlineares Systemmodell

Allgemeines Systemmodell

$$ \underline{x}_{k+1} = \underline{a}_k(\underline{x}_k, \underline{w}_k) $$

in Form $f(\underline{b} \mid \underline{a})$ bringen:

$$ \underline{a}=\left[\begin{array}{c} \underline{x}_{k} \\ \underline{w}_{k} \end{array}\right], \quad \underline{b}=\underline{x}_{k+1} $$ $$ f(\underline{b} \mid \underline{a}) = \delta \left(\underline{x}_{k+1} - \underline{a}_k(\underline{x}_k, \underline{w}_k)\right) $$

Mit anderen Systemgrenzen:

$$ \begin{aligned} f(\underline{b} \mid \underline{a}^\prime) &= f(\underline{x}_{k+1} \mid \underline{x}_k) \\\\ &= \int_{\mathbb{R}^N} \underbrace{f(\underline{x}_{k+1} \mid \underline{x}_k, \underline{w}_k)}_{f(\underline{b} \mid \underline{a})} \cdot f(\underline{w}_k) d\underline{w}_k \end{aligned} $$

In diesem Fall enthält $f(\underline{b} \mid \underline{a})$ Systemrauschen $\rightarrow$ ist nicht mehr durch $\delta$-funktion beschreibbar.

Prädiktion nichtlinearer Systeme

Wed, 27 Jul 2022 00:00:00 +0000

Skript 10.2, 10.3

Chapman-Kolmogorov-Gleichung

Übungsblatt Aufg. 10.1

Verbunddichte

$$ f\left(\underline{x}_{k+1}, \underline{x}_{k}\right)=f\left(\underline{x}_{k+1} \mid \underline{x}_{k}\right) \cdot f\left(\underline{x}_{k}\right) $$

Marginalisierung

$$ f\left(x_{k+1}\right)=\int_{\mathbb{R}^{N}} f\left(\underline{x}_{k+1} \mid \underline{x}_{k}\right) \cdot f\left(\underline{x}_{k}\right) d \underline{x}_{k} $$

Definition

geschätzte Dichte im Zeitschritt $k$ einschließlich der letzten Messung
$$ f_{k}^{e}\left(\underline{x}_{k}\right)=f\left(\underline{x}_{k} \mid \underline{\hat{y}}_{k}, \underline{\hat{y}}_{k-1}, \ldots, \underline{\hat{y}}_{1}, \underline{\hat{u}}_{k-1}, \underline{\hat{u}}_{k-2}, \ldots, \underline{\hat{u}}_{0}\right) $$
Prädiktion der Dichte im Zeitschritt $k+1$ (Messung nicht inklusive)
$$ f_{k+1}^{p}\left(\underline{x}_{k+1}\right)=f\left(\underline{x}_{k+1} \mid \underline{\hat{y}}_{k}, \underline{\hat{y}}_{k-1}, \ldots, \underline{\hat{y}}_{1}, \underline{\hat{u}}_{k}, \underline{\hat{u}}_{k-1}, \ldots, \underline{\hat{u}}_{0}\right) $$

Prädiktion für dynamische Systeme ( Chapman-Kolmogorov-Gleichung)

$$ f_{k+1}^{p}\left(\underline{x}_{k+1}\right)=\int_{\mathbb{R}^{N}} \underbrace{f\left(\underline{x}_{k+1} \mid \underline{x}_{k}\right)}_{\text{Prädiktionsdichte}} f_{k}^{e}\left(\underline{x}_{k}\right) \mathrm{d} \underline{x}_{k} $$

Erklärung

Üb A10.1

Die Chapman-Kolmogorov-Gleichung berechnet die Dichte von $\underline{x}_{k+1}$ aus einer gegebenen Dichte $f_{k}^{e}\left(\underline{x}_{k}\right)$ von $\underline{x}_{k}$ , während die probabilistische Systembeschreibung $f\left(\underline{x}_{k+1} \mid \underline{x}_{k}\right)$ die Dichte von $\underline{x}_{k+1}$ für einen konkreten Wert von $\underline{x}_{k}$ aus.

$f\left(\underline{x}_{k+1} \mid \underline{x}_{k}\right)$
- das probablistische Systemmodell, welches eine Wahrscheinlichkeitsdichte für den nächsten Zustand $\underline{x}_{k+1}$ zu einem gegebenen aktuellen Zustand $\underline{x}_{k}$ ausgibt.
- Diese Transitionsdichte $f\left(\underline{x}_{k+1} \mid \underline{x}_{k}\right)$ können wir aus dem gegebenen Systemmodell $\underline{x}_{k+1} = \underline{a}(\underline{x}_{k}, \underline{u}_{k}, \underline{v}_{k})$ berechnen - es ist einfach die probabilistische Darstellung davon
  $$ f\left(\underline{x}_{k+1} \mid \underline{x}_{k}\right) = \int_{\mathbb{R}^N} \delta(\underline{x}_{k+1} - \underline{a}(\underline{x}_{k}, \underline{u}_{k}, \underline{v}_{k})) \cdot f_k^v(\underline{v}_k) d \underline{v}_k $$
$f_{k}^{e}\left(\underline{x}_{k}\right)$
die beste Schätzung, die wir über den Systemzustand zum Zeitpunkt $k$ haben, gegeben als Wahrscheinlichkeitsdichte
$f_{k+1}^{p}\left(\underline{x}_{k+1}\right)$
- die beste Prädiktion des Zustands zum Zeitpunkt $(k+1)$, die sich aus dem Wissen über den Zustand $f_{k}^{e}\left(\underline{x}_{k}\right)$ und dem Systemmodell $\underline{x}_{k+1} = \underline{a}(\underline{x}_{k}, \underline{u}_{k}, \underline{v}_{k})$ (generative Darstellung) bzw. $f\left(\underline{x}_{k+1} \mid \underline{x}_{k}\right)$ (probabilistische Darstellung) berechnen lässt.
- Bei einer Prädiktion wird die (relative) Unsicherheit generell größer.

Problem

‼️ Es handelt sich um ein Parameterintegral!

Integrand hängt von $\underline{x}_{k+1}$ ab (lässt sich i.Allg nicht herausziehen)
Nur möglich für analytische Lösung
Sonst erfordert (numerische) Lösung des Integrals für alle $\underline{x}_{k+1}$

Weiter nützliche Form der CK-Gleichung

$$ \begin{aligned} f(\underline{x}_{k + 2}, \underline{x}_{k}) &= \int_{\mathbb{R}^N} f(\underline{x}_{k+2}, \underline{x}_{k+1}, \underline{x}_{k}) d\underline{x}_{k+1} \\\\ f(\underline{x}_{k + 2} \mid \underline{x}_{k}) f(\underline{x}_{k}) &= \int_{\mathbb{R}^N} f(\underline{x}_{k+2} \mid \underline{x}_{k+1}, \underline{x}_{k}) f(\underline{x}_{k+1}, \underline{x}_{k}) d\underline{x}_{k+1} \quad | \quad \text{Markov} \\\\ f(\underline{x}_{k + 2} \mid \underline{x}_{k}) f(\underline{x}_{k}) &= \int_{\mathbb{R}^N} f(\underline{x}_{k+2} \mid \underline{x}_{k+1}) f(\underline{x}_{k+1}, \underline{x}_{k}) d\underline{x}_{k+1} \\\\ f(\underline{x}_{k + 2} \mid \underline{x}_{k}) f(\underline{x}_{k}) &= \int_{\mathbb{R}^N} f(\underline{x}_{k+2} \mid \underline{x}_{k+1}) f(\underline{x}_{k+1} \mid \underline{x}_{k}) f(\underline{x}_{k})d\underline{x}_{k+1} \\\\ f(\underline{x}_{k + 2} \mid \underline{x}_{k}) &= \int_{\mathbb{R}^N} f(\underline{x}_{k+2} \mid \underline{x}_{k+1}) f(\underline{x}_{k+1} \mid \underline{x}_{k}) d\underline{x}_{k+1} \end{aligned} $$

Prädiktion mit CK-Glg.: Lösungsansätze

Im allgemeinen Fall ist CK-Gleichung NICHT exakt lösbar 🤪

Ausnahme (Bsp.)

System ist linear und $f_{k}^{e}(\cdot)$ kann durch erste zwei Momente beschrieben werden
$f_{k}^{e}(\underline{x}_k)$ ist durch Abstastwerte repräsentiert.
$$ \begin{aligned} & f_{k}^{e}\left(\underline{x}_{k}\right)=\sum_{i=1}^{L} w_{i} \delta\left(\underline{x}_{k}-\hat{\underline{x}}_{k, i}\right) \qquad w_i \geq 0, \sum_i w_i = 1\\ \Rightarrow \qquad & f_{k=1}^{p}\left(\underline{x}_{k+1}\right)=\sum_{i=1}^{L} w_{i} f\left(\underline{x}_{k+1} \mid \hat{\underline{x}}_{k, i}\right) \end{aligned} $$

Vereinfachte Prädiktion

Systemmodell mit additivem Rauschen

Wir beginnen mit additivem Rauschen.

Generatives Modell

$$ \underline{x}_{k+1} = \underline{a}_{k}(\underline{x}_{k}) + \underline{w}_{k} \qquad \underline{x}_{k+1}, \underline{x}_{k}, \underline{w}_{k} \in \mathbb{R}^N $$

Vereinfachte Schreibweise

$$ \underline{z} = \underline{a}(\underline{x}) + \underline{w} $$

Probablistisches Modell (inkl. Rauschen)

$$ f(\underline{z} \mid \underline{x}) = f_w(\underline{z} - \underline{a}(\underline{x})) $$

Vereinfachung: Aufteilung in diskrete “Streifen”:

$$ f\left(\underline{z} \mid \underline{\hat{x}}_{i}\right)=f_w\left(\underline{z}-\underline{a}\left(\underline{\hat{x}}_{i}\right)\right) \qquad i \in \mathbb{Z} $$

In den “Zwischenräumen” gilt nun aber $\int f(\underline{z} \mid \underline{x}) = 1$ NICHT. Wir definiere eine “Füllfunktion” $f_i(\underline{x})$:

$$ f_i(\underline{x}) = \mathcal{N}(\underline{x}, \underline{\hat{x}}_i, C_i) \qquad i \in \mathbb{Z} $$

mit

$$ f(\underline{x}) = \sum_{i \in \mathbb{Z}} w_if_i(\underline{x}) \approx 1 $$

Z.B. Skalarer Fall
$$ > f(x)=\sum_{i \in \mathbb{Z}} w_{i} f_i(x), \quad f_i(x)=\exp \left(-\frac{1}{2} \frac{\left(x-\hat{x}_{i}\right)^{2}}{\sigma^{2}}\right) > $$
mit geeigneten $\sigma$.

Betrachtung für jeweils ein Komponente $i$

$$ f_i(\underline{z} \mid \underline{x}) = f(\underline{z} \mid \underline{\hat{x}}_i) \cdot f_i(\underline{x}) $$

Gesamtdichte ist

$$ f(\underline{z} \mid \underline{x}) \approx \sum_{i \in \mathbb{Z}} w_i f(\underline{z} \mid \underline{\hat{x}}_i) \cdot f_i(\underline{x}) $$

Es gilt

$$ \begin{aligned} \int_{\mathbb{R}^{N}} f(\underline{z}(\underline{x}) d \underline{z}&=\sum_{i \in \mathbb{Z}} w_{i} f_{i}(\underline{x}) \underbrace{\int_{\mathbb{R}^N}f(\underline{z} \mid \underline{x}) d\underline{z}}_{=1}\\ &=\sum_{i \in \mathbb{Z}} w_{i} f_{i}(\underline{x}) \approx 1 \end{aligned} $$

Fall Rauschen $\underline{w}_k$ Gaußverteilt, ist $f(\underline{z} \mid \underline{x} )$ Gaussian Mixture

$$ f(\underline{z} \mid \underline{x}) = \sum_{i \in \mathbb{Z}} \underbrace{f_i^z(\underline{z})}_{f_w(\underline{z} - \underline{a}(\underline{\hat{x}}_i))} \cdot f_i^x(\underline{x}) $$

Allgemeine Systemmodelle

$$ \underline{x}_{k+1} = \underline{a}_k (\underline{x}_k, \underline{w}_k) $$

Vereinfachte Schreibweise:

$$ \underline{z} = \underline{a}(\underline{x}, \underline{w}) $$

Ergibt allgemeine Transitionsdichte $f(\underline{z} | \underline{x})$, auch durch Mixture approximierbar

$$ f(\underline{z} | \underline{x}) = \sum_{i \in \mathbb{Z}} w_i f_i^z(\underline{z}) \cdot f_i^x(\underline{x}) $$

Wichtig ist, dass die einzelnen Komponenten entkoppelt sind. 👏

Bsp 1

Annahme: $f(\underline{x})$ ist eine Gaußdichte.

Einsetzen in CK-Gleichung:

$$ \begin{aligned} f(\underline{z})&=\int_{\mathbb{R}^{N}}\left(\sum_{i \in \mathbb{Z}} w_{i} f_{i}^{z}(\underline{z}) \cdot f_{i}^{x}(\underline{x})\right) f(\underline{x}) d \underline{x}\\ &=\sum_{i \in \mathbb{Z}} w_{i} f_{i}^{z}(\underline{z}) \underbrace{\int_{\mathbb{R}^{N}} f_{i}^{x}(\underline{x}) \cdot f(\underline{x}) d \underline{x}}_{\text{Konstante } c_{i}}\\ &= \sum_{i \in \mathbb{Z}} \underbrace{w_{i} c_i}_{=: \bar{w}_i} f_{i}^{z}(\underline{z})\\ &=\sum_{i \in \mathbb{Z}} \bar{w}_{i} f_{i}^{z}(\underline{z}) \end{aligned} $$

Hier sieht man, dass $f_i^z(\underline{z})$ einfach aus dem Integral ausgezogen werden kann. Innerhalb des Integrals gibt es nur $\underline{x}$.

Speizialfall: $f(\underline{x}) = \delta(\underline{x} - \underline{\hat{x}}) \Rightarrow$

$$ c_i = \int_{\mathbb{R}^{N}} f_{i}(\underline{x}) \delta \left(\underline{x}-\underline{\hat{x}}\right) d \underline{x}=f_i(\underline{\hat{x}}) $$

Bsp 2

Annahme: Gaussian Mixture

$$ f(\underline{x}) = \sum_{j=1}^L v_j f_j^*(\underline{x}) $$

Einsetzen in CK-Gleichung:

$$ \begin{aligned} f(\underline{z})&=\int_{\mathbb{R}^{N}}\left\{\sum_{i \in \mathbb{Z}} w_{i} f_{i}^{z}(\underline{z}) f_{i}^{x}(\underline{x})\right\} \cdot \left\{\sum_{i=1}^{L} v_{j} f_{j}^{*}(\underline{x})\right\} d x\\ &=\sum_{i \in \mathbb{Z}} w_{i} f_{i}^{z}(\underline{z}) \underbrace{\sum_{i=1}^{L} v_{j} \underbrace{\int_{\mathbb{R}^N} f_{i}^{x}(\underline{x}) \cdot f_{j}^{*}(\underline{x}) d \underline{x}}_{\text{Konstante}}}_{\text {Kondante } C_{i}} \\ &=\sum_{i \in \pi} \underbrace{w_{i}C_i}_{=: \bar{w}_i} f_{i}^{z}(\underline{z}) \\ &=\sum_{i \in \pi} \bar{w}_{i} f_{i}^{z}(\underline{z}) \end{aligned} $$

Filterschritt für nichtlineare Systeme

Wed, 03 Aug 2022 00:00:00 +0000

Skript 10.4

Rückwärtsinferenz: Inferenz entgegen der modellierter Abhängigkeit mit gegebenen Vorwissen

Zwei Fälle

Konkrekter Wert für Ausgang (Messung) gegeben
Dichte für Ausgang gegeben

Rückwärtsinferenz mit Konkrektem Messwert

Skript 10.4.1
Übungsblatt Aufg. 9.2, 9.3

Stochastische Abbildung von $a \in \mathbb{R}^N$ auf $b \in \mathbb{R}^M$

Probabilistischer Modell $f(b \mid a)$ (grafisch)

Für konkretes $\underline{\hat{b}}$, wir suchen $f(a \mid \underline{\hat{b}})$ 💪

$$ \begin{aligned} &f(\underline{a} \mid \underline{\hat{b}}) f(\underline{\hat{b}})=f(\underline{\hat{b}} \mid \underline{a}) \cdot f(\underline{a}) \\ &\Rightarrow \underbrace{ f(\underline{a} \mid \underline{\hat{b}})}_{\text{Posteriror}}=\underbrace{\frac{1}{f(\underline{\hat{b}})}}_{\text{Normalizationskonstant}} \cdot \underbrace{f(\underline{\hat{b}} \mid \underline{a})}_{\text{Likelihood}} \cdot \underbrace{f(\underline{a})}_{\text{Vorwissen}} \end{aligned} $$

Für Messmodell

Likelihood: $f(\underline{\hat{y}} \mid \underline{x})$, wobei $\underline{\hat{y}}$ die Messung ist
$f^p(\underline{x})$: Gegebene priore Verteilung (also die Prädiktion) für Zustand

$\Rightarrow$ Posteriore Verteilung:

$$ f^e(\underline{x}) = f(\underline{x} \mid \underline{\hat{y}}) \propto f(\underline{\hat{y}} \mid \underline{x}) \cdot f^p(\underline{x}) $$

Rückwärtsinferenz mit Dichte

Skript 10.4.2
Übungsblatt Aufg. 9.4

Spezialfall: Additives Rauschen

Skript 10.4.3

$$ \underline{y} = \underline{g}(\underline{x}) + \underline{v} = \underline{t} + \underline{v} $$

Generative Modell

Gegeben

Vorwissen über Zustand $\underline{x}$ in Form von $f_x(\underline{x})$
Messung $\underline{\hat{y}}$
Charakteristik der Messrauschen $\underline{v}$ durch $f_v(\underline{v})$

Gesucht: $f(\underline{x} \mid \underline{\hat{y}})$

Probabilistisches Modell: Faktorisierung Beschreibung der Vebundsdichte

$$ \begin{aligned} f(\underline{t}, \underline{v}, \underline{x}, \underline{y}) &= f(\underline{y} \mid \underline{t}, \underline{v}, \underline{x}) \cdot f(\underline{t}, \underline{v}, \underline{x}) \quad | \quad \underline{y}, \underline{x} \text{ sind unab.} \\\\ &= f(\underline{y} \mid \underline{t}, \underline{v}) \cdot f(\underline{t} \mid \underline{v}, \underline{x}) \cdot f(\underline{v}, \underline{x}) \quad | \quad \underline{v}, \underline{t} \text{ sind unab.} \\\\ &= f(\underline{y} \mid \underline{t}, \underline{v}) \cdot f(\underline{t} \mid \underline{x}) \cdot f(\underline{v}, \underline{x}) \quad | \quad \underline{v}, \underline{x} \text{ sind unab.}\\\\ &= \delta(\underline{y} - \underline{t} - \underline{v}) \cdot \delta(\underline{t} - \underline{g}(\underline{x})) \cdot f_v(\underline{v}) \cdot f_x(\underline{x}) \end{aligned} $$

Grafisches Modell

Betrachtung 1: Direkt Marginalisierung

$$ \begin{aligned} f(\underline{x} \mid \underline{\hat{y}}) &= \frac{f(\underline{x}, \underline{\hat{y}})}{f(\underline{\hat{y}})} \\ &= \frac{1}{f(\underline{\hat{y}})} \int_{\mathbb{R}^M} \int_{\mathbb{R}^M} f(\underline{t}, \underline{v}, \underline{x}, \underline{\hat{y}}) d\underline{v} d\underline{t} \\ &= \frac{1}{f(\underline{\hat{y}})} \int_{\mathbb{R}^M} \int_{\mathbb{R}^M} \delta(\underline{\hat{y}} - \underline{t} - \underline{v}) \cdot \delta(\underline{t} - \underline{g}(\underline{x})) \cdot f_v(\underline{v}) \cdot f_x(\underline{x}) d\underline{v} d\underline{t} \\ &= \frac{1}{f(\underline{\hat{y}})} f_x(\underline{x}) \int_{\mathbb{R}^M} \delta(\underline{t} - \underline{g}(\underline{x})) f_v(\underline{\hat{y}} - \underline{t}) d\underline{t} \\ &= \frac{1}{f(\underline{\hat{y}})} f_x(\underline{x})f_v(\underline{\hat{y}} - \underline{g}(\underline{x})) \end{aligned} $$

Betrachtung 2: Unsicheres System und deterministische Messung

Wir betrachte $f(\underline{y} \mid \underline{x})$ als ein Ersatzsystem.

$$ \begin{aligned} f(\underline{y} \mid \underline{x}) &= \frac{1}{f_x(\underline{x})} f(\underline{x}, \underline{y}) \\\\ &= \int_{\mathbb{R}^M} \int_{\mathbb{R}^M} \delta(\underline{t} - \underline{g}(\underline{x})) \delta(\underline{\hat{y}} - \underline{t} - \underline{v}) f_v(\underline{v}) d\underline{v} d\underline{t} \\\\ &= f_v(\underline{\hat{y}} - \underline{g}(\underline{x})) \end{aligned} $$

Damit folgt für das vereinfachte System

Gesuchte posteriore Dichte

Betrachtung 3: Deterministisches System und unsichere Messung

$$ \begin{aligned} f(\underline{\hat{y}} \mid \underline{t}) &= \frac{f(\underline{\hat{y}}, \underline{t})}{f(\underline{t})} \\\\ &= \frac{1}{f(\underline{t})} \int_{\mathbb{R}^M} \underbrace{f(\underline{v}, \underline{t}, \underline{\hat{y}})}_{= f(\underline{\hat{y}} \mid \underline{v}, \underline{t}) f(\underline{v}, \underline{t}) = f(\underline{\hat{y}} \mid \underline{v}, \underline{t}) f(\underline{v}) f(\underline{t})} d\underline{v} \\\\ &= \frac{1}{f(\underline{t})} f(\underline{t}) \int_{\mathbb{R}^M} f_v(\underline{v}) \delta(\underline{\hat{y}} - \underline{t} - \underline{v}) d\underline{v} \\\\ &= f_v(\underline{\hat{y}} - \underline{t}) \end{aligned} $$

Gesuchte posteriore Dichte

$$ \begin{aligned} f(\underline{x} \mid \underline{\hat{y}}) &= \frac{f(\underline{x}, \underline{\hat{y}})}{f(\underline{\hat{y}})} \\\\ &= \frac{1}{f(\underline{\hat{y}})} \int_{\mathbb{R}^M} f(\underline{x}, \underline{t}, \underline{\hat{y}}) d\underline{t} \\\\ &= \frac{1}{f(\underline{\hat{y}})} \int_{\mathbb{R}^M} \underbrace{f(\underline{\hat{y}} \mid \underline{x}, \underline{t})}_{=f(\underline{\hat{y}} \mid \underline{t})} f(\underline{x}, \underline{t}) d\underline{t} \quad \mid \underline{x}, \underline{t} \text{ sind unab.} \\\\ &= \frac{1}{f(\underline{\hat{y}})} \int_{\mathbb{R}^M} f(\underline{\hat{y}} \mid \underline{t}) f(\underline{x}) f(\underline{t}) d\underline{t} \\\\ &= \frac{1}{f(\underline{\hat{y}})} \cdot f_v(\underline{\hat{y}} - \underline{g}(\underline{x})) \cdot f(\underline{x}) \end{aligned} $$

Schwierigkeiten Filterschritt

Problem 1: Type der Dichte zur Beschreibung der Schätzung ändert sich.

Beispiel:

Prior
$$ f^p(x) \propto \exp \left[-\frac{1}{2} \frac{(x - x^p)^2}{\sigma_p^2}\right] $$
Messabbildung
$$ y = x^2 + v \quad v \sim f^v(v) $$
z.B. $f^v(v)$ ist Gauß mit zero-mean und Varianz $=1$
$$ f^L(y \mid x) = f^v(y - x^2) \propto \exp \left[-\frac{1}{2} (y - x^2)^2\right] $$
Posteriror
$$ \begin{aligned} f^{e}(x) & \propto f^{p}(x) \cdot f^{L}(\hat{y} \mid x)\\ & \propto \exp \left[-\frac{1}{2}\left(\frac{x-x^{p}}{\sigma_{p}}\right)^{2}\right] \cdot \exp \left[-\frac{1}{2}\left(y-x^{2}\right)^{2}\right] \\ & \propto \exp \left[a x^{4}+b x^{3}+c x^{2}+d x+e\right] \end{aligned} $$
ist nicht mehr Gauß!🤪

Problem 2: Dichte wrid mit jedem Schritt komplexer

Beispiel

Prior ist eine Mixture mit 2 Komponente
$$ f^p(x) = \sum_{i=1}^2 f^{p, i}(x) $$
Messabbildung
$$ y = x + v \quad v \sim f^v(v) = \sum_{j=1}^2 f^{v, j}(v) $$
Posterior
$$ \begin{aligned} f^e(x) & \propto f^{p}(x) \cdot f^{v}(\hat{y}-x) \\ &=\left(\sum_{i=1}^{2} f^{p, i}(x)\right) \cdot\left(\sum_{j=1}^{2} f^{v, i}(\hat{y}-x)\right) \\ &=\sum_{i=1}^{4} f^{e_{i} i}(x) \end{aligned} $$
$\Rightarrow$ Insgesamt ist Approximation unvermeidbar! 🤪

Faktorgraphen und Message Passing

Wed, 03 Aug 2022 00:00:00 +0000

Faktorgraphen

Regeln

Beispiel

Message Passing

Definiere Nachricht an einer Kante

Schnitt zur Aufteilung eines Systems in 2 Teile

Betrachtung von Block mit einem Eingang und einem Ausgang

Gegeben: $R_x$ und $L_y$

$$ \begin{aligned} &R_{y}(y)=\int f(y \mid x) \cdot R_{x}(x) d x \\ &L_{x}(x)=\int f(y \mid x) \cdot L_{y}(y) d y \end{aligned} $$

Speizialfall: Lineares System

$$ \begin{aligned} y &= Hx\\ \Rightarrow f(y \mid x) &= \delta(y - Hx) \end{aligned} $$ $$ \begin{aligned} R_y(y) &= \int \delta(y-Hx) R_x(x) dx \quad \mid g(x):=y-Hx, g^\prime(x) = -H, x_1 = \frac{y}{H}\\ &= \int \frac{1}{|H|} \delta(x - \frac{y}{H}) R_x(x) dx \\ &= \frac{1}{|H|} R_x(\frac{y}{H}) \end{aligned} $$ $$ \begin{aligned} L_{x}(x) &=\int f(y \mid x) L_{y}(y) d y \\ &=\int \delta(y-H x) \cdot L_{y}(y) d y \\ &=L_{y}(H \cdot x) \end{aligned} $$

Beispiel

Gegeben: $\underline{\hat{x}}_4$
Gesucht: $f(\underline{x}_2 \mid \underline{\hat{x}}_4)$
Ziel: Rekursive Berechnung der Nachrichten
Direkt gegeben:
$$ R_{1}\left(\underline{x}_{1}\right)=f_{1}\left(\underline{x}_{1}\right) \quad L_{3}\left(\underline{x}_{3}\right)=f\left(\underline{\hat{x}}_{4} \mid \underline{x}_{3}\right) $$
Benötigt: $L_2(\underline{x}_2)$ und $R_2(\underline{x}_2)$
$$ \begin{aligned} &R_{2}\left(\underline{x}_{2}\right)=\int f\left(\underline{x}_{2} \mid \underline{x}_{1}\right) R_{1}\left(\underline{x}_{1}\right) d \underline{x}_{1} \\ &L_{2}\left(\underline{x}_{2}\right)=\int f\left(\underline{x}_{3} \mid \underline{x}_{2}\right) L_{3}\left(\underline{x}_{3}\right) d \underline{x}_{3} \end{aligned} $$

$\Rightarrow$ Fusionsergebnis:

$$ f\left(\underline{x}_{2} \mid \underline{\hat{x}}_{4}\right) \propto L_{2}\left(\underline{x}_{2}\right) \cdot R_{2}\left(\underline{x}_{2}\right) $$

Vereinfachte Filterung

Wed, 03 Aug 2022 00:00:00 +0000

Approximation der Likelihood

Vereinfachung der Likelihood $f(\underline{y} \mid \underline{x})$
Analog zu vereinfachter Prädiktion
- Approximierte Repräsentation durch Gaussian Mixture
- Wichtig: Entkoppelte Komponenten
$$ f(\underline{y} \mid \underline{x}) = \sum_{i \in \mathbb{Z}} f_i^y(\underline{y}) f_i^x(\underline{x}) $$

Resultierender vereinfachter Filterschritt

Likelihood für konkreten Messwert $\underline{\hat{y}}$:

$$ f^{L}(\underline{x})=f(\underline{\hat{y}} \mid \underline{x})=\sum_{i \in \mathbb{Z}} f_{i}^{y}(\underline{\hat{y}}) \cdot f_{i}^{x}(\underline{x}) $$

Priore Gaussian Mixture:

$$ f^{p}(\underline{x})=\sum_{j=1}^{L} f_{j}^{p}(\underline{x}) $$

$\Rightarrow$ Posterior:

$$ \begin{aligned} f^{e}(\underline{x}) & \propto f^{p}(\underline{x}) \cdot f^{L}(\underline{x}) \\ &= \left(\sum_{i \in \mathbb{z}} f_{i}^{y}(\underline{\hat{y}})\right) \cdot \left(\sum_{j=1}^{L} f_{i}^{p}(\underline{x}) \cdot f_{i}^{k}(\underline{x})\right) \end{aligned} $$

Aber Anzahl der Komponenten nimmt zu! 🤪

Einfache Filter für stark nichtlineare Systeme

Tue, 09 Aug 2022 00:00:00 +0000

Nutzung „einfacher“ Filter für stark nichtlineare Systeme

2 Variante

Approximation der Zustandsdichten durch Gaussian Mixture $\rightarrow$ Bank von nichtlinearen Kalman Filter für Prädiktion und Filterung
Approximation aller Dichten durch wertdiskrete Repräsentation $\rightarrow$ Wertdiskreter Filter

Gaussian Mixture Filter

Motivation

Approximation der Zustandsschätzung durch Gaussian Mixture

$$ f(\underline{x})=\sum_{i=1}^{L} w_{i} \mathcal{N}\left(\underline{x}-\underline{\hat{x}}_{i}, C_{i}\right) $$

mit

$$ \begin{aligned} &w_{i} \geqslant 0, \quad i \in\{1, \ldots,L\} \\ &\sum_{i=1}^{L} w_{i}=1 \end{aligned} $$

(Damit ist Gaussian Mixture für beliebige $L$ eine gültige Dichte)

Parameter

Gewichtsvektor $\underline{w} = [w_1, \dots, w_L]^T$
Mittelwerte $\underline{\hat{x}}_1, \dots, \underline{\hat{x}}_L$
Kovarianzmatrizen $C_1, \dots, C_L$

Gaussian Mixtures sind universelle Approximators. Falls $L$ genügend groß, kann jede Dichte beliebig genau approximiert werden.

Vorgehen

Ziel: Nutzung der Erkenntnisse zum Kalman Filter für schwach nichtlineare Systeme $\rightarrow$ stark nichtlinearer Fall
Deshalb: Individuelle Verarbeitung der einzelnen Komponente $i$ (also Vernachlässigung der Überlappung)
Ergibt Bank von nichtlinearen Kalman Filter, die parallel arbeiten.
Funktioniert besonders gut, wenn
- Überlappung der Komponenten klein
- einzelne Komponenten schmal (induzierte Nichtlinearität)

Prädiktionsschritt

Systemmodell

$$ \underline{x}_{k+1} = \underline{a}_k(\underline{x}_k) + \underline{w}_k $$

Einfache Schreiweise:

$$ \underline{z} = \underline{a}(\underline{x}) + \underline{w} \quad \underline{w} \sim \text{Gauß} $$

💡Kernidee: Aufspaltung der Chapman-Kolmogorov-Gleichung

$$ \begin{aligned} f^{p}(\underline{z})&=\int_{\mathbb{R}^{N}} f^{w}(\underline{z}-\underline{a}(\underline{x})) \cdot f^{e}(\underline{x}) d \underline{x}\\ &=\int_{\mathbb{R}^{N}} f^{w}(\underline{z}-\underline{a}(\underline{x})) \cdot\left[\sum_{i=1}^{c} w_{i} \mathcal{N} \left(\underline{x}-\underline{\hat{x}}_{i}^{e}, C_{i}^{e}\right)\right] d \underline{x}\\ &=\sum_{i=1}^{L} w_{i} \underbrace{\int_{\mathbb{R}^{N}} f^{w}(\underline{z}-\underline{a}(\underline{x})) \mathcal{N}\left(\underline{x}-\underline{\hat{x}}_{i}^{e}, C_{i}^{e}\right) d \underline{x}}_{\approx \mathcal{N}(\underline{z} - \underline{z}_{i+1}^p, C_{i+1}^p)} \end{aligned} $$

Also wir approximieren das Integral einfach mit einem lokalen Posterior für jedes $i$, die wieder Gauß ist, da sie so schmal ist.

$\underline{z}_{i+1}^p, C_{i+1}^p$ durch Anwendung nichtlinearer Kalman Filter

Filterschritt

Messmodell:

$$ \underline{y}_k=\underline{h}_{k}\left(\underline{x}_{k}\right)+\underline{v}_{u} $$

Einfache Schreibweise:

$$ \underline{y}=\underline{h}_{k}(\underline{x})+\underline{v} \quad \underline{v} \sim \operatorname{Gauß} $$

Filterschritt

$$ \begin{aligned} f^{e}(\underline{x}) &= \underline{c^{e}}_{\text{Normalisierungskonstante}} f^{v}\left(\underline{\hat{y}}-\underline{h}(\underline{x})\right) \cdot \sum_{i=1}^{L} w_{i} \mathcal{N}\left(\underline{x}-\hat{\underline{x}}_{i}^{p}, C_{i}^{p}\right) \\ &=c^{e} \sum_{i=1}^{L} w_{i} \underbrace{f^{v}(\underline{\hat{y}}-\underline{h}(\underline{x})) \cdot \mathcal{N} \left(\underline{x}-\underline{\hat{x}}_{i}^{p}, C_{i}^{p}\right)}_{\approx k_i \mathcal{N} \left(\underline{x}-\underline{\hat{x}}_{i}^{e}, C_{i}^{e}\right)} \\ &= c^e \sum_{i=1}^{L} w_{i} k_i \mathcal{N} \left(\underline{x}-\underline{\hat{x}}_{i}^{e}, C_{i}^{e}\right) \end{aligned} $$

$\underline{\hat{x}}_{i}^{e}, C_{i}^{e}$ durch nichtlinearen Kalman Filter bestimmen.

Rasterbasierte Filter

Rasterbasierte Repräsentation von Dichten

Zunächst: Skalarer Fall

Gegeben: Dichte $f(x), x \in \mathbb{R}$
Gescuht: Wertdiskrete Repräsentation
$$ \underline{\eta} \in \mathbb{R}_{+}^{L}, \quad \underline{\mathbf{1}}^{\top} \cdot \underline{\eta}=1 \text{ (Normalisierung)} $$

Rasterbasierter Filter- und Prädiktionsschritt

$$ \underline{\eta}=\left[\begin{array}{c} \eta _{1} \\ \eta _{2} \\ \vdots \\ \eta _{L} \end{array}\right] $$

Annahme: Repräsentiere $\eta_i$ in Mitte jedes Intervalls durch Dirac’sche Deltafunktion

Kriterium: Integralwerte sollen gleich sein.

$$ \begin{aligned} &\int_{x_{i-1}}^{x_i}f(x)dx \overset{!}{=} \underbrace{\int_{x_{i-1}}^{x_i} \eta_i \cdot \delta(x - \frac{x_i + x_{i-1}}{2}) dx}_{=\eta_i} \\ &\Rightarrow \eta_i \propto \int_{x_{i-1}}^{x_i}f(x)dx \quad i \in \{1, \dots, L\} \end{aligned} $$

Normalisierung erfordlich:

$$ \eta_{i}:=\frac{\eta_{i}}{\sum_{i} \eta_{i}} \quad i \in\left\{1, \dots, L\right\} $$

In vielen Fällen, Integral über $f(x)$ nicht analytisch lösbar. $\Rightarrow$ Integration zu aufwändig.

Alternative: Stückweise Konstant Approximation von $f(x)$

Aber: Optimaler Vergleich erfordert auch Integration
Deshalb: Verwendung des Dichtwerts an Stelle
$$ h_i = f(\frac{x_i + x_{i-1}}{2}) $$
Damit
$$ \begin{aligned} &\int_{x_{i-1}}^{x_i} f(x) dx \approx \int_{x_{i-1}}^{x_i} h_i dx = h_i(\underbrace{x_i - x_{i-1}}_{=\Delta}) \\ & \Rightarrow \eta_i \propto \Delta \cdot h_i = \Delta \cdot f(\frac{x_i + x_{i-1}}{2}) \end{aligned} $$
mit Normalisierung

Rasterbasierter Filterschritt

Generatives Modell

$$ y = h(x, v) $$

Kovertiere in probabilitisches Modell $f(y \mid x)$

Messung $\hat{y}$ sidn nicht wertdiskret $\rightarrow$ Quantisierung von $f(\hat{y} \mid x) = f^L(x)$

Da $f(\hat{y} \mid x)$ i.d.R. nicht analytisch integrierbar $\rightarrow$

$$ \eta_{i}^{L} \propto \Delta f^{L}\left(\frac{x_{i}+x_{i-1}}{2}\right) \quad i \in\{1, \dots,L\} $$

und Normalisierung.

Für gegebene Dichte $\underline{\eta}^{p}=\left[\eta_{1}^{p}, \eta_{2}^{p}, \ldots, \eta_{L}^{p}\right]^{\top}$

$$ \underline{\eta}^{e} \propto \underline{\eta}^{L} \odot \underline{\eta}^{p} \tag{posteriore Verteilung} $$

Rasterbasierter Prädiktionsschritt

Generatives Modell

$$ x_{k+1} = a_k(x_k, w_k) $$

Einfache Schreibweise

$$ z = a(x, w) $$

probabilitisches Modell: $f(z \mid x)$

Hier müssen wir für skalare Zustände eine 2D-Dichte quantisieren.

$\Rightarrow$ Es ergibt sich eine Matrix

$$ A_{i j} \propto f\left(\frac{z_{j}+z_{j-1}}{2}, \frac{x_{i}+x_{i-1}}{2}\right) $$

Normalisierung

Es handelt sich um Transitionsmatrix
Stochastische Matrix, Zeilensumme = 1
$A_{i j}:=\displaystyle\frac{A_{i j}}{\sum_{i=1}^{L} A_{i j}}, i \in\{1, \ldots,L\}$

Gegeben:

Transitionsmatrix $A \in \mathbb{R}_{+}^{L \times L}$
Schätzung aus letzen Filterschritt $\underline{\eta}^e \in \mathbb{R}_{+}^{L}$

Ergebnis des Prädiktionsschritts:

$$ \underline{\eta}^p = A^\top \underline{\eta}^e $$

Aufwändiger als Filterschritt 🤪

Erweiterung Prädiktionsschritt

Bisher angenommen: Raster für $z$ (also $x_{k+1}$) schon bekannt/fest

Das ist leider nicht praxisgerecht, da sich Wertbereich aus Abbildung ergibt.

Speizialfall: Lineares System mit additives Rauschen (i. Allg. schwieriger)

$$ z = \underbrace{x + u}_{z^\prime} + w \quad w \sim f^w(w) $$

Zwischengröße $z^\prime$: Nutze Eingang $\hat{u}$, um Raster zu verschieben (bewegliches Raster)
$$ z_i^\prime = x_i + \hat{u} \quad i \in \{1, \dots, L\} $$
Wir setzen $z_i = z_i^\prime$

Danach Faltung mit $f_w(w)$:

$$ fz\left(z^{\prime}\right)=f^{w}\left(z-z^{\prime}\right) $$

Dann Quantisierung von $f(z \mid z^\prime) \Rightarrow$

$$ \begin{aligned} A_{i j} &=f^{w}\left(\frac{z_{j}+z_{j - 1}}{2} \mid \frac{z_{i}^{\prime}+z_{i - 1}^\prime}{2}\right) \\ A_{i j}&=f^{\omega}\left(\frac{1}{2}\left[z_{i}+z_{j-1}-\left(z_{i}^{\prime}+z_{i-1}^{\prime}\right)\right]\right) \end{aligned} $$

Wir wissen

$$ \begin{aligned} \frac{z_{i}+z_{j-1}}{2}&=\frac{2 j-1}{2} \Delta+z_{0} \\ \frac{z_{i}^{\prime}+z_{i-1}^{\prime}}{2}&=\frac{z_{i}-1}{2} \Delta+z_{0}^{\prime} \\ \Rightarrow A_{ij} &= f^w(\Delta[j - i]), \text{ falls } z_0 = z_0^\prime \Rightarrow j - i \in \{-(L-1), \dots, -1, 0, 1, \dots, L - 1\} \end{aligned} $$

Vorabdiskretisierung von $f^w(\cdot)$

Eintragen der Werte in Transitionsmatrix $A$ mit $A_{ij} = f^w(\Delta(j-i))$

Dann Berechnung der Posteriro wie gehabt.

Rekonstruktion kontinuierlicher Dichten

Ergebnis von Prädiktion und Filterung in wertdiskreter Form $\underline{\eta} \in \mathbb{R}_+^L$

Berechnung von Kenngröße einfach, dazu Positionen erforderlich

Erwartungswert

$$ \begin{aligned} \hat{x} &=\int_{\mathbb{R}} x \sum_{i=1}^{2} \eta_{i} \int\left(x-\frac{x_{i}+x_{i-1}}{2}\right) d x \\ &=\sum_{i=1}^{L} \eta_{i} \frac{x_{i}+x_{i-1}}{2} \quad \mid \frac{x_{i}+x_{i-1}}{2}=\frac{2 i-1}{2} \Delta+x_{0} \\ &= \sum_{i=1}^{L} \eta_{i} (\frac{2i-1}{2} \Delta + x_0) \end{aligned} $$

Analog für Varianz.

Gesucht: kontinuierliche Rekonstruktion $f(x)$ aus $\eta$

Als Dirac Mixture

$$ f(x) \approx \sum_{i=1}^{L} \eta_{i} \delta\left(x-\frac{x_{i}+x_{i-1}}{2}\right) $$

Verschiedenen Möglichkeiten der Interpolation

Stückweise Konstante Interpolation
$$ \int_{x_{i-1}}^{x_{i}} h_{i} d x \overset{!}{=} \int_{x_{i=1}}^{x_{i}} u_{i} \delta() d x \Rightarrow h_{i}=\frac{\eta_{i}}{\Delta} $$
Stetige, stückweise lineare Interpolation
$$ (t_i + t_{i-1}) \frac{\Delta}{2} = \eta_i $$
und weitere Bedingung
$$ t_0 = t_1 $$

Erweiterungen

Mehrdimensional Fall: $\underline{x} \in \mathbb{R}^N$

Filterschritt analog
Prädiktionsschritt: $f(\underline{z} \mid \underline{x})$ nun von $\mathbb{R}^N$aud $\mathbb{R}^N \Rightarrow A \in \mathbb{R}^{2N}$

Lösung

Bewegliches Raster für nichtlineare Systemmodelle
Adaptive Auflösung eines äquidistanten / homogenen Rasters
Inhomoge Raster $\rightarrow$ variable Auflösung
Effiziente Implementierung, z.B. dünn besetzte Matrizen ($0$ nicht explizit dargestellt)

Zusammenfassung

Sun, 07 Aug 2022 00:00:00 +0000

Vorwärtsinferenz

Gegeben
- $f_a(a)$
- $g(a)$
Gesucht: $f_b(b)$

Schritte:

Umforme $f(b \mid a) = \delta(b - g(a))$ mit
$$ \delta (g(x)) = \sum_{i=1}^N \frac{1}{|g^\prime(x_i)|}\delta (x - x_i) $$
wobei
- $g(x_i) = 0$ (also $x_i$ sind Nullstellen, $i = 1, 2, \dots, N$)
- $g^\prime(x_i) \neq 0$
Berechne $f_b(b)$ mithilfe von Chapman-Kolmogorov-Gleichung
$$ f(b) = \int f(b \mid a) f(a) da $$
und setze die Unformung von $f(b \mid a)$ von Schritt 1 ein. Dann kriege die gesuchte Dichtefunktion $f_b(b)$ in Abhängigkeit von $f_a(a)$.

Bsp: Aufgabe 9.1

Rückwartsinferenz

Konkrete Messung

Umforme $f_b(b \mid a) = \delta(b - g(a))$ mit
$$ \delta (g(x)) = \sum_{i=1}^N \frac{1}{|g^\prime(x_i)|}\delta (x - x_i) $$
wobei
- $g(x_i) = 0$ (also $x_i$ sind Nullstellen, $i = 1, 2, \dots, N$)
- $g^\prime(x_i) \neq 0$
Berechne $f_b(b)$
$$ f_b(b) = \int f_{a, b}(a, b) da = \int f_{b}(b \mid a) f_a(a) da $$
mit Einsetzen der Unformung von $f(b \mid a)$ von Schritt 1 ein
Berechne $f_a(a \mid b)$ mithilfe von Bayes Regeln
$$ f_a(a \mid b) = \frac{f_a(b \mid a) f_a(a)}{f_b(b)} = \frac{\overbrace{\delta(b - g(a))}^{\text{Schritt 1}} f_a(a)}{\underbrace{f_b(b)}_{\text{Schritt 2}}} $$

Bsp: Aufgabe 9.2, 9.3

Unsichere Messung

Schritte:

Erweitere das System um eine zusätzliche stochastische Abbildung und einen festen Ausgang $\hat{z}$

Bestimme $f(\hat{z} \mid y)$
$$ \begin{aligned} f(\hat{z} \mid y) &= \frac{f(y \mid \hat{z})f(\hat{z})}{f(y)} \\\\ &= \frac{f(y \mid \hat{z})f(\hat{z})}{\int f(y, x) dx} \\\\ &= \frac{f(y \mid \hat{z})f(\hat{z})}{\int f(y|x)f(x) dx} \\\\ &= \frac{f(y \mid \hat{z})f(\hat{z})}{\int \delta(y - g(x)) f(x) dx} \\\\ \end{aligned} $$
Und setze die Umformung von $\delta(y - g(x))$
$$ \delta (g(x)) = \sum_{i=1}^N \frac{1}{|g^\prime(x_i)|}\delta (x - x_i) $$
- $g(x_i) = 0$ (also $x_i$ sind Nullstellen, $i = 1, 2, \dots, N$)
- $g^\prime(x_i) \neq 0$
ein.
Berechung der Rückwärtsinferenz $f(x \mid \hat{z})$
$$ \begin{aligned} f(x \mid \hat{z}) &=\frac{1}{f\left(\hat{z}\right)} \cdot f(x, z) \quad \mid \text{Marginalisierung nach } y\\ &=\frac{1}{f(\hat{z})} \int f(x, y, z) d y \\ &=\frac{1}{f(\hat{z})} \int f(\hat{z} \mid y, x) \cdot f(y , x) d y \quad \mid \hat{z}, x \text{ sind unabhängig}\\ &=\frac{1}{f(\hat{z})} \int f(\hat{z} \mid y) \cdot f(y \mid x) \cdot f(x) d y \\ &=\frac{1}{f(\hat{z})} \int \underbrace{f(\hat{z} \mid y)}_{\text{Berechnet in Schritt 1}} \cdot \underbrace{f(y \mid x)}_{\text{Systemmodell}} \cdot f(x) d y \end{aligned} $$

Bsp: Aufgabe 9.4