Zusammenfassung | Haobin Tan

Zusammenfassung

Thu, 18 Aug 2022 00:00:00 +0000

Mindmap

Wed, 14 Sep 2022 00:00:00 +0000

Allgemeine Fragen

Thu, 18 Aug 2022 00:00:00 +0000

Vorlesung in eigenen Worten zusammenfassen

Die SI Vorlesung vermittelt die fundamentalen und formalen Grundlagen der Zustandsschätzung rund um Prädiktion und Filterung.

Vier behandelten Typen von Systemen

erläutern

Nennen
Zusammenhänge
Unterschiede
Limitierungen
Komplexität einer Implementierung der zugehörigen Schätzer

4 Type von Systeme

Wertediskrete Systeme
Wertekontinuierliche lineare Systeme
Wertekontinuierliche und schwach nichtlineare Systeme
Allgemeine Systeme

Wann kann man mit 1D-Messungen auch auf einen 3D-Zustand schließen? Wie sehen dann die Unsicherheits-Ellipsen über der Zeit aus?

Definition

Induzierte Nichtlinearität

Bedingte Unabhängigkeit

Zwei Variable $A, B$ sind bedingt unabhängig, gegeben $C$ $\Leftrightarrow$

$$ P(A, B | C) = P(A | C) P(B | C) $$

Damit äquivalent sind die Formulierungen: $$ P(A | B,C) = P(A | C) \qquad P(B | A,C) = P(B | C) $$

Zustand

(Script P19)

The state of a dynamic system is defined as the smallest set of variables, the so called state variables, that completely determine the behavior of the system for $t \geq t_0$ given their values at $t_0$ together with the input function for $t \geq t_0$.

When modeling a system, the choice of state variables is not unique.
State variables do not need be physically existent. They also do not need to be measurable.

Der Zustand eines dynamischen Systems ist definiert als die kleinste Menge von Variablen, den so genannten Zustandsvariablen, die das Verhalten des Systems für $t \geq t_0$ vollständig bestimmen/beschreiben, wenn man ihre Werte bei $t_0$ zusammen mit der Eingangsfunktion für $t \geq t_0$ betrachtet.

Zustandsschätzung

Rekonstruktion des internen Zustands aus Messungen und Eingängen

Komplexität einer Rekursion

Dichtefunktion, Likelihood

Verteilungsfunktion oder kumulative Wahrscheinlichkeitsdichte $F_{\boldsymbol{x}}(x)$ der Zufallsvariablen $\boldsymbol{x}$

$$ F_{\boldsymbol{x}}: \mathbb{R} \rightarrow[0,1] \qquad F_{\boldsymbol{x}}(x):=\mathrm{P}(\boldsymbol{x} \leq x) $$

Eigenschaften von $F_{\boldsymbol{x}}(x)$

$\lim _{x \rightarrow-\infty} F_{\boldsymbol{x}}(x)=0$
$\lim _{x \rightarrow\infty} F_{\boldsymbol{x}}(x)=1$
monoton steigend und rechtsseitig stetig.

Bei stetiger Zufallsvariable:

$$ F_{\boldsymbol{x}}(x)=\int_{-\infty}^{x} f_{\boldsymbol{x}}(u) \mathrm{d} u $$

$f_{\boldsymbol{x}}(x)$ heißt Dichte von $x$.

“Dichte” einer diskreten Zufallsvariable:

$$ f_{\boldsymbol{x}}(x)=\sum_{n=1}^{\infty} \mathrm{P}\left(\boldsymbol{x}=x_{n}\right) \delta\left(x-x_{n}\right)=\sum_{n=1}^{\infty} p_{n} \delta\left(x-x_{n}\right) $$

Zufallsvariable

Üb 1, A4, A5

Eine Zufallsvariable ist eine numerische Beschreibung des Ergebnisses eines Zufallsexperiments. Es handelt sich um eine Funktion, die ein Ergebnis $\omega$ aus einem Ergebnisraum $\Omega$ in den Raum $\mathbb{R}$ der reellen Zahlen abbildet

$$ \boldsymbol{x}=\boldsymbol{x}(\omega): \Omega \rightarrow \mathbb{R} $$

Zwei Typen

Diskret: Ergebnisse sind endlich oder höchstens abzählbar unendlich
Kontinuierlich: Ereignis- und Wertemenge ist überabzählbaren.

Momente

Üb 2, A1.1

Erwartungswert (Mittelwert, 1-te Moment) der Zufallsvariablen $\boldsymbol{x}$:

$$ \mathrm{E}_{f_{\boldsymbol{x}}}\{\boldsymbol{x}\}=\hat{\boldsymbol{x}}=\mu_{\boldsymbol{x}}=\int_{-\infty}^{\infty} x f_{\boldsymbol{x}}(x) \mathrm{d} x $$

$k$-te Moment der Zufallsvariablen $\boldsymbol{x}$: $$ \mathrm{E}_{f_{\boldsymbol{x}}}\left\{\boldsymbol{x}^{k}\right\}=\int_{-\infty}^{\infty} x^{k} f_{\boldsymbol{x}}(x) \mathrm{d} x $$

$k$-te zentrale Moment der Zufallsvariablen $\boldsymbol{x}$:

$$ \mathrm{E}_{f_{\boldsymbol{x}}}\left\{\left(\boldsymbol{x}-\mathrm{E}_{f_{\boldsymbol{x}}}\{\boldsymbol{x}\}\right)^{k}\right\}=\int_{-\infty}^{\infty}\left(x-\mu_{\boldsymbol{x}}\right)^{k} f_{\boldsymbol{x}}(x) \mathrm{d} x $$

Varianz (2-te zentral Moment) der Zufallsvariablen $\boldsymbol{x}$:

$$ \mathrm{E}_{f_{\boldsymbol{x}}}\left\{\left(\boldsymbol{x}-\mathrm{E}_{f_{\boldsymbol{x}}}\{\boldsymbol{x}\}\right)^{2}\right\}=\int_{-\infty}^{\infty}\left(x-\mu_{\boldsymbol{x}}\right)^{2} f_{\boldsymbol{x}}(x) \mathrm{d} x $$

$\sigma_{\boldsymbol{x}}$: Standardabweichung der Zufallsvariablen $\boldsymbol{x}$

2-dim. Zufallsvariable

Üb 2, A2.2

$\underline{X}$ sei eine zweidimensionale Zufallsvariable mit der Dichte $f(\underline{X})=f_{\underline{X}}\left(x_{1}, x_{2}\right)$.

Randdichte

$$ \begin{array}{l} f_{X_{1}}\left(x_{1}\right)=\int_{-\infty}^{\infty} f_{\underline{X}}\left(x_{1}, x_{2}\right) \mathrm{d} x_{2} \\ f_{X_{2}}\left(x_{2}\right)=\int_{-\infty}^{\infty} f_{\underline{X}}\left(x_{1}, x_{2}\right) \mathrm{d} x_{1} \end{array} $$

Bedingte Dichte

Bedingte Dichte von $x_1$

$$ f_{X_{1}}\left(x_{1} \mid X_{2}=x_{2}\right)=\frac{f_{\underline{X}}\left(x_{1}, x_{2}\right)}{f_{X_{2}}\left(x_{2}\right)} $$

Bedingte Dichte von $x_2$

$$ f_{X_{2}}\left(x_{2} \mid X_{1}=x_{1}\right)=\frac{f_{\underline{X}}\left(x_{1}, x_{2}\right)}{f_{X_{1}}\left(x_{1}\right)} $$

Unabhängigkeit und Unkorreliertheit von Zufallsvariablen

Üb 2, A2.3

$X, Y$ sind unabhängig $\Leftrightarrow$

$$ f_{X, Y}(x, y)=f_{X}(x) \cdot f_{Y}(y) $$

Damit gilt auch

$$ f_{X}(x \mid Y=y)=f_{X}(x) $$

Die Kovarianz $\sigma_{X, Y}=\operatorname{Cov}_{\boldsymbol{f}_{X, Y}}\{X, Y\}$ von $X$ und $Y$:

$$ \sigma_{X, Y}=\operatorname{Cov}_{f_{X, Y}}\{X, Y\}=\mathrm{E}\{(X-\mathrm{E}\{X\}) \cdot(Y-\mathrm{E}\{Y\})\}=\mathrm{E}\left\{\left(X-\mu_{x}\right) \cdot\left(Y-\mu_{y}\right)\right\} $$

Der Korrelationskoeffizient von $X$ und $Y$:

$$ \rho_{X, Y}=\frac{\sigma_{X, Y}}{\sigma_{X} \cdot \sigma_{Y}} \in [-1, 1] $$

$\left|\rho_{X, Y}\right|=1$: $X$ und $Y$ sind maximal ähnlich
$\left|\rho_{X, Y}\right|=0$: $X$ und $Y$ sind komplett unähnlich (i.e., $X$ und $Y$ sind unkorreliert)

Unabhängigkeit und Unkorreliertheit:

$$ \text{Unabhängigkeit} \underset{\text{+ Normalverteilung}}{\rightleftharpoons} \text{Unkorreliertheit} $$

Erwartungswert

Üb 1, A7
Üb 2, A3.4

Der Erwartungswert kann interpretiert werden als Mittelwert aller möglichen Werte $x_n$, die eine (diskrete) Zufallsvariable $\boldsymbol{x}$ annehmen kann. Dabei werden die Werte entsprechend ihrer Auftretenswahrscheinlichkeit $p_n$ gewichtet.

$$ \mathrm{E}\{\boldsymbol{x}\}=\sum_{n=1}^{N} x_{n} p_{n} $$

Kontinuierlicher Fall:

$$ \mathrm{E}_{f_\boldsymbol{x}}\{\boldsymbol{x}\} = \int_{-\infty}^{\infty}x f_\boldsymbol{x}(x) dx $$

Erwartungswert für Funktionen einer Zufallsvariable:

$$ \mathrm{E}_{f_{\boldsymbol{x}}}\{g(\boldsymbol{x})\}=\int_{-\infty}^{\infty} g(x) f_{\boldsymbol{x}}(x) \mathrm{d} x $$

Recehenregeln:

$\mathrm{E}_{f_{X}}\{a X+b\}=a \mathrm{E}_{f_{X}}\{X\}+b$
$a$ ist eine Konstante: $E(a)=a$
$E(X \pm Y)=E(X) \pm E(Y)$
$E(XY) = E(x) E(Y)$ , falls $x, Y$ unabhängig

Varianz

$$ E_{f_X}\{(X - \mu_X)^2\} = \operatorname{Var}(X) = \sigma_X^2 $$

Rechenregeln:

$\operatorname{Var}_{f_X}\{aX+b\} = a^2 \operatorname{Var}_{f_X}\{X\}$
$\operatorname{Var}_{f_{X}}\{X\}=\mathrm{E}_{f_{X}}\left\{X^{2}\right\}-\left(\mathrm{E}_{f_{X}}\{X\}\right)^{2}$
$a$ is eine Konstante
- $\operatorname{Var}_{f_X}\{a\} = 0$
- $\operatorname{Var}_{f_X}\{a \pm X\} = \operatorname{Var}_{f_X}\{X\}$
$\operatorname{Var}\{X, Y\} = E\{XY\} - \mu_X \mu_Y $

Kovarianzmatrix

Üb 2, A2.3
Üb 4, A5

$$ \begin{array}{l} \operatorname{Cov}_{f_{\underline{x}}}\{\underline{X}\}=\mathrm{E}_{f_{\underline{\underline{x}}}}\left\{(\underline{X}-\underline{\mu})(\underline{X}-\underline{\mu})^{\top}\right\}\\ \newline =\left[\begin{array}{cccc} \sigma_{X_{1}}^{2} & \sigma_{X_1 X_2} & \cdots & \sigma_{X_1 X_N} \\ \sigma_{X_2 X_1} & \sigma_{X_{2}}^{2} & \cdots & \sigma_{X_2 X_N} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{X_N X_1} & \sigma_{X_N X_2} & \cdots & \sigma_{X_{N}}^{2} \end{array}\right] \newline =\left[\begin{array}{cccc} \sigma_{X_{1}}^{2} & \rho_{X_{1}, X_{2}} \sigma_{X_{1}} \sigma_{X_{2}} & \cdots & \rho_{X_{1}, X_{N}} \sigma_{X_{1}} \sigma_{X_{N}} \\ \rho_{X_{2}, X_{1}} \sigma_{X_{2}} \sigma_{X_{1}} & \sigma_{X_{2}}^{2} & \cdots & \rho_{X_{2}, X_{N}} \sigma_{X_{2}} \sigma_{X_{N}} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{X_{N}, X_{1}} \sigma_{X_{N}} \sigma_{X_{1}} & \rho_{X_{N}, X_{2}} \sigma_{X_{N}} \sigma_{X_{2}} & \cdots & \sigma_{X_{N}}^{2} \end{array}\right] \end{array} $$

Positiv definit, positiv semidefinit

Eine beliebige (ggf. symmetrische bzw. hermitesche) $n \times n$-Matrix $A$ ist

positiv definit, falls
$$ x^T A x > 0 $$
positiv semidefinit, falls
$$ x^T A x \geq 0 $$

Weißes Rauschen

Uncertainties taken at different time steps are also independent

System-Eigenschaften: dynamisch, statisch, linear, zeitinvariant

Statisch: Der aktuellen Ausgang $y_k$ ist abhängig von dem aktuellen Eingang $u_k$.

Dynamisch: Der aktuellen Ausgang $y_k$ ist abhängig von

dem aktuellen Eingang $u_k$
dem aktuellen Zustand $x_k$

Bei wertkontinuierlicher linearer Systeme:

Üb 5, A1

Linear
$$ \mathcal{S}\left\{\sum_{i=1}^{N} c_{i} y_{\mathrm{e} i, n}\right\}=\sum_{i=1}^{N} c_{i} \mathcal{S}\left\{y_{\mathrm{e} i, n}\right\} $$
(also höhste Exponent $\leq 1$)
Zeitinvariant

Das System antwortet auf ein zeitlich verschobenes Eingangssignal $y_{\mathrm{e}, n-n_{0}}$ mit dem entsprechend zeitlichverschobenen Ausgangssignal $y_{\mathrm{a}, n-n_{0}}$
$$ y_{\mathrm{a}, n}=\mathcal{S}\left\{y_{\mathrm{e}, n}\right\} \quad \Longrightarrow \quad y_{\mathrm{a}, n-n_{0}}=\mathcal{S}\left\{y_{\mathrm{e}, n-n_{0}}\right\}. $$
(also unabhängig von dem Zeitindex $k$)
Kausalität

Ein zeitdiskretes System S heißt kausal, wenn die Antwort NUR von gegenwärtigen oder vergangenen, NICHT jedoch von zukünftigen Werten des Eingangssignals abhängt.

Dirac Funktion

Definition:

$$ \begin{aligned} \delta(x)&=0, \quad x \neq 0 \\ \int_{a}^b \delta(x) dx &= 1 \quad a < x < b \end{aligned} $$

Rechenregeln

Verschiebung
$$ \int_{a}^{b} f(x) \delta\left(x-x_{0}\right) \mathrm{d} x=f\left(x_{0}\right) $$
Symmetrie
$$ \delta(x) = \delta(-x) $$
Skalierung
$$ \int_{a}^{b} f(x) \delta(|k| x) \mathrm{d} x=\frac{1}{|k|} f(0) $$
Hintereinanderausführung
$$ \int_{-\infty}^{\infty} f(x) \delta(g(x)) \mathrm{d} x=\sum_{i=1}^{n} \frac{f\left(x_{i}\right)}{\left|g^{\prime}\left(x_{i}\right)\right|} $$
wobei $g(x_i) = 0$ und $g^\prime(x_i) \neq 0$.
Verkettung auflösen (super wichtig!!!)
$$ \delta(g(x)) = \sum_i \frac{1}{g^\prime(x_i)} \delta(x - x_i) $$
wobei $g(x_i) = 0$ und $g^\prime(x_i) \neq 0$.

Dirac Mixture

$$ f(x)=\sum_{i=1}^{L} w_{i} \delta(\underline{x}-\underline{\hat{x}}_i) $$

Wertediskrete Systeme

Sat, 20 Aug 2022 00:00:00 +0000

Wonham Filter

Zustandschätzung für wertediskrete Systeme: Wonham Filter

Prädiktion
$$ \underline{\xi}_{k}^{p}=\mathbf{A}^{\top} \underline{\xi}_{k-1}^{e} $$
Filterung
$$ \underline{\xi}_{k}^{e} \overset{y_k = m}{=} \frac{\mathbf{B}(:, m) \odot \underline{\xi}_{k}^{p}}{\mathbf{B}(:, m)^\top \cdot \underline{\xi}_{k}^{p}} $$

Üb 4, A2

Herleitung

Prädiktion $P(x_k \mid y_{0:m}, u_{0:k-1})$ für $k > m$
1. nach $x_{k-1}$ marginalisieren
2. Bayes einsetzen
  $$ P(a, b \mid c) = P(a \mid b, c) \cdot P(b \mid c) \qquad (\ast) $$
3. Markov Eigenschaft verwenden
Filterung: $P\left(x_{k} \mid y_{1: k}, u_{0: k-1}\right)$
1. $P\left(x_{k} \mid y_{1: k}, u_{0: k-1}\right) = P(x_{k} \mid y_k, y_{1: k-1}, u_{0: k-1})$
2. Bayes einsetzen
  $$ P(b \mid a, c) \cdot P(a \mid c)=P(a \mid b, c) \cdot P(b \mid c) \quad (\triangle) $$
3. Schreibe in Form $\frac{\text{Likelihood} \cdot \text{Prädiktion}}{\text{Normalisierungskonstant}}$
  $$ P\left(x_{k} \mid y_{1: k}, u_{0: k-1}\right) = \frac{\overbrace{P\left(y_{k} \mid x_{k}\right)}^{\text{Likelihood}} \cdot \overbrace{P\left(x_{k} \mid y_{1: k-1}, u_{0: k-1}\right)}^{\text{Einschritt-Prädiktion}}}{\underbrace{P\left(y_{k} \mid y_{1: k-1}, u_{0: k-1}\right)}_{\text{Normalisierungskonstant}}} $$
  - Likelihood: $P\left(y_{k} \mid x_{k}\right) = \mathbf{B}(x_k, y_k)$
  - Prädiktion erhalten wir in Prädiktionsschritt
  - Normalisierungskonstant
    1. Marginalisierung nach $x_k$
    2. Bayes einsetzen
      $$ P(a, b \mid c) = P(a \mid b, c) \cdot P(b \mid c) \qquad (\ast) $$

Komplexitätsproblem bei der Diskretisierung eines allgemeinen Systems

Riesiger Speicherbedarf von Wahrscheinlichkeitsvektor und Transitionsmatrix

Wertekontinuierliche lineare Systeme

Mon, 22 Aug 2022 00:00:00 +0000

Kalman Filter

Prädiktion

$$ \underline{\hat{x}}_k^p = \mathbf{A}_{k-1}\underline{\hat{x}}_{k-1}^e + \mathbf{B}_{k-1} \underline{\hat{u}}_{k-1} $$ $$ \mathbf{C}_k^p = \mathbf{A}_{k-1} \mathbf{C}_{k-1}^e A_{k-1}^\top + \mathbf{B}_{k-1} \mathbf{C}_{k-1}^w \mathbf{B}_{k-1}^\top $$

Filterung

$$ \mathbf{K}_k = \mathbf{C}_k^p \mathbf{H}_k^\top (\mathbf{C}_k^v + \mathbf{H}_k \mathbf{C}_k^p \mathbf{H}_k ^\top)^{-1} \tag{Kalman Gain} $$ $$ \underline{\hat{x}}_k^e = (\mathbf{I} - \mathbf{K}_k \mathbf{H}_k) \underline{\hat{x}}_k^p + \mathbf{K}_k \underline{\hat{y}}_k = \underline{\hat{x}}_k^p + \mathbf{K}_k(\underline{\hat{y}}_k - \mathbf{H}_k \underline{\hat{x}}_k^p) $$ $$ \mathbf{C}_k^e = (\mathbf{I} - \mathbf{K}_k\mathbf{H}_k)\mathbf{C}_k^p = \mathbf{C}_k^p - \mathbf{C}_k^p \mathbf{H}_k^\top (\mathbf{C}_k^v + \mathbf{H}_k \mathbf{C}_k^p \mathbf{H}_k ^\top)^{-1}\mathbf{H}_k \mathbf{C}_k^p $$

Kalman Filter (vektoriell) herleiten

Prädiktion

Systemabbildung

$$ \underline{x}_{k+1}=\mathbf{A}_{k} \cdot \underline{x}_{k}+\mathbf{B}_{k} \cdot \underbrace{\left(\underline{\tilde{u}}_{k}+\underline{w}_{k}\right)}_{\underline{u_k}} $$

Schritte

Berechnung des Erwartungswerts für $k+1$
$$ E\left\{\underline{x}_{k+1}\right\}=\mathbf{A}_{k} \cdot \underline{\hat{x}}_{k|1: m}+\mathbf{B}_{k} \tilde{\underline{u}}_{k} \qquad (+) $$
Berechnung der Kovarianzmatrix $C_{k+1|1:m}^x$ mit der Annahme, dass Zustand und Systemrauschen unkorreliert sind
$$ \begin{aligned} \underline{x}_{k+1} &=\mathbf{A}_{k} \underline{x}_{k}+\mathbf{B}_{k} \underline{u}_{k} \\ &=\left[\begin{array}{ll} \mathbf{A}_{k} & \mathbf{B}_{k} \end{array}\right]\left[\begin{array}{c} \underline{x}_{k} \\ \underline{u}_{k} \end{array}\right] \end{aligned} $$
1. Berechne $\operatorname{Cov}\left\{\left[\begin{array}{c} \underline{x}_{k} \\ \underline{\tilde{u}}_{k} \end{array}\right]\right\}$
  $$ \begin{aligned} \underline{x}_{k+1}-\hat{\underline{x}}_{k+1} &=\left[\begin{array}{ll} \mathbf{A}_{k} & \mathbf{B}_{k} \end{array}\right]\left[\begin{array}{c} \underline{x}_{k}-\hat{\underline{x}}_{k} \\ \underline{u}_{k}-\underline{\hat{u}}_{k} \end{array}\right] \\ &=\left[\begin{array}{ll} \mathbf{A}_{k} & \mathbf{B}_{k} \end{array}\right]\left[\begin{array}{c} \underline{x}_{k}-\underline{\hat{x}}_{k} \\ \underline{w}_{k} \end{array}\right] \end{aligned} $$ $$ \begin{aligned} \operatorname{Cov}\left\{\left[\begin{array}{c} \underline{x}_{k} \\ \underline{\tilde{u}}_{k} \end{array}\right]\right\} &=E\left\{\left[\begin{array}{c} \underline{x}_{k}-\underline{\hat{x}}_{k} \\ \underline{w}_{k} \end{array}\right]\left[\left(\underline{x}_{k}-\underline{\hat{x}}_{k}\right)^{\top} \underline{w}_{k}^{\top}\right]\right\} \\ &=\left[\begin{array}{cc} C_{k \mid 1: m}^{x} & 0 \\ 0 & C_{k}^{w} \end{array}\right] \end{aligned} $$
2. $\operatorname{Cov}\left\{\left[\begin{array}{c} \underline{x}_{k} \\ \underline{\tilde{u}}_{k} \end{array}\right]\right\}$ in Berechnung von $C_{k+1|1:m}^x$ einsetzen
  $$ \begin{aligned} \mathbf{C}_{k+1 \mid 1 : m}^{x} &=E\left\{\left(\underline{x}_{k+1}-\hat{x}_{k+1}\right)\left(x_{k+1} - \hat{\underline{x}}_{k+1}\right)^\top\right\} \\ &=\left[\begin{array}{ll} \mathbf{A}_{k} & \mathbf{B}_{k} \end{array}\right] \cdot E\left\{\left[\begin{array}{c} \underline{x}_{k}-\hat{\underline{x}}_{k} \\ \underline{w}_{k} \end{array}\right]\left[\begin{array}{ll} \underline{x}_{k}-\hat{\underline{x}}_{k} & \underline{w}_{k} \end{array}\right]^\top\right\} \cdot\left[\begin{array}{l} \mathbf{A}_{k}^{\top} \\ \mathbf{B}_{k}^{\top} \end{array}\right] \\\\ &=\left[\begin{array}{ll} \mathbf{A}_{k} & \mathbf{B}_{k} \end{array}\right] \cdot\left[\begin{array}{cc} \mathbf{C}_{k \mid 1:m} & 0 \\ 0 & \mathbf{C}_{k}^{w} \end{array}\right] \cdot\left[\begin{array}{l} \mathbf{A}_{k}^{\top} \\ \mathbf{B}_{k}^{\top} \end{array}\right] \\ &=\mathbf{A}_{k} \cdot \mathbf{C}_{k \mid 1: m}^{x} \mathbf{A}_{k}^{\top}+\mathbf{B}_{k} \mathbf{C}_{k}^{w} \mathbf{B}_{k}^{\top} \qquad(++) \end{aligned} $$

Filterung

Messabbildung

$$ \underline{y}_{k}=\mathbf{H}_{k} \cdot \underline{x}_{k}+\underline{v}_{k} $$

Schritte

Schreibe $\underline{x}_k^e$ als lineare Kombination von $\underline{x}_k^p$ und $\underline{y}_k$
$$ \underline{x}_{k}^e=\mathbf{K}_{k}^{(1)} \underline{x}_{k}^p+\mathbf{K}_{k}^{(2)} \underline{y}_{k} $$
Aus BLUE Filter ergibt sich
$$ E\{\underline{x}_{k}^e\}=E\{\mathbf{K}_{k}^{(1)} \underline{x}_{k}^p+\mathbf{K}_{k}^{(2)} \underline{y}_{k}\} $$
$\Rightarrow$
$$ \begin{aligned} \mathbf{K}_{k}^{(1)} &= \mathbf{I} - \mathbf{K}_{k}\mathbf{H}_{k} \\ \mathbf{K}_{k}^{(2)} &= \mathbf{K}_{k} \end{aligned} $$
und
$$ \underline{x}_{k}^e=(\mathbf{I} - \mathbf{K}_{k}\mathbf{H}_{k}) \underline{x}_{k}^p+\mathbf{K}_{k} \underline{y}_{k} $$
Berechne Kovarianzmatrix $\mathbf{C}_k^e$
$$ \mathbf{C}_{k}^{e}\left(\mathbf{K}_{k}\right)=\operatorname{Cov}\{\underline{x}_k^e - \underline{x}\} = \left(\mathbf{I}-\mathbf{K}_{k} \mathbf{H}_{k}\right) \mathbf{C}_{k}^{p}\left(\mathbf{I}-\mathbf{K}_{k} \mathbf{H}_{k}\right)^{\top}+\mathbf{K}_{k} C_{k}^{v} \mathbf{K}_{k}^{\top} $$
Wir suche $\mathbf{K}_{k}$ so, dass der resultierende Schätzer MINIMAL kovarianz aufweist.
1. Auf skalares Gütemaß zurückzuführen
  $$ P(\mathbf{K}_{k}) = \underline{e}^\top \left( \left(\mathbf{I}-\mathbf{K}_{k} \mathbf{H}_{k}\right) \mathbf{C}_{k}^{p}\left(\mathbf{I}-\mathbf{K}_{k} \mathbf{H}_{k}\right)^{\top}+\mathbf{K}_{k} C_{k}^{v} \mathbf{K}_{k}^{\top}\right) \underline{e} $$
2. $\frac{\partial}{\partial \mathbf{K}_{k}} P(\mathbf{K}_{k})\overset{!}{=} 0 \Rightarrow$ $$ \mathbf{K}_k = \mathbf{C}_k^p \mathbf{H}_k^\top (\mathbf{C}_k^v + \mathbf{H}_k \mathbf{C}_k^p \mathbf{H}_k^\top)^{-1} $$
$\mathbf{K}_k$ in $\underline{x}_{k}^e$ und $\mathbf{C}_{k}^{e}$ einsetzen

Ergebnis von “Gauß mal Gauß”

Drei Gütemaße für die „Größe“ einer Kovarianzmatrix

Mögliche Gütemaße für generelles Vergleichen von Kovarianzmatrizen:

$$ f: \mathbb{R}^{n \times n} \to \mathbb{R}^1 $$

Funktion, die einer Kovarianzmatrix einen Skalar zuordnen kann, denn man kann nur Skalare direkt miteinander vergleichen.

Drei Gütemaße

Projektion mit Einheitsvektor
Spur
Determinante

Schwach nichtlineare wertekontinuierliche Systeme

Wed, 24 Aug 2022 00:00:00 +0000

Lineare Vs. Nichtlineare Systeme

	Linear	Nichtlinear
Systemabbildung	$\underline{x}_{k+1} = \mathbf{A}_k \underline{x}_k + \mathbf{B}_k (\underline{u}_k + \underline{w}_k)$	$\underline{x}_{k+1} = \underline{a}_k(\underline{x}_k, \underline{u}_k, \underline{w}_k)$
Messabbildung	$\underline{y}_{k} = \mathbf{H}_k \underline{x}_k + \underline{v}_k$	$\underline{y}_k = \underline{h}_k (\underline{x}_k, \underline{v}_k)$

Extended Kalman Filter (EKF)

💡 Idee: Linearisierung mit Tylorentwicklung 1. Ordnung um die beste verfügbare Schätzung, um den (linear) Kalman-Filter zu vewenden.

Systemabbildung
$$ \underline{a}_{k}\left(\underline{x}_{k}, \underline{u}_{k}\right) \approx \underbrace{\underline{a}_{k}\left(\underline{\overline{x}}_k, \underline{\overline{u}}_k\right)}_{\text{Nomialteil}}+\underbrace{\mathbf{A}_{k}\left(\underline{x}_k-\underline{\overline{x}}_k\right)+\mathbf{B}_{k}\left(\underline{u}_{k}-\underline{\overline{u}}_k\right)}_{\text{Differentialteil}} $$
Messabbildung
$$ \underline{h}_{k}\left(\underline{x}_{k}, \underline{v}_{k}\right) \approx \underbrace{\underline{h}_{k}\left(\underline{\bar{x}}_{k}, \underline{\bar{v}}_{k}\right)}_{\text{Nomialteil}}+ \underbrace{\mathbf{H}_{k} \cdot \left(\underline{x}_{k}-\underline{\bar{x}}_{k}\right)+\mathbf{L}_{k} \cdot\left(\underline{v}_{k}-\underline{\bar{v}}_{k}\right)}_{\text{Differentialteil}} $$

Üb 7, A2

Prädiktion

Berechnung Erwartungswert über nichtlineare Funktion
$$ \underline{\hat{x}}_{k+1}^{p}=\underline{a}_{k}\left(\underline{\hat{x}}_{k}^{e}, \hat{\underline{u}}_{k}\right) $$
Berechnung Kovarianzmatrix über die Linearisierung
$$ \mathbf{C}_{k+1}^{p} \approx \mathbf{A}_{k} \mathbf{C}_{k}^{e} \mathbf{A}_{k}^{\top}+\mathbf{C}_{k}^{w^{\prime}}=\mathbf{A}_{k} \mathbf{C}_{k}^{e} \mathbf{A}_{k}^{\top}+\mathbf{B}_{k} \mathbf{C}_{k}^{w} \mathbf{B}_{k}^{\top} $$
mit
$$ \mathbf{A}_k = \left.\frac{\partial \underline{a}_{k}\left(\underline{x}_{k}, \underline{u}_{k}\right)}{\partial \underline{x}_{k}^{\top}}\right|_{\underline{x}_{k}=\underline{\hat{x}}_{k-1}^{e}, \underline{u}_{k}=\hat{\underline{u}}_{k}} \qquad \mathbf{B}_k = \left.\frac{\partial \underline{a}_{k}\left(\underline{x}_{k}, \underline{u}_{k}\right)}{\partial \underline{u}_{k}^{\top}}\right|_{\underline{x}_{k}=\underline{\hat{x}}_{k-1}^{e}, \underline{u}_{k}=\hat{\underline{u}}_{k}} $$

Filterung

Linearisierung um $\underline{x}_k$ und $\underline{v}_k$
$$ \mathbf{H}_{k}=\left.\frac{\partial \underline{h}_{k}\left(\underline{x}_{k}, \underline{v}_{k}\right)}{\partial \underline{x}_{k}^{\top}}\right|_{\underline{x}_{k}=\underline{\hat{x}}_{k}^{p}, \underline{v}_{k}=\underline{\hat{v}}_{k}} \qquad \mathbf{L}_{k}=\left.\frac{\partial \underline{h}_{k}\left(\underline{x}_{k}, \underline{v}_{k}\right)}{\partial \underline{v}_{k}^{\top}}\right|_{\underline{x}_{k}=\underline{\hat{x}}_{k}^{p}, \underline{v}_{k}=\underline{\hat{v}}_{k}} $$
KF Filterung schriit mit Linearisierung
$$ \begin{aligned} \mathbf{K}_{k}&=\mathbf{C}_{k}^{p} \mathbf{H}_{k}^{\top}\left(\mathbf{L}_{k} \mathbf{C}_{k}^{v} \mathbf{L}_{k}^{\top}+\mathbf{H}_{k} \mathbf{C}_{k}^{p} \mathbf{H}_{k}^{T}\right)^{-1} \\\\ \hat{\underline{x}}_{k}^{e}&=\hat{\underline{x}}_{k}^{p}+\mathbf{K}_{k}\left[\hat{\underline{y}}_{k}-\underline{h}_{k}\left(\hat{\underline{x}}_{k}^{p}, \hat{\underline{v}}_{k}\right)\right] \overset{\underline{v} \text{ mittelwertfrei}}{=} \hat{\underline{x}}_{k}^{p}+\mathbf{K}_{k}\left[\hat{\underline{y}}_{k}-\underline{h}_{k}\left(\hat{\underline{x}}_{k}^{p}, 0\right)\right]\\\\ \mathbf{C}_{k}^{e}&=\mathbf{C}_{k}^{p}-\mathbf{K}_{k} \mathbf{H}_{k} \mathbf{C}_{k}^{p} = (\mathbf{I} - \mathbf{K}_{k} \mathbf{H}_{k})\mathbf{C}_{k}^{p} \end{aligned} $$

(Linear) KF vs. EKF

	(Linear) KF	EKF
Prädiktion	$\underline{\hat{x}}_k^p = \mathbf{A}_{k-1}\underline{\hat{x}}_{k-1}^e + \mathbf{B}_{k-1} \underline{\hat{u}}_{k-1}$ $\mathbf{C}_k^p = \mathbf{A}_{k-1} \mathbf{C}_{k-1}^e A_{k-1}^\top + \mathbf{B}_{k-1} \mathbf{C}_{k-1}^w \mathbf{B}_{k-1}^\top$	$\underline{\hat{x}}_{k+1}^{p}=\underline{a}_{k}\left(\underline{\hat{x}}_{k}^{e}, \hat{\underline{u}}_{k}\right)$ $\mathbf{C}_{k+1}^{p} \approx \mathbf{A}_{k} \mathbf{C}_{k}^{e} \mathbf{A}_{k}^{\top}+\mathbf{C}_{k}^{w^{\prime}}=\mathbf{A}_{k} \mathbf{C}_{k}^{e} \mathbf{A}_{k}^{\top}+\mathbf{B}_{k} \mathbf{C}_{k}^{w} \mathbf{B}_{k}^{\top}$
Filterung	$\mathbf{K}_k = \mathbf{C}_k^p \mathbf{H}_k^\top (\mathbf{C}_k^v + \mathbf{H}_k \mathbf{C}_k^p \mathbf{H}_k ^\top)^{-1}$ $\underline{\hat{x}}_k^e = \underline{\hat{x}}_k^p + \mathbf{K}_k(\underline{\hat{y}}_k - \mathbf{H}_k \underline{\hat{x}}_k^p)$ $\mathbf{C}_k^e = (\mathbf{I} - \mathbf{K}_k\mathbf{H}_k)\mathbf{C}_k^p$	$\begin{aligned} \mathbf{K}_{k}&=\mathbf{C}_{k}^{p} \mathbf{H}_{k}^{\top}\left(\mathbf{L}_{k} \mathbf{C}_{k}^{v} \mathbf{L}_{k}^{\top}+\mathbf{H}_{k} \mathbf{C}_{k}^{p} \mathbf{H}_{k}^{T}\right)^{-1} \\ \hat{\underline{x}}_{k}^{e}&=\hat{\underline{x}}_{k}^{p}+\mathbf{K}_{k}\left[\hat{\underline{y}}_{k}-\underline{h}_{k}\left(\hat{\underline{x}}_{k}^{p}, \hat{\underline{v}}_{k}\right)\right] \\ \mathbf{C}_{k}^{e}&=\mathbf{C}_{k}^{p}-\mathbf{K}_{k} \mathbf{H}_{k} \mathbf{C}_{k}^{p} = (\mathbf{I} - \mathbf{K}_{k} \mathbf{H}_{k})\mathbf{C}_{k}^{p} \end{aligned}$
Auxiliary		$\mathbf{A}_k = \left.\frac{\partial \underline{a}_{k}\left(\underline{x}_{k}, \underline{u}_{k}\right)}{\partial \underline{x}_{k}^{\top}}\right\|_{\underline{x}_{k}=\underline{\hat{x}}_{k-1}^{e}, \underline{u}_{k}=\hat{\underline{u}}_{k}}$ $\mathbf{B}_k = \left.\frac{\partial \underline{a}_{k}\left(\underline{x}_{k}, \underline{u}_{k}\right)}{\partial \underline{u}_{k}^{\top}}\right\|_{\underline{x}_{k}=\underline{\hat{x}}_{k-1}^{e}, \underline{u}_{k}=\hat{\underline{u}}_{k}}$ $\mathbf{H}_{k}=\left.\frac{\partial \underline{h}_{k}\left(\underline{x}_{k}, \underline{v}_{k}\right)}{\partial \underline{x}_{k}^{\top}}\right\|_{\underline{x}_{k}=\underline{\hat{x}}_{k}^{p}, \underline{v}_{k}=\underline{\hat{v}}_{k}}$ $\mathbf{L}_{k}=\left.\frac{\partial \underline{h}_{k}\left(\underline{x}_{k}, \underline{v}_{k}\right)}{\partial \underline{v}_{k}^{\top}}\right\|_{\underline{x}_{k}=\underline{\hat{x}}_{k}^{p}, \underline{v}_{k}=\underline{\hat{v}}_{k}}$

Probleme

Berechnung der posteriore Verteilung nur gut für “schwache” Nichtlinearität
Linearisierung nur um einen Punkt
Linearisiertes System ist i.A. zeitvariant, auch wenn originalsytstem zeitinvariant ist, da Linearisierung vom Schätzwert abhängt.

Kalman Filter in probabilistischer Form

Filterung

(Annahme: $\underline{x}_k$ und $\underline{y}_k$ sind gemeinsam Gaußverteilt)

Define $\underline{z}:=\left[\begin{array}{l} \underline{x} \\ \underline{y} \end{array}\right]$
Mittelwert und Varianz von $\underline{z}$ berechnen.
$$ \underline{\mu}_z=\left[\begin{array}{l} \underline{\mu}_x \\ \underline{\mu}_y \end{array}\right]=\frac{1}{L}\sum_{i=1}^L\left[\begin{array}{l} \underline{x}_i \\ \underline{y}_i \end{array}\right], \quad \mathbf{C}_{z} = \frac{1}{L}\sum_{i=1}^L(\underline{z}_i - \underline{\mu}_z)(\underline{z}_i - \underline{\mu}_z)^\top = \left[\begin{array}{ll} \mathbf{C}_{x x} & \mathbf{C}_{x y} \\ \mathbf{C}_{y x} & \mathbf{C}_{y y} \end{array}\right] $$
Filterung in probabilistischer Form mit Messung $\hat{\underline{y}}$
$$ \begin{aligned} \underline{\hat{x}}_k^e &= \underline{x}_k^p + \mathbf{C}_{xy} \mathbf{C}_{yy}^{-1} (\underline{\hat{y}} - \underline{\mu}_y) \\ \mathbf{C}_k^e &= \mathbf{C}_k^p - \mathbf{C}_{xy} \mathbf{C}_{yy}^{-1} \mathbf{C}_{yx} \end{aligned} $$

Unscented Kalman Filter (UKF)

Üb 7, A3

Unscented Prinzipien

Nichtlineare Transformation eines einzelnen Punktes ist einfach
Es ist einfach, eine Punktwolke zu finden, deren Stichprobenmittelwert und -varianz mit den Momenten der gegebene Dichte übereinstimmen.
Es ist einfach, Mittelwert und Varianz einer Punktwolke zu bestimmen

Bsp: additives Rauschen

$$ \begin{aligned} \underline{x}_{k+1} &= \underline{a}_{k}(\underline{x}_{k}) + \underline{w}_{k} \\ \underline{y}_{k} &= \underline{h}_{k}(\underline{x}_{k}) + \underline{v}_{k} \end{aligned} $$

Prädiktion

Samples/Particles/Punkte propagieren
$$ \underline{x}_{k}^{p, i} = \underline{a}_{k-1}(\underline{x}_{k-1}^{e, i}) $$
Mittelwert und Varianz basierend auf Samples berechnen
$$ \begin{aligned} \underline{\hat{x}}_{k}^p &= \frac{1}{L} \sum_{i=1}^L \underline{x}_{k}^{p, i} \\ \mathbf{C}_k^p &= \frac{1}{L} \sum_{i=1}^L (\underline{x}_{k}^{p, i} - \underline{\hat{x}}_{k}^p) (\underline{x}_{k}^{p, i} - \underline{\hat{x}}_{k}^p)^\top + \mathbf{C}_k^w \end{aligned} $$

Fitlerung

Sampling:
- Für prioren Schätzwert: $2N$ btw. $2N+1$ Samples auf Hauptachsen für Dimension $N$
  
  Bsp: Im skalaren Fall ($N=1$), 2 Samples:
  $$ > x_1 = \mu_p + \sigma_p \quad x_2 = \mu_p - \sigma_p > $$
- Ähnlich für Samples vom Mess-Rauschen
  
  Bsp: Im skalaren Fall ($N=1$), 2 Samples:
  $$ > v_1 = \mu_v + \sigma_v \quad v_2 = \mu_v - \sigma_v > $$
Punkte Propagation
$$ \underline{y}_{k}^{p, i} = \underline{h}_{k}(\underline{x}_{k}^{p, i}) $$
bzw.
$$ \underline{y}_{k}^{i, j} = \underline{h}_{k}(\underline{x}_{k}^{p, i}, \underline{v}_k^j) $$
Verbundraum $\underline{z}=\left[\begin{array}{l} \underline{x} \\ \underline{y} \end{array}\right]$ erstellen (Annahme: $\underline{x}_k$ und $\underline{y}_k$ sind gemeinsam Gaußverteilt). Mittelwert und Varianz von $\underline{z}$ berechnen.
$$ \underline{\mu}_z=\left[\begin{array}{l} \underline{\mu}_x \\ \underline{\mu}_y \end{array}\right]=\frac{1}{L}\sum_{i=1}^L\left[\begin{array}{l} \underline{x}_i \\ \underline{y}_i \end{array}\right], \quad \mathbf{C}_{z} = \frac{1}{L}\sum_{i=1}^L(\underline{z}_i - \underline{\mu}_z)(\underline{z}_i - \underline{\mu}_z)^\top = \left[\begin{array}{ll} \mathbf{C}_{x x} & \mathbf{C}_{x y} \\ \mathbf{C}_{y x} & \mathbf{C}_{y y} \end{array}\right] $$
Filterung in probabilistischer Form mit Messung $\hat{\underline{y}}$
$$ \begin{aligned} \underline{\hat{x}}_k^e &= \underline{x}_k^p + \mathbf{C}_{xy} \mathbf{C}_{yy}^{-1} (\underline{\hat{y}} - \underline{\mu}_y) \\ \mathbf{C}_k^e &= \mathbf{C}_k^p - \mathbf{C}_{xy} \mathbf{C}_{yy}^{-1} \mathbf{C}_{yx} \end{aligned} $$

Sampling

Samples nur auf Hauptachsen: Insgesamt $2N$ btw. $2N+1$ ($N$: #Dimensionen)

Vorteil von UKF gegen EKF

UKF reduziert möglicherweise den Linearisierungsfehler des EKF
Man braucht die Jacobi-Matrizen nicht zu berechnen 👏

Analytische Momente

Üb 7, A4

Verbundraum $\underline{z}$ erstellen
$$ z := \left[\begin{array}{l} x \\ y \end{array}\right] $$
Mittelwert von $\underline{z}$ berechnen (mithilfe von höheren Momente der Gaußdichte)
$$ E\{\underline{z}\}=\left[\begin{array}{c} \hat{x}_{p} \\ E\{h(x)\} \end{array}\right] $$
Differenz zwichen $h(x)$ und $E\\{h(x)\\}$ berechnen
$$ \bar{h}(x)=h(x)-E\{h(x)\} $$
$\operatorname{Cov}\{\underline{z}\}$ berechnen
$$ \operatorname{Cov}\{\underline{z}\}=\left[\begin{array}{ll} \mathbf{C}_{x x} & \mathbf{C}_{x y} \\ \mathbf{C}_{y x} & \mathbf{C}_{y y} \end{array}\right]=\left[\begin{array}{cc} \sigma_{p}^{2} & E\left\{\left(x-\hat{x}_{p}\right) \bar{h}(x)\right\} \\ E\left\{\left(x-\hat{x}_{p}\right) \bar{h}(x)\right\} & E\left\{\overline{h}^{2}(x)\right\}+\sigma_{v}^{2} \end{array}\right] $$
Filterung in probabilistischer Form.
$$ \begin{aligned} \underline{\hat{x}}_k^e &= \underline{x}_k^p + \mathbf{C}_{xy} \mathbf{C}_{yy}^{-1} (\underline{\hat{y}} - \underline{\mu}_y) \\ \mathbf{C}_k^e &= \mathbf{C}_k^p - \mathbf{C}_{xy} \mathbf{C}_{yy}^{-1} \mathbf{C}_{yx} \end{aligned} $$

Ensemble Kalman Filter (EnKF)

Üb 6, A4 (f)

💡 Repräsentiere den unsicheren Schätzwert nun per „Streuungsbreite“ einer Punktwolke.

Als „unsicheren Zustand“ verwende $L$ $N$-dim. Vektoren als Samples

$$ \mathcal{X}_{k}=[\underbrace{\underline{x}_{k, 1}}_{\mathbb{R}^N}, \underline{x}_{k, 2}, \ldots, \underline{x}_{k, L}] \in \mathbb{R}^{N \times L}, \quad \mathcal{W}_{k}=\left[\underline{w}_{k, 1}, \underline{w}_{k, 2}, \ldots, \underline{w}_{k, L}\right] \in \mathbb{R}^{N \times L} $$

wobei die Samples als Spalten einer Matrix kompakt aufgefasst werden können.

Prädiktion

Nichtlinear
$$ \mathcal{X}_{k}^p = \underline{a}_{k-1}(\mathcal{X}_{k-1}^e, \underline{u}_{k-1}, \mathcal{W}_{k-1}) $$
Linear
$$ \mathcal{X}_{k}^p = \mathbf{A}_{k-1}\mathcal{X}_{k-1}^e + \mathbf{B}_{k-1}(\underline{u}_{k-1} + \mathcal{W}_{k-1}) $$

Filterung

Durchführung der Filterschritt NUR mit Samples
Vermeidung der Verwendung der Update-Formeln für Kovarianzmatrix (Reine Representation der Unsicherheiten durch Samples)

Schritte

„Prädizierte“ Mess-Samples berechnen
- linear
  $$ \mathcal{Y}_k = \mathbf{H}_k \mathcal{X}_{k}^p + \mathcal{V}_{k} $$
- nichtlinear
  $$ \mathcal{Y}_k = \underline{h}_k (\mathcal{X}_{k}^p, \mathcal{V}_{k}) $$
Kalman Gain berechnen
$$ \begin{aligned} \mathbf{C}_{x y} &=\frac{1}{L} \sum_{i=1}^{L} \underline{x}_{k, i}^{\mathrm{p}} \cdot \underline{y}_{k, i}^{\top} \\ &=\frac{1}{L} \mathcal{X}_{k}^{\mathrm{p}} \cdot \mathcal{Y}_{k}^{\top} \\\\ \mathbf{C}_{y y} &=\frac{1}{L} \sum_{i=1}^{L} \underline{y}_{k, i} \cdot \underline{y}_{k, i}^{\top} \\ &=\frac{1}{L} \mathcal{Y}_{k} \cdot \mathcal{Y}_{k}^{\top} \\\\ \mathbf{K} &=\mathbf{C}_{x y} \cdot \mathbf{C}_{y y}^{-1} \end{aligned} $$
Filterschritt mit der tatsächlichen Messung $\underline{\hat{y}}_k$
$$ \mathcal{X}_{k}^e = \mathcal{X}_{k}^p + \mathbf{K} (\underline{\hat{y}}_k \cdot \underline{\mathbb{1}}^\top - \mathcal{Y}_k) $$

Allgemeine Systeme

Thu, 25 Aug 2022 00:00:00 +0000

Generatives und probabilistisches Modell

Für Herleitung ist es super wichtig, die Eigenschaft der Dirac’schen Funktion anzuwenden:

$$ \delta (g(x)) = \sum_{i=1}^N \frac{1}{|g^\prime(x_i)|}\delta (x - x_i) $$

$g(x_i) = 0$
$g^\prime(x_i) \neq 0$

Mit Additivem Rauschen

Generatives Modell:

$$ z = a(x) + v \quad v \sim f_v(v) $$

Probabilistisches Modell:

$$ f(z \mid x) = f_v(z - a(x)) $$

Mit Multiplikativem Rauschen

Generatives Modell:

$$ z = x \cdot v \quad v \sim f_v(v) $$

Probabilistisches Modell:

$$ f(z \mid x) = \frac{1}{|x|}f_v(\frac{z}{x}) $$

Warum lässt sich das nur bei bestimmten Modellen exakt lösen?

“For the general generative model, where the noise enters the system in an arbitrary fashion.” (Script P149)

Abstraktion

Prädiktion (Vorwärtsinferenz)

Üb9 A2, A3

Gegeben
- $f_a(a)$
- $g(a)$
Gesucht: $f_b(b)$

Chapman-Kolmogorov-Gleichung

Üb A10.1

$$ f_{k+1}^{p}\left(\underline{x}_{k+1}\right)=\int_{\mathbb{R}^{N}} \underbrace{f\left(\underline{x}_{k+1} \mid \underline{x}_{k}\right)}_{\text{Prädiktionsdichte}} f_{k}^{e}\left(\underline{x}_{k}\right) \mathrm{d} \underline{x}_{k} $$

Herleitung ist ganz simple: Verbunddichte + Marginalisierung

$$ f\left(x_{k+1}\right)= \int_{\mathbb{R}^{N}} f\left(\underline{x}_{k+1}, \underline{x}_{k}\right) d \underline{x}_{k}= \int_{\mathbb{R}^{N}} f\left(\underline{x}_{k+1} \mid \underline{x}_{k}\right) \cdot f\left(\underline{x}_{k}\right) d \underline{x}_{k} $$

‼️ Problem: Parameterintegral

Integrand hängt von $\underline{x}_{k+1}$ ab (lässt sich i.Allg nicht herausziehen)
Erfordert Lösung des Integrals für alle $\underline{x}_{k+1}$
Nur möglich für analytische Lösung

Prädiktionsschritte

Umforme $f(b \mid a) = \delta(b - g(a))$ mit
$$ \delta (g(x)) = \sum_{i=1}^N \frac{1}{|g^\prime(x_i)|}\delta (x - x_i) $$
wobei
- $g(x_i) = 0$ (also $x_i$ sind Nullstellen, $i = 1, 2, \dots, N$)
- $g^\prime(x_i) \neq 0$
Berechne $f_b(b)$ mithilfe von Chapman-Kolmogorov-Gleichung
$$ f(b) = \int f(b \mid a) f(a) da $$
und setze die Unformung von $f(b \mid a)$ von Schritt 1 ein. Dann kriege die gesuchte Dichtefunktion $f_b(b)$ in Abhängigkeit von $f_a(a)$.

Vereinfachte Prädiktion

Für

$$ \underline{z} = \underline{a}(\underline{x}, \underline{w}) $$

ist die Transitionsdichte $f(\underline{z} | \underline{x})$ durch Mixture approximierbar

$$ f(\underline{z} | \underline{x}) = \sum_{i \in \mathbb{Z}} f_i^z(\underline{z}) \cdot f_i^x(\underline{x}) $$

wobei $f_i^z(\underline{z})$ und $f_i^x(\underline{x})$ beliebige Dichte (z.B Gaußdichte) sein können.

Schreibweise mit $\underline{x}_{k+1}$ und $\underline{x}_{k}$ :

$$ f\left(\underline{x}_{k+1} \mid \underline{x}_k\right)=\sum_{i=1}^L w_k^{(i)} f_{k+1}^{(i)}\left(\underline{x}_{k+1}\right) f_k^{(i)}\left(\underline{x}_k\right) $$

Filterung

Rückwartsinferenz

Bei Rückwartsinferenz ist es wichtig, Formel von Bayes anwuwenden.

$$ f(a \mid b) = \frac{f(a, b)}{f(b)} = \frac{f(b \mid a) f(a)}{f(b)} = \underbrace{\frac{1}{f(b)}}_{\text{Normalizationskonstant}} \cdot \underbrace{f(b \mid a)}_{\text{Likelihood}} \cdot \underbrace{f(a)}_{\text{Vorwissen}} $$

Konkrete Messung

Üb9 A2, A3

Umforme $f_b(b \mid a) = \delta(b - g(a))$ mit
$$ \delta (g(x)) = \sum_{i=1}^N \frac{1}{|g^\prime(x_i)|}\delta (x - x_i) $$
wobei
- $g(x_i) = 0$ (also $x_i$ sind Nullstellen, $i = 1, 2, \dots, N$)
- $g^\prime(x_i) \neq 0$
Berechne $f_b(b)$
$$ f_b(b) = \int f_{a, b}(a, b) da = \int f_{b}(b \mid a) f_a(a) da $$
mit Einsetzen der Unformung von $f(b \mid a)$ von Schritt 1 ein
Berechne $f_a(a \mid \hat{b})$ mithilfe von Bayes Regeln
$$ f_a(a \mid \hat{b}) = \frac{f_a(\hat{b} \mid a) f_a(a)}{f_b(\hat{b})} = \frac{\overbrace{\delta(\hat{b} - g(a))}^{\text{Schritt 1}} f_a(a)}{\underbrace{f_b(\hat{b})}_{\text{Schritt 2}}} $$

Unsichere Messung

Üb A9.4

Schritte:

Erweitere das System um eine zusätzliche stochastische Abbildung und einen festen Ausgang $\hat{z}$

Bestimme $f(\hat{z} \mid y)$
$$ \begin{aligned} f(\hat{z} \mid y) &= \frac{f(y \mid \hat{z})f(\hat{z})}{f(y)} \\\\ &= \frac{f(y \mid \hat{z})f(\hat{z})}{\int f(y, x) dx} \\\\ &= \frac{f(y \mid \hat{z})f(\hat{z})}{\int f(y|x)f(x) dx} \\\\ &= \frac{f(y \mid \hat{z})f(\hat{z})}{\int \delta(y - g(x)) f(x) dx} \\\\ \end{aligned} $$
Und setze die Umformung von $\delta(y - g(x))$
$$ \delta (g(x)) = \sum_{i=1}^N \frac{1}{|g^\prime(x_i)|}\delta (x - x_i) $$
- $g(x_i) = 0$ (also $x_i$ sind Nullstellen, $i = 1, 2, \dots, N$)
- $g^\prime(x_i) \neq 0$
ein.
Berechung der Rückwärtsinferenz $f(x \mid \hat{z})$
$$ \begin{aligned} f(x \mid \hat{z}) &=\frac{1}{f\left(\hat{z}\right)} \cdot f(x, \hat{z}) \quad \mid \text{Marginalisierung nach } y\\ &=\frac{1}{f(\hat{z})} \int f(x, y, \hat{z}) d y \\ &=\frac{1}{f(\hat{z})} \int f(\hat{z} \mid y, x) \cdot f(y , x) d y \quad \mid \hat{z}, x \text{ sind unabhängig}\\ &=\frac{1}{f(\hat{z})} \int f(\hat{z} \mid y) \cdot f(y \mid x) \cdot f(x) d y \\ &=\frac{1}{f(\hat{z})} \int \underbrace{f(\hat{z} \mid y)}_{\text{Berechnet in Schritt 1}} \cdot \underbrace{f(y \mid x)}_{\text{Systemmodell}} \cdot f(x) d y \end{aligned} $$

Schwierigkeit vom Filterschritt

Type der Dichte zur Beschreibung der Schätzung ändert sich
Dichte wrid mit jedem Schritt komplexer

Vereinfachte Filterung

Vereinfachung der Likelihood $f(\underline{y} \mid \underline{x})$ durch Mixture (Analog zu vereinfachter Prädiktion)

$$ f(\underline{y} \mid \underline{x}) = \sum_{i \in \mathbb{Z}} f_i^y(\underline{y}) f_i^x(\underline{x}) $$

Sampling

Sun, 28 Aug 2022 00:00:00 +0000

Reapproximation von Dichten

Approximate original continuous density with discrete Dirac Mixture

$$ f(\underline{x})=\sum_{i=1}^{L} w_{i} \cdot \delta\left(\underline{x}-\underline{\hat{x}}_{i}\right) $$

Weights $w_{i}>0, \displaystyle \sum_{i=1}^{L} w_{i}=1$
$\underline{x}_i$: locations / samples

In univariate case (1D), compare cumulative distribution functions (CDFs) $\tilde{F}(x), F(x)$ using Cramér–von Mises distance:

$$ D(\underline{\hat{x}})=\int_{\mathbb{R}}(\tilde{F}(x)-F\left(x, \underline{\hat{x}})\right)^{2} \mathrm{~d} x $$

$F(x, \underline{\hat{x}})$ : Dirac mixture cumulative distribution

$$ F(x, \underline{\hat{x}})=\sum_{i=1}^{L} w_{i} \mathrm{H}\left(x-\hat{x}_{i}\right) \text { with } \mathrm{H}(x)=\int_{-\infty}^{x} \delta(t) \mathrm{d} t= \begin{cases}0 & x<0 \\ \frac{1}{2} & x=0 \\ 1 & x>0\end{cases} $$

with the Dirac position

$$ \underline{\hat{x}}=\left[\hat{x}_{1}, \hat{x}_{2}, \ldots, \hat{x}_{L}\right]^{\top} $$

We minimize the Cramér–von Mises distance $D(\underline{\hat{x}})$ with Newton’s method.

Generalization of concept of CDF

Localized Cumulative Distribution (LCD)

$$ F(\underline{m}, b)=\int_{\mathbb{R}^{N}} f(\underline{x}) K(\underline{x}-\underline{m}, b) \mathrm{d} \underline{x} $$

$K(\cdot, \cdot)$: Kernel
$$ K(\underline{x}-\underline{m}, b)=\prod_{k=1}^{N} \exp \left(-\frac{1}{2} \frac{\left(x_{k}-m_{k}\right)^{2}}{b^{2}}\right) $$
$\underline{m}$: Kernel location
$\underline{b}$: Kernel width

Properties of LCD:

Symmetric
Unique
Multivariate

Generalized Cramér–von Mises Distance (GCvD)

$$ D=\int_{\mathbb{R}_{+}} w(b) \int_{\mathbb{R}^{N}}(\tilde{F}(\underline{m}, b)-F(\underline{m}, b))^{2} \mathrm{~d} \underline{m} \mathrm{~d} b $$

$\tilde{F}(\underline{m}, b)$: LCD of continuous density
$F(\underline{m}, b)$: LCD of Dirac mixture

Minimization of GCvD: Quasi-Newton method (L-BFGS)

Projected Cumulative Distribution (PCD)

Use reapproximation methods for univariate case in multivariate case.

Radon Transform

Represent general $N$-dimensional probability density functions via the set of all one-dimensional projections

Linear projection of random vector $\underline{\boldsymbol{x}} \in \mathbb{R}^{N}$ to to scalar random variable $\boldsymbol{r} \in \mathbb{R}$ onto line described by unit vector $\underline{u} \in \mathbb{S}^{N-1}$
$$ \boldsymbol{r} = \underline{u}^\top \underline{\boldsymbol{x}} $$
Given probability density function $f(\underline{x})$ of random vector $\underline{\boldsymbol{x}}$, density $f_r(r \mid \underline{u})$ is Radon transfrom of $f(\underline{x})$ for all $\underline{u} \in \mathbb{S}^{N-1}$
$$ f_{r}(r \mid \underline{u})=\int_{\mathbb{R}^{N}} f(\underline{t}) \delta\left(r-\underline{u}^{\top} \underline{t}\right) \mathrm{d} \underline{t} $$

Representing PDFs by all one-dimensional projections

Represent the two densities $\tilde{f}(\underline{x})$ and $f(\underline{x})$ by their Radon transforms $\tilde{f}(r \mid \underline{u})$ and $f(r \mid u)$
Compare the sets of projections $\tilde{f}(r \mid \underline{u})$ and $f(r \mid u)$ for every $\underline{u} \in \mathbb{S}^{N-1}$. Resulting distance is
$$ D_{1}(\underline{u})=D(\tilde{f}(r \mid \underline{u}), f(r \mid \underline{u})) $$
Integrate these one-dimensional distance measures $D_1(\underline{u})$ over all unit vectors $\underline{u} \in \mathbb{S}^{N-1}$ to get the multivariate distance measure $D(\tilde{f}(\underline{x}), f(\underline{x}))$. Minimize via univariate Newton updates.

Navies Partikel Filter

Üb A13.2

Prädiktion

💡Update Sample Positionen. Gewichte bleiben gleich.

$f_{k}^{e}\left(\underline{x}_{k}\right)$ durch Dirac Mixture darstellen
$$ f_{k}^{e}\left(\underline{x}_{k}\right)=\sum_{i=1}^{L} w_{k}^{e, i} \cdot \delta\left(\underline{x}_{k}-\underline{\hat{x}}_{k}^{e, i}\right) \qquad w_{k}^{e, i}=\frac{1}{L}, i \in\left\{1, \ldots, L\right\} $$
Ziehe Samples zum Zeitpunkt $k+1$
$$ \underline{\hat{x}}_{k+1}^{p, i} \sim f\left(\underline{x}_{k+1} \mid \hat{x}_{k}^{e, i}\right) $$
Gewichte bleiben gleich
$$ w_{k+1}^{p, i} = w_{k}^{e, i} $$
$f_{k+1}^{p}\left(\underline{x}_{k}\right)$ durch Dirac Mixture darstellen
$$ f_{k+1}^{p}\left(\underline{x}_{k+1}\right)=\sum_{i=1}^{L} w_{k+1}^{p, i} \delta\left(\underline{x}_{k+1}-\underline{\hat{x}}_{k+1}^{p, i}\right) $$

Filterung

💡Update Gewichte. Sample Positionen bleiben gleich.

$$ \begin{aligned} f_{k}^{e}\left(\underline{x}_{k}\right) &\propto f\left(\underline{y}_{k} \mid \underline{x}_{k}\right) \cdot f_{k}^{p}\left(\underline{x}_{k}\right)\\ &=f\left(\underline{y}_{k} \mid \underline{x}_{k}\right) \cdot \sum_{i=1}^{L} w_{k}^{p, i} \cdot \delta\left(\underline{x}_{k}-\underline{\hat{x}}_{k}^{p, i}\right)\\ &=\sum_{i=1}^{L} \underbrace{w_{k}^{p, i} \cdot f\left(\underline{y}_{k} \mid \hat{\underline{x}}_{k}^{p, i}\right)}_{\propto w_{k}^{e, i}} \cdot \delta(\underline{x}_{k}-\underbrace{\underline{\hat{x}}_{k}^{p, i}}_{\underline{\hat{x}}_{k}^{e, i}}) \end{aligned} $$

Positionen bleiben gleich
$$ \underline{\hat{x}}_{k}^{e, i} = \underline{\hat{x}}_{k}^{p, i} $$
Gewichte adaptieren
$$ w_{k}^{e, i} \propto w_{k}^{p, i} \cdot f\left(\underline{y}_{k} \mid \hat{\underline{x}}_{k}^{p, i}\right) $$
und Normalisieren
$$ w_{k}^{e, i}:=\frac{w_{k}^{e, i}}{\displaystyle \sum_{i} w_{k}^{e,i}} $$

Problem

Varianz der Samples erhöht sich mit Filterschritten
Partikel sterben aus $\rightarrow$ Degenerierung des Filters
Aussterben schneller, je genauer die Messung, da Likelihood schmaler (Paradox!)

Resampling

Approximation der gewichteter Samples durch ungewichtete
$$ f_{k}^{e}\left(\underline{x}_{k}\right)=\sum_{i=1}^{L} w_{k}^{e, i} \cdot \delta\left(\underline{x}_{k}-\underline{\hat{x}}_{k}^{e, i}\right) \approx \sum_{i=1}^{L} \frac{1}{L} \delta\left(\underline{x}_{k}-\underline{\hat{x}}_{k}^{e, i}\right) $$
Gegeben: $L$ Partikel mit Gewichten $w_i$
Gesucht: $L$ Partikel mit Geweichte $\frac{1}{L}$ (gleichgewichtet)

Sequential Importance Sampling

$f_{k}^{e}\left(\underline{x}_{k}\right)=f\left(\underline{x}_{k} \mid \underline{y}_{1: k}\right)$ auf $\underline{x}_{1: k-1}$ marginalisieren
$$ f_{k}^{e}\left(\underline{x}_{k}\right)=f\left(\underline{x}_{k} \mid \underline{y}_{1: k}\right)=\int_{\mathbb{R}^{N}} \cdots \int_{\mathbb{R}^{N}} f\left(\underline{x}_{1: k} \mid \underline{y}_{1 : k}\right) d \underline{x}_{1: k-1} $$
Importance Sampling für $f(\underline{x}_k, \underline{x}_{k-1} \mid \underline{y}_{1:k})$
$$ f_{k}^{e}\left(\underline{x}_{k}\right) = \int_{\mathbb{R}^{N}} \cdots \int_{\mathbb{R}^{N}} \underbrace{\frac{f\left(\underline{x}_{1: k} \mid \underline{y}_{1 : k}\right)}{p\left(\underline{x}_{1: k} \mid \underline{y}_{1 : k}\right)}}_{=: w_k^{e, i}} p\left(\underline{x}_{1: k} \mid \underline{y}_{1 : k}\right) d \underline{x}_{1: k-1} $$
$\frac{f\left(\underline{x}_{1: k} \mid \underline{y}_{1 : k}\right)}{p\left(\underline{x}_{1: k} \mid \underline{y}_{1 : k}\right)}$ umschreiben
- Zähler
  $$ \begin{aligned} f\left(\underline{x}_{1: k} \mid \underline{y}_{1: k}\right) &\propto f\left(\underline{y}_{k} \mid \underline{x}_{1: k}, \underline{y}_{1: k - 1}\right) \cdot f\left(\underline{x}_{1: k} \mid \underline{y}_{1: k-1}\right)\\ &=f\left(\underline{y}_{k} \mid \underline{x}_{k}\right) \cdot f\left(\underline{x}_{k} \mid \underline{x}_{1:k-1}, \underline{y}_{1:k-1}\right) \cdot f\left(\underline{x}_{1:k-1} \mid \underline{y}_{1: k-1}\right)\\ &=f\left(\underline{y}_{k} \mid \underline{x}_{k}\right) \cdot f\left(\underline{x}_{k} \mid \underline{x}_{k-1}\right) \cdot f\left(\underline{x}_{1: k-1} \mid \underline{y}_{1: k \cdot 1}\right) \end{aligned} $$
- Nenner
  $$ p\left(\underline{x}_{1: k} \mid \underline{y}_{1: k}\right)=p\left(\underline{x}_{k} \mid \underline{x}_{1: k - 1}, \underline{y}_{1: k}\right) \cdot p\left(\underline{x}_{1: k -1} \mid \underline{y}_{1: k - 1}\right) $$
Einsetzen, $w_k^{e, i}$ in Rekursiven Form schreiben
$$ w_k^{e, i} = \frac{f\left(\underline{\hat{x}}_{1: k} \mid \underline{y}_{1 : k}\right)}{p\left(\underline{\hat{x}}_{1: k} \mid \underline{y}_{1 : k}\right)} \propto \frac{f\left(\underline{y}_{k} \mid \underline{x}_{k}^i\right) \cdot f\left(\underline{x}_{k}^i\mid \underline{x}_{k-1}^i\right)}{p\left(\underline{x}_{k}^i \mid \underline{x}_{1: k - 1}^i, \underline{y}_{1: k}\right)} \cdot \underbrace{\frac{f\left(\underline{x}_{1: k-1}^i \mid \underline{y}_{1: k \cdot 1}\right)}{p\left(\underline{x}_{1: k -1}^i \mid \underline{y}_{1: k - 1}\right)}}_{=w_{k-1}^{e, i}} $$
und Normalisieren.

Spezielle Proposals

Standard Proposal
$$ p\left(\underline{x}_{k} \mid \underline{x}_{k-1}, \underline{y}_{k}\right) \stackrel{!}{=} f\left(\underline{x}_{k} \mid \underline{x}_{k-1}\right) $$
Dann ist
$$ w_{k}^{e, i} \propto \frac{f\left(\underline{y}_{k} \mid \hat{\underline{x}}_{k}^{i}\right) \cdot f\left(\hat{\underline{x}}_{k}^{i} \mid \hat{\underline{x}}_{k-1}^{i}\right)}{p\left(\underline{\hat{x}}_{k}^{i} \mid \hat{\underline{x}}_{k-1}^{i}, \underline{y}_k\right)} \cdot w_{k-1}^{e, i}=f\left(\underline{y}_{k} \mid \hat{\underline{x}}_{k}^{i}\right) \cdot w_{k - 1}^{e, i} $$
Sehr einfach aber keine verbesserte Performance.
Optimales Proposal
$$ \begin{aligned} p\left(\underline{x}_{k} \mid \underline{x}_{k-1}, \underline{y}_{k}\right) &=f\left(\underline{x}_{k} \mid \underline{x}_{k-1}, \underline{y}_{k}\right) \\ & \propto f\left(\underline{y}_{k} \mid \underline{x}_{k}\right) \cdot f\left(\underline{x}_{k} \mid \underline{x}_{k-1}\right) \end{aligned} $$
Dann ist
$$ w_k^{e, i} = w_{k-1}^{e, i} $$
Minimierte Varianz der Gewichte aber nur in Spezialfällen verwendbar.

Häufige Prüfungsfragen

Tue, 13 Sep 2022 00:00:00 +0000

Allgemeine Fragen

Was haben wir in der Vorlesung gemacht/gelernt/behandelt?

Was ist Zustandsschätzung?

Was ist Zustand?

Welche Arten von Systemen sind einfach? Warum?

Wertdiskret und wertkontinuierlich linear.

Grund: konstanter Rechen- und Speicherbedarf

Wertdiskrete Systeme

Wonham Filter herleiten

Wertkontinuierliche lineare Systeme

Linear Kalman Filter herleiten

Eigeenschaften des KFs

Wertkontinuierliche schwache nichtlineare Systeme

Wie kann man erkennen, ob ein System stark oder schwach nichtlinear?

Vergleich mit Taylor Entwicklung 1. Ordnung
Induzierte Nichtlinearität

Was kann man machen, wenn das System schwach nichtlinear ist?

Wie funktioniert die Zustandsschätzung bei schwach nichtlinearen Systemen?

Wie funktioniert das EKF? EKF herleiten

UKF erklären und herleiten

Wie funktioniert die Filterung mit Samples?
Wie können wir Samples von der Priore erzeugen?

Unterschied zwischen UKF und EnKF?

NLKF (KF in probabilistischer Form)

Allgemine Systeme

###Chapman-Komolgorov Gleichung herleiten

Problem von allgemeinen Systeme?

Prädiktion: Parameterintergral bei Chapman-Komolgorov Gleichung
- Integrand hängt von $\underline{x}_{k+1}$ ab (lässt sich i.Allg nicht herausziehen)
- Nur möglich für analytische Lösung
- Sonst erfordert (numerische) Lösung des Integrals für alle $\underline{x}_{k+1}$
Filterung
- Type der Dichte zur Beschreibung der Schätzung ändert sich
1. Dichte wrid mit jedem Schritt komplexer

Wie kann man gegen Parameterintergral bei Prädiktion tun?

Transitionsdichte $f\left(\underline{x}_{k+1} \mid \underline{x}_k\right)$ durch entkoppelte Mixture approximieren

$$ f\left(\underline{x}_{k+1} \mid \underline{x}_k\right)=\sum_{i=1}^L w_k^{(i)} f_{k+1}^{(i)}\left(\underline{x}_{k+1}\right) f_k^{(i)}\left(\underline{x}_k\right) $$

Vorteil: die Integrande von CK-Gleichung, die von $\underline{x}_{k+1}$ , lässt sich rausziehen. Das Integral ist eine Konstante und wird als Faktor fürs neue Gewicht verwendet.