˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic...

32
Kalman Filtering: Theory and Practice Using MATLAB Second Edition MOHINDER S. GREWAL California State University at Fullerton ANGUS P. ANDREWS Rockwell Science Center A Wiley-Interscience Publication John Wiley & Sons, Inc. NEW YORK CHICHESTER WEINHEIM BRISBANE SINGAPORE TORONTO

Transcript of ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic...

Page 1: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

������ �������� ��� ��� ������

����� �� ���

������ ������

�������� ���� �����3���� ���� 4��5����� �� 6�������

��� � �����7� - ��� ��� � �����

� �����$����� ��� � ��,�� �����

���� ���� � ����� ��!

�� � �� ����������� �������� �������� ������ �� �� � �

Page 2: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

"������

������� ��

��������������� ����

�� �!"# � $%!&"'�%

��� A� C��8�� 6������� �

��� A� 2���8����� ������� )

��' A� ��� "������� 4��� �� <��� !��- ��

��% �88�� ��

��,��8� �'

�� �"! �( "&�) �(*'�&* +

��� ������ 6� �� �)

��� ;���8� ����8� �0

��' ���������� @���� ����8� ��� <��� �������� '�

��% ;�� ��� @���� ����8� ��� <��� �������� %�

��) A,��5�,����� �3 @���� ;���8� ����8 ������ %�

��0 �� ����� 3� ��8������ ����9 29���������� %1

��& �88�� )�

��,��8� )'

� �" ,%& �!%)�**�* " , �'%)-"*'�) �(*'�&* +�

'�� ������ 6� �� )0

'�� ��,�,����� ��� 7����8 D���,��� )1

'�' ������� �� �������� �3 7����8 D���,��� 00

Page 3: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

'�% ������� �� �������� �3 7����8 �� ����� 01

'�) @���� ����8 ������ �3 7����8 �� ����� ��� �:��� �� &0

'�0 ������ 6����� ��� ���� ���8�������� 1%

'�& ��5���� � ���������� 2:������� 11

'�1 A����������� ��� ���� (&

'�( �88�� ���

��,��8� ��%

� �� �"! �.'�&"# ��#'�!* " , �!�,�)'%!* �

%�� ������ 6� �� ��%

%�� C��8�� 6���� ��0

%�' C��8��E!� � 6���� ��0

%�% A���8�� @���� ���� ��� ��1

%�) �������� "���� �� �� ��(

%�0 7������������ ,�� ��� C��8�� ��� ����� 6����� �'�

%�& >������ @��� 6�� ����� �'�

%�1 ����9 7� ��� ;�33������� 2:������ �''

%�( ����9 7� ��� 2:������ �� ;�� ��� <�8� �%1

%��� 7������������ ,�� ��� ���������� ��� ;�� ��� 7� ��� 2:������� �)'

%��� ����� 2:������� 3� <���3�8�� ���� D���,��� �)%

%��� ����� ����� �3 C��8�� 6����� �))

%��' 8������ �0�

%��% �88�� �0%

��,��8� �0)

+ �% #� �"! �..#�)"'�% * �/

)�� ������ 6� �� �0(

)�� ��,��8 ����8��� �&�

)�' @�����F����� ������� �&�

)�% @�����F����� �,��� � "�8���� <�B� ��� �&�

)�) @�����F����� �,��� ��� 2���8���� <�B� ��� �&)

)�0 ;�� ��� @�����F�� ��� 29������ 6������� �&0

)�& ;�� ��� 29������ C��8�� 6���� �&1

)�1 ���������� @�����F�� ��� 29������ 6����� �1�

)�( !����� 2�� �� >������ ������8���� �1�

)��� ����� ����� �3 "������� 6����� �1%

)��� �88�� �(1

��,��8� ���

� �&.#�&� '"'�% ��'-%,* �

0�� ������ 6� �� ���

0�� ��8���� 7�����33 ��%

0�' 233� �� �3 7�����33 2�� �� C��8�� 6����� ��(

0�% 6� ���F����� ������� 3� C��8�� 6������� ��0

�� ��������

Page 4: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

0�) :���$7��� ��� 4; 6����� �'1

0�0 A��� ��������5� �8���8�������� ������� �)�

0�& �88�� �0)

��,��8� �00

� �!")'�)"# �% *�,�!"'�% * ��

&�� ������ 6� �� �&�

&�� ;��� ���� ��� ��� ���� ���8����� !���5�� �&�

&�' ��G������ ��� ;��� 7�B� ���� ������� �(%

&�% ��,����� �3 C��8�� 6����� �(1

&�) �,����8�� ��� 7��� ��$A�� 6����� �((

&�0 �8���EC��8�� 6������� '�(

&�& ��8��� <��������� ��� ��������� 7�:���8���� '�0

&�1 ���� �� 7��� � ��8���������� 7�:���8���� '�0

&�( 2� !������ ��� ������5��� �������� ''�

&��� A���8�F��� ������8��� ��� ���� ���� ��� ''0

&��� ����� ����� �� ����� ������� "�5������� '%�

&��� �88�� '%0

��,��8� '%&

�..� ,�� � ������ �%$'0"!� �+�

��� "��� � ')�

��� ������ ����8 7�:���8���� ')�

��' ;��-���� ;�� ��� �� ��� ')�

��% ��<@�! �3� �� 3� ������ � ')�

��) ��<@�! �3� �� 3� ������ % ')�

��0 ��<@�! �3� �� 3� ������ ) ')�

��& ��<@�! �3� �� 3� ������ 0 ')�

��1 ��<@�! �3� �� 3� ������ & ')'

��( A��� �� �� �3 �3� �� ')'

�..� ,�� � � �"'!�� ��$!�*-�! �++

!�� ����9 6�8� '))

!�� ����9 A�������� ')(

!�' !�� - ����9 6�8���� '0'

!�% 6�� ����� �3 :��� ���� �� '00

!�) "�8� '&�

!�0 ������-� ;� �8�������� '&'

!�& A�������� ;� �8��������� �3 ���� �� '&)

!�1 >������ 6�8� '&&

!�( ;��5���5�� �3 ���� �� '&(

���������� �

����1 �/+

�������� ���

Page 5: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

�#��

<�� G�� ������� �3 ���� ,��- �� ��,������ ,� ����� �$+��� �� �(('� ���� ����

�� ��� �������� �� ��� ��� G��� �� ��8�� �,B� ��5� �� �� ��5��� �� ����� �

�-��� 3�8������� ��� ,��� ��� �������� ��� $������� ���� �� �3 C��8��

G������ ,� �� ������ HH���$ ���II ��,��8� �� �� �� � �� ���������5� �9�8�����

�� �� ������� �� ��5� ���� ���������� �� �� ������ ��� 8��� ����3�� �� �����

��� ����������� 3�8 �� ��������� ��� �������� �5� ��� ���� ��5��� ���� 3� ���

�5���� �8��5�8��� �3 ��� ��9�,��-� <�� ,��- �5�� ��� ������ �� ,� -����� �3

C��8�� G������ ��� ��� 8�� �� �� �� ���� �� �3 �8���8��������# �� �� �������

��� ��,��8 �� � 8����8��� �� 8����� �����F� ��� ��3�8�� � �3 ��� ����8��� �� �

3�� ���� �3 8���� ���8����� �8���8��� ��� 8� ����F����� �:������� �� ��8��$

���� ���,�� �������8�� ������ ��� �8���������� �:���8����� ���� ��� 5������� �3

������� ��� 8����� ��� G��� ��3�8�� � �� ��������� <���� �� �8������

����,���� �3 ��� ��,B� � ���� �� �3��� �5����-�� �� ������� �� ����8���� ,�� ��

�� ����� 3� ����� ����� �3 ��� ����� �� ���$ ��� ��,��8��

�� ��5� ��5���� ��� �������8 �������� ��� ��� ��3� �� �� ��<@�!��

� �� ����

���� �� ��-� ��5������ �3 ��� �9 ������ ������� ���,������� ��� � ����88���

����3� � ���� �� 5�� ���� �� ��� 8����8��� �� �:������� ���� 3� ��G���� C��8��

G������ ��� ��� ����� ������� �� �������9 �� � ���� ���� 3� 8�� ��3�8����� ��

��<@�!�

<�� �� ������ �3 ��� ��3� �� �� �� �� ���� � 8���� �3 �� ������� ,� ���� C��8��

G������ ���� ��� ,� 5�� ���3�� ������ �8����� �� �8���8��� ��� �� �� � ,����

������� �9����� � 3� ��� ������� �� ��� �5� �� ��� C��8�� G��� �-� ,�

�,��5��� �� �� � �����

<�� �8���8�������� �3 C��8�� G������ �� �8����� ���� ����8������ ��8� �3

��� �� �� �� ������������ �3 G����$ �������� ����8��� ��� ��� ���� 3� ����$

��

���<@�! �� � �������� ����8�- �3 <�� ���� �-�� �� �

Page 6: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

����5� �������8� �� ����5� ��� � �� � �3 ��� ������� �3 ��� ������� ����� ��

����� ��� ��� � �� ������ ���� �� �� ��������� ���� ��� � �� �9����� � ��� �-����

��� 3�������J��� ���� �� � ����F� ��� ��33��� ��

<�� ,��- �� �����F�� 3� ��� �� � ��9� 3� �� ������ ��� ���� �� ��� �����

�� ����� �� ��� ����� ��5�� ��� �� � G��$��� �������$��5�� ���� �� C��8��

G������ ����� ��� ����� ������ �� ���� ���� ,� ���� 3� ���3$����� ���� � 3�

������� �3 �5�� ,� �� �� ��� �������� ��� � �������� �� �� ��� ����8�����

3�8���� ��� ��� ��,B� �� <�� �����F����� �3 ��� 8������ �� ���������� ,� ���

3���� ��� �����$��5�� �������� � ����� �� � ��� � �� ��� ��,B� � �3 �� �

����� ������� ���� 8������ �� ���� ������� <�� �� � �� ��� G��� ���� ���

��� � �88����� ��� �3 ������ !�9�� �,�5� ������ ,�9 ��� ���� ��� ,� �� �

���� ��� ���� ��� 8������ ��������� ,� ��� ���� ,�9�� �� ,� -����� 8������ 3�

��� ��,B� � �� ��� �� � ,�9�

������ � ��5���� �� ��3�8�� ������ ���� �� ��� ������ ��,B� � 8���� ,� ��

�3 ��� ������ �3 ��5����8��� ��� ����� ������ ������� � ��� ' ��� �������9 !

�5� ��� ��������� ,� -����� 8������ �� ����� �����8�� ��,�,������ ��� �����

�� ������ ��� 8�������� <���� ������ ���� ,� �5��� �� � �����$��5�� ���� ��

��� �� ��� �8����� ��� �����8� �����������

������ % �5�� ����� ����8�� G���� ��� ���� ���� ��� �������� �9�8���� �3

����� ������� ������ ) �� ��5���� �� �������� ����8����� ,� HH�9������II C��8��

� �����

Page 7: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

G����� ����� ������ �3 ����� �� ���:��� �� ��� ������G ����� �3 ��-�� � ���8����

�3 �����8� �� ��5�� �� �9�8����� ������ 0 �5�� ��� 8�� 8���� �8���8����$

���� �� ���:���� ��� �������8� ��5���� 3� �8���� �8���8���������

������ & ����� ��� 8�� �� �� �� 8����� �3 �8���8�������� ��� ��� ,�����

��� ��8�� �� 8������ �3 ������ 0� <���� 8����� �� ���� 8�8�� ��� ���������

�:���8���� *��� 8������ �� ��� � ���8.� ��5���� � ��,��8� *��� �33� ��5�

�8�����.� ��� �� �� �� ����� ��� �� ��,����8�� G������ ��� 8�����8���

���� �����

������� %E& �5� ��� ��������� 8������ 3� � G��$��� ������� ���� �� C��8��

G������ ����� ��� ����� ����� � �� � ,��� ���� �� ������� ����8����� ����� ���

����� ������ � ��������� 8����� 3� �� � �����I� ��,��8� �� �5����,���

�7A6� �A+�";27 � �72��@� �+;� �2

���������� �� ��� ����� � ��������

�"�4 �� �";72�� �+;

�������� ������ ������ �������� ����� ����������

����� ��

Page 8: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

��%��&�������

<�� ������ �9���� ���� ���� ������ �� ��� 3���� ��� ����5������ 3� ����

����,������ ����� ��� ��������� �3 ��� G�� �������# 7�,�� �� !���� 2� 7� ���

������ <��8�� �� ;� D���� 7�5���� ������ ��33���� <��8�� @� ��� -�� ���

; ���� +� -8��� 7�,�� �� +�,,�� <��8�� C������� 7����3 2� C��8��� ���� ��

@��,� 7�,�� 6� "����� ���� �� ������� ���� �� 7� ������� ��8� 7�������� �����

2� 7������ ������ 8��� ��� ;����� 6� ��,��� �� ���� �9���� �� ���� ������ ��

;����� C���� ��� @����� @�8��� 3� <2K ��� @�<2K� ���� ��5����

�� ��������� ��� 3���� ��� ����5������ ����5� ��� ��� � �������� 3� ���� ��3��

�5�� � �� ������ ��� ����������� 3� �8��5��� ��� �� ��� �������# ;��� ;���

��� ����� ��5������

���� �3 ���� 3� ���� ���� ������ ������� ��� ������������ ������ ,���

��������� � ���� ��� ���� ,��- �� ��B� �� �� ��� ��� ���� ��

�� � ��� �� �� ��

����

Page 9: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

�������� ������ �

� � � ��� �� ��� �� � ���� ����� �� ���� ���� � ���� �������� ���

������ ��� �� ��� � �� ���� ������ ������ �� ������ �� �

��� �� ������ ��� ��

����� ���� �� ���� ���� � � ������ ������

������ ����� ��� ������ ���� � �� ������ � � � ���� � ������ ��� � ������������ �

������� ���� � ��� �� ���� � �������� ��� ��������� �� ��������� �� � �����

���� ��� �� ���� � �� ������ � ��� ���� �������� � � ����� ������ ������

��������� �� ���� � ����� ���� ������������ ������� ������� � ��� ����� ���

� ������� �� ���� � ��� ��� �������� ������ � � ����������� ����� ��� �������

� ��� ������� ����� � � ������ � ��� ��

����� ������ � � �������� �� � ��� ������� ��� !���� � ��� ��� �� � ���������

������ � ��� �� ��� � ����� ��� �������� ��� !��� � ��� �������� �������� "� ���

������� �����#�� � � ���� ����� ���� � ��� � � ��!� ���� � �� ��� �� �� ���

� ��� ��� �� �� ����������� �� ��� � � ��� ��#��� � ���� ������ �� ��������

"�� � �� ������� ������� �� ��!� ���� � � ��� � ��� � � � ����� ������

������� ���� �� � ���� �� ������������ �� ������� �������� ����� � �����������

� � ��� � � ������ ������� � � ���� $��� #� � ���� � � � ��� � �����

������� ��� � � � � ������ � ����� � �������� � ������� �!��� !������ ���� � �

���� � � ��� �� ��� ��� ������ $���� �� !��� � ����� � � ������� ��� �����

�� ���� � �� � ������ ���� � ��� ������������� ��� ������ $���� � ��� ����

� � �������� ��� �#��� ������ � ����� � ������ ������� ���� �� ��� ��� � � �#���

� � ��� �� ���� �� ��� % � � �!��� ����� % �� ��� ���&��� ��� � �������� � ����

� ��� ����� � ������ � �� �����

� � � �������� ������ ��� ����� ��� ��� ��������!�� ���� ��� � # ���

�������'

������ � ���� �� ����� ��� ����� �� !� �� "#�$#%& '���� (� � ��( ����� )� *������ +���� ,� +������

- ������ � .//0 1 �� 2��� 3 ) ��� "���")45�' /678069:.;76; �<������#�= /67806.>>9?6? �@����� ���

Page 10: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

� �� � ��� � ��� "� � �� � � � �!� ��� �� ���� ��� �� ������ ���� ��� � ���

��#� � ����� � � � � � � �� "� � � � � ���� ��� � �� ��� � �������� ��� ���

"� � ���� �� � ����������� � ����� ���� ��� ���������� � �� � � ��� ����

���� ��#� ������ � �# � �� ��$����� &��� �� ��������� � �� ��#� �������

� �# � �� ��$����� +� ��� ��� � �� � � �� ����� � ���������� �� ��� ���

����� � ��� �� � � ��� ����� � ������!���� ��� ���� �� � ��� � # � �

��#� � � ���$������ ������ ��� ��� �� $���� � ��� ��� � ��� ������

$���� ���� � � ��� ����� � � ������� ��� ��$�������

� �� � � ������� ������� "� ��� ���� ������ �������� ����� � ����� � ������

���������� ��� A.0B� � ���� ������� � ���� � )� �� ����������� � � ���

������ � �� ������� � )� �� ������ � !�������� "� � ��� � ��!��� ������

���� ����� !������� ��� ���� ����������� �)� �� ����� �� ) �� � ���

�� ����� ��� ������� � �� ��� ���� �� � ��� ������ � ������� $���

����� � ��� $��� �� ���� �� ��� ��� ������ � ������� ��$����� ���

�������������� �� ���� �C��� ����� ��� ��� ����� � ��� �������� ��� �

������ $������ ���� ���� �� � ������� �� �� ��� ��� ��� ���

� �� � � ������� ���� �� ��� ��������� *�� � �� ��� ��� � ������� "� � ����

� �� ���� �� ��� ����& ������� � �� ������� ��� ����� ����� � �� � ��� ��� �

� ��� !������� � � ���#�� � �������� ��� � � � ������ ���������C�� � �

��� ������� ����� �������� � ��� ������ ������� ������� ��� �%�����

� ��� ���� ������������� ����� �� ������ ������� �� ��� ��� ������ � �

��������� ������� ��� ��� ������!� ����� � ���� � ��������

� �� � � � ��� ����+�& � � � ����� �� ������ "� ���� � � ��� � ��� ������ �

�� ���� ���� ���������� ������� �������� ����� �� � ���� � ����!���

������ ����� � ������ � �� ��� ��� ��� ����� � #� ������ �� �� ���

� ����� ���� �� ��� ������ �� � ��� ���� ����� ���� ����� � #� ������ �

����������� �� �� ������ ������� ��� � ��� ������ ���� �� �� �� ������

������� �� ��������� �������� � ��� ���� � ��� ��� ��� �������!�

�� ������ � #� ������ � ����� ��& ��� � � ������� �� ����� "� � � �����

����� ��� ��� ��� ������!� � ���� ������� ���

"� ����� ������� �� !�� ��� ��!�� � ������������ ���� � � ���� ���#��� ���� �����

� � ���� � � � � � ���� ��� ���� � ��� � #� "� � � ���� � ���������� ������

$����� ���� �� ��� � ��� ����� ���� ���� �D

����� �� � !��� �� "� !����# � �����

"� ���� ���� ������� ���� ��� ���� ��$������ � ��� ����� � �� ������ �� ( ��

� �� ���� � $���� � � ������� ��!�� � � ��� !�� �������� ����� �� � ��������

���� � �� ��� � ��� �� � ��� ���� ����!�� E��� ����� � � ��� ������� ��� ����

�� � $���� � � � ����� F�������� � $���� � �!�� ��� �� ���� � ��������� ��������

� �� ����� � ���G� ��G� �� �������� "� ��� ��� � ������� ��� � ��� !�����

������ ��� ���� ��� ������ � ���� � ������ ���� ��$������ ������ �� ������� �����

� ������� ��������

Page 11: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

������ ��� ������� � �������� ��� ����� � �� ������ ��� ����� ������� ��!���

������������� ��������� �������� ��� �������

��� � ����� ��� �������� � ��� 0:9/� ��� 0:7/� � ��� ������� � � ����������

�� � ��� ����� � �� � ���� ���� ���������C�� �� ���� � ��� �������� ��������

� �� � � ! ��� 2���� ���� ��� ��������� ���������C�� � � ���� �� ������

������� �� � � ���� �� ����� ������� � ��� ������ �!�� ��� ��� � ��� �����

��� � ���

2�� ������ $������ ��� ���� ������� � ������ ���� � ���� ��� �� ���

����� ��� � ������� � � ��� � �� ����� � � ������� "� ��� ��� � �� �

������ ��� � ��� � � �� �,��� � ������& � ���� �� #� �� � � � ���������

��� ���������� !������� �� ����� �� � ��� !������� � ������� �������� "�

�������� � �!���� ��� ����� ��� ����� ���� ��� �������� ��� ����������

!������� �� �!����� ����� �� � ��� ��������� ������������ !�������� �����

!������� � ������� ��� ��� ��� ��� � �� ������� ��� ������� ���� ��� ���

�������� �����������

����$ �� ���������%�� �&�#������

���� 0�0 ������ ��� �������� ���&���� � ���� ��� � ����� �� � � ������ $������

��� ��� +��� ��� ��� �� �� ������ $������ �� ��� ���� � � ������� � � ����� ���

���� � ��� � ����� �� � �� ���� ����������� ������ � ��� � ��� ������ �

�� ��� ������ � ��������� ���� � ��� ���

2� ��� ������ ��� ��� � � ����� ������ � ��� ������ � ��� � #� ��� � �����

� ��� ��������� ����������0 ������ ��� ��� � +������ 4�

����' ���� � � (��# ��

��� ������� �� � ������ $������ ��� ����� ���� $����� ��� �� ��� �� � � � �

��� �� ������!��� � � �� ���� ���' ��� ��� � ��� ��������� ������ � �

������ ���

Kalman filtering

Leastmean

squares

Leastsquares

Stochasticsystems

Dynamic systems

Probabilitytheory

Mathematical foundations

���� ��� �� ��������� �������� �� ������ ���������

0"� � ���� ���� �� � � ������ ��� � �� �� �� ������ � ����� ����������� � ����� �� � ����������

������� ���� �!�������� ���� � ����� ��������� ��� � ����� �� � ���� ��� � � �� ���� ������� ��

��� � ����� ��������� �

Page 12: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

-�� � (�� ��� �� ��� '���� .���� � '������ 2��� � � ������ ������H

+�� �� �!�������� � � � ��� ��#� �� �� �� @����� � � � ��� �����������

������� � �������� ����� � ������ ������� � ��� ��!���� ���� � �����

�������� ��� ����� ���������� � ��� ����� � -���� ��� � � � ������� ���

�!�� ��� ��$����� ����� ��� � ������� ��� � !��� 5����� ��� ������� �������

��� ������ � � �� ������� "� �� ����� !��� ������ �������� � ����

������������� !�� ���� ���� �� ��� � ��#� ���� ������� �� � ������6

� ��

��� �� ���� � ���� �� � �� � � ������ #� � ���� ������� !��� ��������

������ *!�� ��� ����� � ������ �� ������ ��� ���� �� ��� � � ������� ��

�� ����� � �� ������������� �� �������� ��� ������ $���� ��� �� �� �

������� ��� ����� � ������ ������� ��� ������ ����� � ���� � ����! �

�� ���� ���� ��������� �� ���� �� + ��� �������� � ���� ������� ���

����� � ��� ��� �� � ���� � ����� 0�0�

-�� / ��� #����� � (�� ��� � '������� ��� ���� � ���� � ����� 0�0 ����

� �� � ����� ���� � ����� ���� ���� �� ���� � �������� ��� ����� � ���

� ����� ���� ������ �������� ��� �&���!� � ����� ������� � �

�������� � � ���� � ��� ����� ���� � ����� � � � �!�� ��� � ����� �������

����� ������ ��� �������� ������� � ������ � �������� ��� ������ � ���

��� ������ $���� ���� � � ������ ������� � � ��� �� ������ ������� � � ��

������ � ��� �� � ��������� ��� ����� $������ ����� ��� ��� �� ������

������� � ��� �� ���� � �������� �� ���� ������ �� � ����� � � ��� �������

������������ � �� ������ � ������� ���� ��

� ��� ����� � ���� �� � �� �����

� ��� � ��� �� ��� ������ �� � ��� !�� �� ���� � ����� ��� ������� � ���

������ � �� ���������

��"�� ��� �)��*��� �� ���������� +��,����

���������� ����� ����� ���� �����

������� ������ �������� ���� ��������

�����������

���� ����

��� �������

����� ��������� ����� ������ ����� �����

��� �����

������� �����

������� ������� � �����

!����� ������

"�������� ��� �#���

$��

���������

�������������

���%�� ��������� ����� &�� ' ��������

� ������� ��������

Page 13: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

� ��� ��� ����� � �� ������������� � ��� ���� ���

� ��� ���$������ ���� �� � � �� ���� ���� � � ���

� ��� ���� ������� ����� � � ��� !�� �� ���� � ������ ���

� ��� ��!�� � � ��� ����$��� � � ������ ���������� � �� ���������

��� ��������� �������� � ��� ������ $���� � ������ ��� ��� �� � ������

������� � ����� �� ����� � �������� � ���������� � �� ������ � ������ ��� �

����� �� ��� ������ ��� ��� �� � ���C� � �� � ���� �������� � ���� ������

���� ����!�� � �� ���� ��!�� � ������ � ���������

��� �� �-������ �����.-

2� � ����� ���� &��� � ��� � ��� � ����� � ����������� ������� ��������� � ���

������� �������� ��� ��������� �� �� � ������ ��. �� �� ������� ��� �� �� �

���� 0�.� ����� � !�� ��� ;// ������ ��� ��� ����� ��� ��!�� ����� �

����������� � ������ � �� ���# ��� �� ��� ��� I������ ��������� � � ��

������� ��� ��� � ��� ���&��� ��� �������� � ��� ���!�� ������� �� ������ A.;�

08>B� E�� �� A0:.B� (����� ��� *���#�� A./9B� ��� ) ���� � A78� ..7B ��� ���

���� ��� ��� ���� � 4���� A09;B ��� )����� A.0>B�

����� "�/�����/� �� ���������� �����0

��� $��� ���� � � � � ���� �� �� ��� ������� �� � � �� ���� � ��� �����

����� �������� "�� ��� !��� � ��������� ��������� � -��� ������ *����

�0888G0?;;� � 08:;� ��� ��!������ � ����������� ��� �� ��� ���� ��� ��C��

���� ��� ��� � *���� *���� �0;>7G0>7.� � ��� ��� ��� ��� $��� � ���� ���� �

� � ������ ��� ����� +��� ��� � � � �� � �� ��� ���� � � ����� ������ �

�� ������ *���� $��� ���� � � � � � ������ ������ � �� ���� � �����������

���� � ��� ���� ��� ���� � � ������� � ���� � ��� ��� �� � ���� � ��� ���

� �� ��� ������!� ��� ������� �� � ���� � ������ ��� ��� ��& ��� � ���

������� �� � ��� ��� ��� �� 4�#�� ��� (�#��� � A:8B'

F� 1������ 0� 0?/0� ��� $��� ��� � ��� ��������� �������� ��� "����� ���� � ���

*������ ,�CC ��� ����#�� �� ����� � � ���� ����� �� J���#� �� � ,�CC� ���

����� ��� ���� ����� ��� �� ���� �� ��� ������� 2��� �������� � � ��� ���������

����� ,�CC ��� !����� ������� � ��� ������� "� ��� 0�������� ������� � ��� �� �

������� ��� ��� $��� � �� ��� !�������� ,�CC �� � � #� � ���� ���� <� ��� ���� �

����# ��� ������� �� �������� � � � ������ ��� ��$����� ���� ���#�� ��� ����� 70

����� � !���� �� � ,����� ��� �� �� � �# ��� ����������� 2��� �� �������� �

�� � �#� � ��!��� �� ��� ������ � $�� -���� �����

.��� ��� � ������ � ����� I� @� ������ � ��� ��� � *����� 1� 4������ �� ����� ��� ��������� ��! ����

� ����� ����� ������ ������ � ���� ��� F���� ������ � ������ �� ��� ��#� ������� � -������ >�

��� � � ������ ��!"

Page 14: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

F� 1������ .7� ,�CC ��� ������ � �� ��� !��� � 1 ���� 4 ��� 4 �� � ����

#� �� � � %��1� ���� ���� ������ ���� ��� �������� � ��� ������� �� � ��� ���� �

���� � ���� ����� ��� �!�� �� ��� �� �����

�� � 00/�7� 9� .�� � � � � ��� /� 0� .� �� 7� ;� � � � � �0�0�

+�������� � ��� � � 4 ��� ��� 1 ���� ���C �� $��� �� � ��� ��� � ������ � 088.� +�

���� ��� ����� ���� ��� �� #� �� �������� "� 08?0� ������ <������� ��� !����

J������ ���� $� ����� �� ��� � ����� � � � � >� 5 ������ ��� ���� ��� !���� � �

� � 9� )������ � �� 4 ��� �� ��� ��� � � @�� ���� ���� � ���� ��� ����

�������� � � ��� ��������� ����� ������ � � ������ 9/ ������ ,�CC ��� � � ���� �

��� ��� ��� �� ��� �� �� �� �� 4 �� � �� ��������� ��� !����

,�CC�� ������ �� � � ����� 4 �� ���� (���� ./� �@����� �� ��� ��� ��� !����

���� ������� 4 �� ��������� ���� ,�CC�� ��� !��� ���� �� ��� ����� ������� ���

����� ��� ����$���� ���� � � ��������� �� ����� �������� �� ��� ���� �� ����

�!������� "� � � �� ���� � � ������ � ��� �� ���� 5��� �� ������� ��� �������� ��

���� �� �� ��� � �� ��$���� � ����������� ���� � ��� 5 � �� ��� � �!�� � ����

�� � ������� -���� ��� � �� � ����� �����

,�CC�� ��� !���� ���� � � �������� ���� ��� ������ � 0?/0� ��� � �����

��� !������� ����� ���� � ��� � � ��� ������� � ����� ��� ��� ������� � �

��� �������� ��� ������ ����� "� � ��������� � ��� � ����� &���$��� � � � �����

���� ��� ��!�� ����������� ������ #� �� ��� �� -���� ��� � ������ �������� ��

��� ��������� ��� � ���� *� �� <����� �� �� ������ <���� ��� �������� �������� �

� # � ���� �� �������� ��� ���� � ���� � � ������ ���� ��� � �������� � � ��

����� ������ ���� ����� ��� � � ��� ��� � ����� &���$��� � � � ����� ���� ���

��!��� ��� ��� ������ ������ � ���&��� � � �!����� � � ����������� ������ ������

�!��������� ���������� ��� �� ���� ������ ��� ������ � � � .76����6 �� �������6

���� �� * K������ ����� -��� ������ *�����

���� ��� ��#������ �# ��#������� $��������� �� ��� ��� �� �� �������

������� ��������

Page 15: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

*���� ��� � ��� ��� ��� ��� ��������� � �� ���� � ��� ���#� ������ ��� ���

��� � ���� � � ���� ��������� <� � � ��! ��� � �� � �� ��� � ��� �� �����

�� ����� �� ������� � ��� ��� � -���� � L�������� ��� ���� �� ������� � ,�CC�

��� ��� ������� ���� ��� ���� ������ � ��� $��� ��� � ��� ����� ��� � ��� �����

�� �� ��� !����� � ��� ���� ��� � ��� �����

*���� �� � � ������ �� ��� ��������� � ���� �� ���� 0?/:�9 "� ���

������� �� �� ��� �������� ��� ���� � � ����� � ����� ���� �� ��� ��� !���� �

08:;� �� ��� ��� � 0?� ��� ��� ���� � � ��$��� �� �������� � ��� ��� � -�����

+��� ��� -���� ������ � ���$���� � �� � ��� ��� �� � ��� !��� ��� � ����

��������� ��������� � ��� ������� �#�� � ��� ����� �� ������� �� �� �&��� �

����������� �������� ��� ���� � � ����� � ������ � ��� ���� ����� ��� ���� ��

�&��� � � ������ ������� ��� ����$� � ������� �� � �������� ��� ����� �6

���� �!�� ���� �� ��� ���� �� "� ��� ��� � �� � ��� ������ � ��� ��� �� �

������� "� ��� ��� $��� ����� ������ � ���� �� ��� � �� !��� �� �� �����

� ����� � ������� ��� ����������� ��� ��� ������ �������' "� ��!� ��������6

������ � �������� ���� � � � �������� ��� ��#� �� ���������� � ��� ������

� �����

����� �����# �� ����� -1&����

��� � �� ��� ������� � � �����6� ����� �� ���� � ��� �� � �� ���� �����

���� ��� ��� ����� � ����� � ����� ��� �� ������ � � ���� ������� ����� �

�� ������

������� ��� ��� ������� ���� ��� ��� ���� ����� ����� ��� ��

*���� ��� !���� ���� � �� �� �� � ������ � � ��� �� � ����� � ��� ��

�00 �0. �09 �0��.0 �.. �.9 �.��90 �9. �99 �9�

��� ��

� ��� � �

� ���

��0 ��. ��9 ���

�������

�������

+0+.+9

���

+�

�������

������� �

*0*.*9

���

*�

�������

������� �0�.�

2+ � *� �0�9�9"� ��� �������� ��� ���� � � ����� � ����� ��� ���� ��� !���� ������������ ��� �������� ��

+�����6(��� E������� �08;.G0?99� � ����� ��� I ���� +���� �088;G0?;;� � ��� J���� )�����

A08>B� A"� ��� ��� ���� ��� !���� ��� ���� ��� �� *���� ��� � �� �� ��� *�����6)��� ������� 1 ����

<����� E������ �08.?G0888��B )��� 1����� ������ ���� ����� ��� ���� ��� � � �������� ����6

�������� �� ��� !���� ��� � �� �������� � � ���� ����#��� ���� � ������ � ��� ��� �� ������ � ���

2���� $���� ��� ��� ������ $�����

��� � � ������ ��!" �

Page 16: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

���� �� � ��� � ����� ��� �� ���� � � �!�� � � ���� !���� � �� ��� ���� �+��� � ����� ��+6������ ���� ���C�� ��� ���������� ����������� ��� ��� 2 �+ � *�

<� � ��� ���������C� ���� ������ � ��� � � ����� � �� @������� !��� � � ��

2 �+ � *� �� � �!�������� �� � ����'

�.��+� � 2 �+ � *. �0�7�

� �� �0

��3�0

� 3 �+3 � *

� .

� �0�;�

���� � � � ���� ���� ������������ ����� � � ��� � ��#� ��� �+0� �+.� �+9� � � � � �+��

��� ����� � �.��+� � � �� ��� � �� ���� �+� � ��� - ��� ������� � ���

����!� �� ����� !���� ����� ��� �� ���!��!�� ��� ������� � ��� �+� ���

C�� � ����� ��� � ���� � ��� �� � ��� � ��

/ � ��.

��+�

�0�>�

� .�� �0

� �

��3�0

� 3 �+3 � *

� �0�8�

� � � � 0� .� 9� � � � � �� 5 �� ���� � ��� ���� � ��� � ��� ������� �

��3�0

� 3 �+3 � * � 2 �+ � *� � �0�?�

��� �� � � � 2 �+ � *� ��� ��� ����� �� ������ � � � �!����� � ��� � � �� ����

� ��� ��� � ���� � 2 ��� 2 �+ � *� ������ �� @ ��� � 0�8 ��� �� ������ ��

/ � .2��2 �+ � *� �0�:�� .2�2 �+ � .2�* �0�0/�

2�2 �+ � 2�*�

����� ��� ����� ������ �� 2� � ��$��� ��

2� �

�00 �.0 �90 ��0

�0. �.. �9. ��.

�09 �.9 �99 ��9

��� ��

� ��� � �

� ���

�0� �.� �9� ���

�������

������� �0�00�

� ������� ��������

Page 17: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

��� ����� ����� � ��� � ���� ����� ������� ������� ��� � ��� �

2�2 �+ � 2�* �0�0.�

� ������ ��� ����� ����� � � ��� ����� �� � ��� � ��� � � � ��� ����� �����6

� ����� �� ����� "� ��� �������� �� ���� � �!����� ������ � ��� �� �� ��#� ����

��� ���� �� ��� � ���� ����� ������� ������� ��� � ���� � ��� � ��� ���

� ��� �

�+ � �2�2��02�*�

�� !��� ���� ��� �����

� � 2�2 �0�09�

� ��� ������ ����� �!�������� ��� ����� �� ���� � � 2�2 � ��� � ��� � �

������ ��� ���� �� ���� +�7 ��� ���������� � ��� *����� ����� ���������C��

������� � � � ��� � ���� !��� �� � 2 ��� ������� ����������� "� �� ���������� �

C�� � ��� � ���� !��� �� � 2 ��� ������� ���������� ��� �+ ���� � �� ���������

�� ����� "� �� ���������� � � �C�� � ���� ��� � ��� � �+ � �� ���� ����������

$������������ ���� �� "� ��� ���� ���� ��� *����� ����� � �!������ �����

� ���������� ��� � ��� � �+ � ������ ��� �����6� ����� � ��� � � ��� !�����������

����� �!��� � �� ����� "� � �� ������� ���� ��#�� � ������� �� �� �� ���

������ � ��� ��#� �� ����������� ��� ��� ���� ��� *���� ������� � ����

� ������ � �� ������� � � ��� ���� �� ��� � ���� ��������� � ����������

� ������ � � ��� � �� ������

��� � �� � ��� *����� ����� ��� �� ���� � -������ . � ��$�� ���

����!����� ����� � � ����� ������ ������ � ��� � ������� ����

���� ������� �� ���������� ����� ��� � �� ��� ������� ���������� � �

��� ������� � ����� � ����� ��� �� ������ � $���� � !��� �6!����� ���������

� ��� � ���� � � ���� �� ���� "� ��� ���������� � � ��� ���� � ������ ����

����� ������� ����� � � �� ��� � ��� � � ��� �� ����� � ���������C�� �� ���

*����� ����� � ��� � ������

75���� � � ��� L���� ����������� 1 ���� ,������� *��� �0?;/G0:0>�� ��� ����� � ��� ������� �

���� � ������ ��� �������� � ���� ����� � ���� +� ����� ����� ��� @����� ��������� I ���� +�����

���� �0?:/G0:>.�� +��� ��� �� ���� � ������� ��� *����� ������� ��!� �������� ��$�� �� ���

����� ���� ��� �� ��� � ��� �� ��� ���� ���� � ��� ��������� �������� ��� � ���� ��������� ��$�� �

� ��� ���� ����� � ���� + ���������� ��� �� ���� � ������ �� � � ������ � !����� �� � � #� ��

�� ������ ������� �� "� � ����� ��� � � ������ !��� � � ��� *����� ����� ���� ��� �����������

��� �� � * ��!� � & �� *������ ������� �� ��� ��� ������ ������� � ��� ���������� � ��� ��������

����� ��� �� ���� � ����� � � ����� ��� ,� ��������� ���������C�� � � ��� ���� ���� ��� �� � ��

������ ���� � � ��� ���� * ���� � � �������� +� ��� *������ � ��� ���� ����� � ���� �� �� ���� ��� ,�

�������� ���������C�� � � ��� �� ������ � ��� � ��� ��

��� � � ������ ��!" �

Page 18: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

������� ��� ��� ������� �� ��� �� ! ��� ���� "� � �� #�� ������

$�� )��� �� ����� � � ���� !���� � ��� � � �� ����!�� �/ � � � � � *��� � �� �6����� ��� ����� !��� � ���� � � ����� �� � ����� � � �� ��#� �� �6!��� � + ��

��� � ��� �

*��� � 2���+�

����� 2��� � � #� �� �� � ������ ��� � ����� ��� � � ��� ����� � �� ���� ��� �

��� ��

�.��� � *��� � 2���+.� +��2����2����+ � .+�2����*��� � *���.�

��� � ����� ��������� ��� � !�� ��� ����!�� ��� ���� �� ��� �������

���. ��

�/

�.��� ��

� +��

�/

2����2��� ��

� + � .+�

�/

2����*��� ��

� ��

�/

*���. ���

���� ��� ������� ��� ���� ����� ��������� ��� ������� � + �� ��� �������� �����6

� ����� �� ����� ��� �����6� ����� � ��� � � � + ��� �� � ���� �� ��� ��� �� ��#��

��� ���!��!�� � ���. ��� ������� � ��� � �� ����� � + ��� � ����� ���� �

C�� � ��� �������� � ��� �� ��!� ��� � ��� �

�+ ��

�/

2����2��� ��

� �0 �

�/

2����*��� ��

� �

�� !��� ���� ��� � ����� ���� *����� �����

� ��

�/

2����2��� ��

� � ���������

��� � �� � ��� *����� ����� ��� �� ���� � -������ . � ��$�� ���

����,�� � �� ���� + � � ����� ������ ������ � ��� � � ���� �� ����

����$ ������� �����) ��# �,���2�,����0

� ��� �������� � ������� �� !�� ����!����� � �� � � ������ �� � ���

���������� ���� �*�� "� ������� ��� � ��� � ���������� � ��� *����� �����

���� ���� ������� ��� � ��� ����� � ������� ����� �2� ������� ��� ��#� ���

��� #� ����

�� ������� ��������

Page 19: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

4����,�� � �� � � ��� � ��#� �� !������� � ��� ���� � ������� � � � ����

!����� ��� �� ����� ������ ����� �� � � �!�� ��� � ������ ���& ��������� ��

� ��� �� �! �!�� ����� �� � ��� ��#� �� !�������� ��� ��#� �� !������� ���

��� � �� ����,���� � ���� !����� ��� �� ���� ����������� �� � ��� �!��

� ��������� ��� ���� ��� ��� � �� ������,���� � ���� ��� � � �� ���� �������6

���� �� � ��� �!�� � ���������

��� � ��� � � ��� ������ �� � � ����� ������� � ��� *����� ����� � ��

������� � ���������C�� � � ����!����� ���� ��� � �������� � ��� �� ���

� ���� � ��� ��#� �� !�������� "� ��� ������ � ��� ���� ���� ��� � ��������

� ��� �� ��� � � ������ ��� � ��� �� � ��� !����� � ��� ��������� #� �� ����������

� ��� � ��� ���

��� *����� ����� ��� �� ���� � -������ . � ��$�� ����!����� � ��� ������

� ������ ������� � � ���� �� ��� ��� ������� ����

����' ����#&%���� �� +��,�,����0 �����0

���������� �� ��� � �!��" �#���"� ,� ������� ��������� ��� ����� � #� ��6

���� �� �� ������� ���� ���� �� �� !��� � ������ � �� ������ ���� ��" � ���

#� ��� � ���� �� �! �!�� ����������� F�� � ��� �������� � ��� ��� �� �

������ � ��� � � # � � �� � � ������������ � � ����C� � ���&��� � ����

�������� �� ������� ��� I ���� ���� ������ �������� ��� ������� � �� ��� ��

���������� ��� ��# ���� � ������ � ��� �� ����������� �������� (��� ������ ���

"������ ���� ����� �������� � ���� ������ ������� ��#� � ��� ����� I����6

������ ��� ��� $��� #� �� �������� �� � ��� �� � �� ��������� � ����� �

������� ������� � ���� ��� �� ��� "����� *� ��� -����� ; �0;/0G0;8>�

���� ���� �� �������� ������� � �� ������� � � ����� �! �!�� ���� <�

������� ���� �������!� � ���� � ��� ��� ���� ����������� ���������� �!�����

<� ��� ��� � ����� ���� "���� ����� 4���������� ������ ��� �� �� � ���� ���

��������� � ������� �������� ���� � ��� !� ��� ��� ������ � ������ ���

� ��� ����� �� � ����C�� �� � ��� ����� ��������

( �� ������� ���������� � �� ������� ���� ��!�� ��� �� 4���� ,����� �0>.9G

0>>.�� ,���� �� ����� �0>/0G0>;;�� ��� -������� <������ �0>.:G0>:;��

������� � �# � � ����� �� ��� ��#�� �� �� 1�# � � � 1����� 4��� ���

�0>;7G08/;�� �� � � ������� �� � �� ��� ���� � �� ��� � ����� � �� ������

��� ��� <� ��!� ��� $��� �� � �� �� � � ��� ��� � ����� ������� � � ��������

���������� ����� �� � ������ %������ �� ����� �� ��� 4���� �08/.G08>0� ���!��

�� ��� �� ���� � � ��������� �������� � ����� ����� 4��� ���� +������ ��

( !�� �0>>8G08;7�� ,���� )� � (�� �� �� E������ �087:G0?.8�� +���� (���

E������� �08;.G0?99�� ��� -��� ������ *���� �0888G0?;;� � ������ ���

��!�� ����� �� ��� ��������� ��������

;-����� ��� � �������� ������� � (��� �� ��� �� �� � #� � ����������� <� � # .� $��

2����& � ��� ����������� ������� � ����� � ������ ���������� ��� ������� ��� �������� ������ �

������� ����� �� ������ -����� ��� ��� ��� �!��� � � ��� � �� � �� � ���� � ��!����� & �� � ��� �

��� � ����� � ������ ������ ��� 0����� 3 �� � 0����� �����

��� � � ������ ��!" ��

Page 20: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

4������ ��� ����� ��������� ������� ��� ��� ��6�������� �������� ��� �� �6

������ �������!�� ����� � ��#� � � �� ������ �� ��������� ���$����

���������� ��� ��� ���� ��� ���� � ������ ������� ���� � ���� ����� ��� ����

����� ��� ��������� �� �� ������� � ���� ����� � ������ � ��� ��������� ��������

��� ��!�� ����� ��� ������� � � �� ������� � ���� � � ��� ������� � ���

�������� ������ � ���� ��� �� "� �!�� ������ �� �� ����� ���� � � � � ��� ���

� �# � 1���� -���# (������ �0?90G0?8:� � ��������� �������� ���������� ���

�� ������� ��������� � ������� ���� ���� �� � �����$� ���� �����������

��������

+� �� ����� $���� � �� ������ ��� �� ��� ��� ��� �� � ���� � �� ������ �

��� �������� ������� ��� ��� I����� ��������� +���� 5# ��� !�� � �� 6

� � ! �0:/9G0:?8�� )������ �� ��� 0:.;� � �#�� ��� <� M�� ������ ��� ������

�� ������������ ��� � ����� �� � �� ������ ��� �� � ����������� ��� ��� ����

������ ��� �������� ����������� ���� � �� ������ ��� ���� � �� ������� +� ��

��� 5 ����� 2���� �0?:7G0:>7�� �� � ������� ��� � ����� ���� � ��� ��� ��

� ������ �� �� ���� ��� $������ � (��# ! �� ������� ��� ��� ������� ��� �� �

��� �� �� ������� <� ��� ��� $��� � ���� ��� �� � ����� ������ � � � �������

�! �!�� ���� � �� �������

����3 ������ �����

5 ����� 2���� �0?:7G0:>7� � �� � ��� � �� ��� �� �� ���� � ��� �����

�������� �������� <� ��� ������ �� �� ������ ���� ��� ��� � :� ���� �� �������

��� ��� �� <� $����� ��� ��� � �� ��� ��� � 00 ��� � ������� �� �����6

�������� ������ � ���������� � ����� ����� �� ����� J�!������ <� ���� �������

�������� ��� � �� <��!��� J�!����� �� ��� ��� � 07 ��� � ������� �� � �� ����

������ � ��� ��� � ��� � ���������� ���� �� ��� 0?� <� ������ ��� �� ���

���� �� ���� �� ��!���� & �� � � �� � �� ������ ����� � 0:0:� �� ������ �

������� ��� ������ �� ��� (������������ "������� � ����� � �� �("��� <�

������� � ��� ������� �� ("� � � ��� ���� � �� ����

"� ��� � ����� �����$� ������ 2���� � �� ����� � �� ��� �� � � ����� ���

�� � ��� �������� �� ���� � � ��!�� ��� ��� 2���� $����� ) �� � �� ��������

����������� ����!������ ���� � �������C�� ���� �� �������� � ���� ��

�������� ��� ���� ������ �� � ����� �� � $��� ����� ,��! �� ������� ����

��������� � ����� �� � $��� ������& ���� � �� ������ ����� � ������� � �

������ � ��� ���� ���� +� ���� � �� ���� ����!������ �! �!�� ��� �������C��

���� ������ �� ��� �� !�� ���� ��� ������ �� � ���� � �� � ��� ���� � ���>

$����� ��!��� %�&�!�'����� "� ��� ����� ����� � ��� 2 ��� 2�� ""� 2���� ���

�! �!�� � � ������ �� &��� � ����� �� ��� ���� � ��� ���� � � �������

���������� $�� ��� ����� �� ���� �� 4������ ��� ����� � ��� ������� � �

><� � ��� ������� ��� ��� ��� !��� ���� ��� � ��� �������� ������ � � ����� � ���� ��� ����

������ �� � �� ��� � ������ � ����� �� ���� ��� � ��� ����� ��� !���� ���� @����� ��� #� �� �

��� �� ���

�� ������� ��������

Page 21: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

� ��������� ����� � � ��� ����� � �������� ��� ������ ��� �� ���� � ���� � ��

��� ��������� ���� �� ��� � ��� ���� ��� � ������ ��� ������ � ���� � �� ������ ����

� �� ����� ����#�� �����

2���� ���!�� ��� � ��� � � � ��� �����6����6� ����� ������ � ��� � � �����

� ��� ��� � ������ � ����� �� � ��� ����� ��� ��� � ��� ��� � ��� � � � ���

� �� � �� ������� ����� � ���� ��� �� �������C�� ��� ���� � ������� �!��

������ � �������� � ��� ��������� � ��� ��� � ������ � ����� �� �� � �!��������

���� ���� ������ ���� <� ���� ��� ���������� ��� �� ������� ������ � ���� �

���� ���� � ����� � � ��� �������� ��������

+� ���� � �� ���!�� � � ��� ����� ����� ������ � � � �������6��� �������

��� �������� �� +� 5� � �� � � ! � 0:70� ���� 2���� ��� &��� � ������� ��

� �# � ��� � ���� ��6��� ������ ��

2������ � �# ��� � � �������$�� ���� ��� ���� 0:7/�� � � ��� �� �����

��@����� ��� �� ����� ��� �� ��� �� ���� � ���� ���� ��� �������� ��� ����

��� ����� ������ �� ������ � ����� �������� +� ����� ��� � � ��� ��� �� ��� �

���� � � !��� ��� � ���� � �� ������ ����� ���� � ������� "� ��� � ���� ���

����������� ������ ��� �� ��� ����� � � �� ��������� ��������������� ��� �

��� ��� ���� ��� ���� �� � ������� � � �������� �������� �������� � ���������

����������

����4 ������ �����

I�� �� @�� ������ ��� � �� � (�� 0:� 0:9/� � 4�������� ��� � � � F�� ���

J����� ������� ��� ����� �������� �� � <������ � ��� J���� )����� �����

2 ��� 2�� ""� "� 0:79� ���� ��� ��� � ��� (����������� ��� ���������� !��� ����

���!���� ��� ��� ���#�� ��� +���� � �� �� ��� ���� �!�������� �� ���� ���� �

M ����� ��� F� � � 0:77� I�� �� �������� M ����� �� - ����� ����� � � �����

����� ��� �� ������� ("��

������ ����!�� �� ������ ��� ��� �������� ������� � ��������� ��������� ��

("� � 0:;9 ��� 0:;7� �������!���� <� �������� ��!� � ��� @���� +� ���

*������� ��� �� ����� � �� ��� ��� ����! � � � ��� �� � ��� ��6 ����

��������� � ��� �� A007B� 2��� �� ������ # ��� �!������ �� � ��� ���������

���� ��� ��6 ���� ��������� � ��� �� ���� �� � ����� �� � ������ ���� � �� �

��� �������� ����� �� ���� � � ��� ��6 ���� ���������� � ��� ��� ������

��� !���� ���� ���� � ��� �� ���� � � �� ��� �#� ��� � ��� �� � ����������

� ��� ��� "� ����� ���� ���� � ��� � ����� ��� �� ����! ��

"� ��� ���� � 0:;;� ����� � ���� ������ � ����� ���� � � ��� � ������ � � ��� @� "�

L�, �� - ������ ������ ������ �� ��� ������ �� �������� ��� �������� �������

�� - ����� J�!������ +� ���� ���� - ����� ��� ���� #� �� � � ��� � �# �

� ��� � ��� �� �� 1 �� I� I���CC�� E �$ +� N�����8 ��� ������ ������ ������ ��

- ����� ���� �� � ������� ��� L �� � � )����� ������ ����� � 0:;8�

� ��� ���� ����� ������ � �#�� �� ��� �������� ��� ��� �� � ��� "������� ���

4������ (������ - �� ��� � � , ���#����� ��� � � �� ����� ����� ���� �� ���

8N���� � ������� � �� ��� �� �� ��� ���������� � ��CC� ������� ��� �� ��� ����� ���!� ���� ����

��� � � ������ ��!" ��

Page 22: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

�������� ������ � ��� *���� E� (���� � ����� � 4���� ��� ��� I������� "�������

� � +�!����� )����� �I"+)��

(��!" )�����*# +��������� ��� �������� ������ � ������� ��� �� $��� ������

� ������� � ������ � 0:;9� ���� �� ���� � ����� �� I���CC� �������� ���

���! �� ����� "� ��� � ��� ���&��� � �������6���� �������� � � ���� ��� ���

!������ � ������� !������ 2��� ������ ����C�� ���� ����� �������6��� �������

� ��� �� � �!�� �� ������ �� ���� ��� &��� �#� ����� � ���� ��6��� �������� ���

��� ������� � �� ���� ����� � � ����������� ��������� ������� � ���� �� ���

������� ����� �������� ��� �� ���� �� � �!����� � � �� ������ �!�� �� ��� ���

� ��� �� � ����� ���������� � ��� �� ���� � � � C�� ���� ���� ������ � $���

��� ��� �� �� � �������6��� ������� ���� ���� ������� �� ������� � ���

� ����� �� ������� ������� ��� �� ��� ��������

"� 0:;7 ������ ����� ������� ��� ���� � �������� � ��� ���� � ��� ���� �

� ������� ����� ����� �� ���� �� ��� �� ����� � � � ������ ������ ���� ���

��!� ��� ����� � ���� ������ � C�� � <� ��� ��� ������ ��� ���� �� ��� � �# �

I ���� 2� 4��� ����� ��� ��� �� ��� ���� � �!������ ������� � ������ ���

������� ����� � �� ������� � � ��� � � � � ��� �������� ���� � ��� � ���

�!�������� � ��� �� ��� ���# � � ������? ��� ����� � � ����� � ������� �������

��� ������� ��� ���

%��*�&��" �� �#� ,�!��� ��!���� "� ���� 5 !����� � 0:;?� � � � �� �����

� ��� � I"+)� ������ ��� �������� �� ���� � 4���� �� �� � � !�� �

,����� �� +� �� ��� 00 ,(� ��� ���� ��� ������ � � �� �� �� � �� &��� �����

4���� ��� "� ��� ����� �� ��� ����� ��� �� ��� � ��������� 2��� �� ��� �������

����� � ��� ���� � � ���� � ��� �� ��� ������� � ��' 5�� �� ����� ��� �� �

����� ,�� �����: � ��� 5 ���� )���� �� ������6 <� ��� � ���� � ���# ����

� �� �� �� � ���� �!����� ��� � ���#�� ��� ������� � � ����� ������� � � &���

����� <� ���� ��� ��� E �O!��� � # � �� ������ ��� �� A>?B ��� � �����

�������� � ��� �� &��� �� ���� �� !�� � �� �! ��� � ��� ���!�� � � ���

������ $����� 2�� ��� ���� ��� ������� � � $��� ����� ������ �� ��� ���� �

���!� ��� 2���� $���� �� ���� �� � � ���� ��� ������ $����� 2�� ��� ������ �

�����6����� � ��� ��� ����������� ���#�� ��� ������ � � ��� ���!�� � ������

���� ������� ��� ��� �� �� ���� ���� ��� ����������� ����� � ���� �����6

����������

+����-�*���� �� �#� ,�!��� ��!���� ������ ��������� �� ��� ������� � ���#� ��

��!���� ��!������ ��� �������� ��� ��� ��� ��� �� � �������� � �����0/ <� ����

���� ��� ��� � �� �#������ �� �� �� ������ ��� �� �� �� � ���������

?��� �������� � �� ���� +& � � ����� ��$��� � -������ .�:+��� ��� ����� �6����� ���� �� ���� ���� ��� ��������� ���� ��� � ��� $������ �� ����� ��� ��� �

�����6����� � ���� � � ���6!����� ������� ��� ������� ���� ��� ����� ������ �� E���� ��� 4���� A>8B

� 0:;>��0/"� ��� �������� � �� � ��� ������ ���� � ��� ������ $���� ��� ���� �������� �� )������ A..8B �

0:;: ��� )���� � !�� A.;� ..>B � 0:>/�

�� ������� ��������

Page 23: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

��������� & ����� ������� ���� �� ��������� ��������� & ������ � � ������� ��

������� ��2��� � � ���� ������� � ���� ��� �� ��� ��� ���������� ��������� � �

���� � � ���������� 00 <� ��� �� ������ � ��� � ���� ��6��� ����� ��� ���

��&����� ���������� �� ������� ��� �� �� ���� � ��� �� � ������ � � ����� ��

������� �"� ��� ������ <� �������� � ��������� �� $����� ��� ����� ��� � ��

������� ���������� ���������� "� � � ������ ��� ���� � � �������� � ��� ��

���� ��!������ ��� ��� ���&��� � � C��� � � �� ��� ������ � ���������

��������� !�� ��� ���� ��!���� ������

(��!" .''!�*������� ������ � ��� � ������!� ������� � � �� $���� � ��� ���� �

0:>/ � � !�� � )������ � )����� �� ��� +��� I������� -����� � 5+)+ �

( ����� P��� -��� ��� A00?B� ������ �������� �� ������ ������ ��� )�����

��� ��C�� �� � ������ ���������� � � �� ���� ���� ���� ������ �� +�������

���&��� �� ������ � ��� � ��� � �� ���� � � ��� +� �� �� &���� � ������� ������

��� � � ��� � � ��� ���#� )����� ����� � �# ��������� � ���� ���

�� ����� ��� $��� ���� ���������� � � ��� ������ $����� <� � � ��� !���� ����

� � � ������ ���������� ������ $��������� ���� ��� ���� ���� �!�� ���� � � � ��

����6��� � ������ ������� �� � ������ $������� @������� !�� �� �� �������

��� ��� ������ $����� �� ��� �� �� �� �����C�� ����� �! �!�� � ����� � �#� "�

��� ����� ���� � 0:>0� )����� �������� �� ������� � I����� <� 4���� �� � ���

("� "����������� � E�� ��� �� ������ ������� ��� -������ )���# L����� E�� ��6

� ���� 4���� ��� ������� ���� ����� ����� ���� �� � � ��� ����� ��� ���������6

� � � ���� ������� ������� �������� ��� �� ���� ��� ������ $���� ���� � ���

+� �� �� ��� ��������0. ���� ��� ������� ��� ��!�� ��� �� ��� "����������6

� � E�� ��� ��� "� ��� ��60:>/�� ��� ��� ��� �%����� � )������ ��� ������

$���� ������ ���� � ��� 5 ������6���� ��!��� � ������ � � ��� -;+ �� ������ ���

���� ���� ������� �� E �#���� +������ - ������ ��� ������ $���� � �!�� ���

���� �� � ������ ��� ����� ��� � ����� ����� ���� ��� ������ ���� � ���� �

���!� �� �� !����� ������� � ��� ������� ���&��� �� ��� ��� ���� ��3��� � ������

��� ����� ��� �������� �� ��� �� ��� �� � ����������� ����� "� ��� ���� ��

������� ���� � ������ �!��� �� ��� ���&��� �� ������ � ��� � ��� � ������

������� ���� ���� ����

/�#�� )�����*# +��������� +� ��� 0:>/� ������ �� ��� ���� ��� ������� � � �

� ����!����� � � ������ ������� ��� �� �������� ���� ����� ���� ���

� ��� �������� ���� �� �� ��� �� ��� �������� � ������ ����������� �� �� ����

� ��� �� ������ ���� �� ��� ����� ��� !�� !�����

I����� )� 4��� ��� ��� �� I"+) � ���� ��� �� ��� � ��� �� �� ��������� �

������ ���� ��� 2����G< �� � ��� � � � �!����� � ��� ����� I���� � ��6

00��� �� � ��� �������� � ��� ��������� ��� �� � � ���# � '����� ����� ���� ��� ������� �!�� ��

������ �� ��� J�!����� � -��� ��� �� E � +������ �J-E+� � +��� 08� 0::0� � � ���� ���

����C�� ��� � ���� �� +� P� 4���#������ �� J-E+ ��� �� �� ��� & ���� �� J-E+ ��� ��� 5�� ���

+�� ������ ��� )���� +�������� � �5+)+� L����� E�� ��� ���0.+� ���� ����������� ��� !����� � ������ $���� ���������� � ���� �� ��� ���� � � ����� ��

1���� @� , ���� �� ��� ("� "����������� � E�� ��� ��� ��� ��� �� �������� � ��� ���� ������� ��

��� � � ������ ��!" �

Page 24: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

� ��� �� ������� � $���6����� ��� �����6����� � ���� ��� ������� ������ �

��� ����� ���� ������� ������� � ��� �� ��� ���������� � ��� �� $��� ������

�������� �� ��� ���� ���� F�� � ��� � �� �����#���� ����!������ � ������ ���

4��� � ���� ��� � ��� �� !�� ���� ��� I���� � ��� � ��� ��!� � ������ �������6

������ � ��� � �!�� � ��� ������ ������ � ����������� !��� ���� ��� ������ �

����!���� ��� � ��� �������

������ ��� ������ � ������ � �� � ��� ��!�� ����� � ����C�� � ��� ��� ����

��� ����� � ��#� ����� �� ��� 0:>.� ��� ��� �� ��������� ��� �� ���� � $����

� ������ � ��� � ������ ��� ����!�� ����G ����� ����! � � � ������� ��� ���

� �!������ � ��� � � �� ������� �� �� ��� � � ��� ������ � ����� �����

� ������� ���� � ����� ������ � �����

"� 0:?;� ������ ��� ������� ��� �� � ,�C�� � ������� �� � �� � �� ���

1������� � �!����� � ��� 5 ��� ,�C�� F� �� !�� � 1���� � ������ ��� �� �

,�C�� �� ������� � ��� ����� �� ������ ���� �� ��� $��� ���� � � ��� � - � ���

)����� � 0:>.� ��� � ��� ���� �� ������ � � ��� "� ���'

$ ���� ����� � ����� ���� ������

#,����� ����� � ����� �,�����

% � ����� � ����� �����

<� �� � �#� �� ����� ��� ���� � ������� ��� �����

"� 0::/� � ��� ���� � � �������� ������ �������� � ������ ������� ���

���� ��� ��� � �!���� � � ��� ���� �� � � � ��� �� � ������ ����!������

� ���� ��� � �� � �� ������ �������� ��� ������ �����& ��� � �������� � ��� ����

���� ��� �������� � � ����� A9B�

+�'�*� �� ,�!��� ��!������ �� ��*#��!��"� � � ��� ������ �� � �� ��

�! �!�� � ������ � ��� � ��� � �� ������ �� ������ ��� ��� � �� � ������� ���

�������� ����!����� � ������ � ��� �� � ��� �������� �������� (��� � ���

����!������ ���� �� ��� ���� � � ��� � � ��!� ���� � ����� ��� �� �� "� ���

�� � ��� ������� ����� � ��� � � ��� )���� +��� � ���������� ��� ������ ���

��$���� ��!��� � � ���������� ��� ��� ��� � ��� ������ � ��� � � ��!� ���� � ��

��� �� ��

��� ������� ���� � ������ $������ ��!� ���� � ��� ������ � ��� � �������� �

��� ����#�� ��� ��!��� � � ��� � ��� � !������� ��� � ������!� ����� �

������ � ��� � ��� � �������� ����� �������� ���!��� ���� ���� � ����� �� ���

��� ���� � � ��� ������ $����� �"� � � ���� � ��� ������ � � �� ����� �

����� � ��� ����� ��� #��� �� �������� $������ � � �������� ��������� ������� M �

��� �� !��������� �� ��� ����� ������ � ���������� � ��� ����������

)�!���&� .-&������� �� ,�!��� ��- $����� ��!������

0� ��� 2���� $���� ���������� � � ���� � ������ ��� ��� ������ �� ����

����� ������!� ��� ������ ���� ��� ������� ������ $�����

.� ��� ������ $���� � ������������ � ��� � �� � �� ��� ���� � � � �����

� ������� ���� ��� �������� ���� � ������� � � ������ � ��� � ��� � ��

� ������� ��������

Page 25: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

��� ��� ���� ��� ������ $���� ��� ��� ������ ��� ���������� � ��� ��

�� ���� ��� � � ������� � ���� ������� �������� ���� ��� ���� ����!����

��� ���� � $������

9� ��� 2���� $���� � �� � � �� ��� $���6����� ��� �� ������ �� ����

� ���� � � ��� ����� ��� � ���

7� ��� ������ $���� � �� � � �� ��� ���� ��� ���������� ������� � ���

���� � �� ������ ��!� ���� ���� �� ������� ��� ���� ������� �� �

�� ������ ������ � ����� ���� �� ������ �� �������

;� ��� ������ $���� � � ������� ��� ��� �����6����� � ������ � � �����

� ��� ����� � � ������ �������� ��� ������ ��� ���� � �� !� ������ ����

�� ������ � ������ � ��� � ��� � � � ����� ��������

>� � ��� � ���� � ��� �� ��������� �������� ��� ������ $���� �� ���� ����

���� ��� ����������� �������� � � ����� ��� ��� ���� ��� 2���� $����� +�

� ������� ��� ������ $���� ��� �� ������ �� ��� ������������� ��!�� �

��������� ���������

8� ��� ������ $���� �� !��� ��� ��������� �� ���� � � � �������������

� ���� �����������6����� ���� � ���� �� � � �������� ��� ��&����� �� �6

�� �� �������������

����5 -1&���6 ��� �����#� ��# ��� ����

0�����*�! ��� �!��" ��� !���� ��� ����� ������� � ������ $������ ��� � �

��� �� �� �� ������ � � ��� ����� � ���� ��� ������� ������� � ��� ��������

� ��� � � ��� ��� ����� I���� � ��� �� "� � �� ������� ��� ����� � ��� ��

��� �� ������ � ���������� ��� �!�������� ������� ��� ���� ������ � ��� $����� "�

��� ������� ��������� � �� ��� ��� ��� ���� � � ��� ������ $����� �����

�������� ��!���� ������ �������� ���������� �� � ��� ����� � ������� (��� �

����� ���� ������� �� � ���� �� ���! ���� ���!�� � � ��� ����� � ����� �� �����

(��!" �- #�* ��1��� "� ��� ��� !���� ����� �09 ���� � ���� �������� � ���

� ��� � � ��� ����� I���� � ��� � ��� !�� �� �������� �������� ���������

���� ��� � ���� ��� ����� �!�� � � �� ��� ������ ���� �� P�������� ��� P��

L ��� A.9.B� "� ��� ��� � ��� ���� ��� �%����� � � ��� �� ��� �� � ��� ��

���� ����� �� ���$����� �������� ��� � !������ � �� ���� � �� � ��� I����

� ��� �� + �������C�� � �� � ��� �������6��� I���� � ��� � ��� ��!�� ���

�� 1 ���� A0;B ��� ���� �� I� -� �� E�� �� < ������� � 0:>7� ��� ��������������

��� ������ � � ��� ������ $���� � ��� �� ��� !�� � �������� ������ � ��� ��

��� �� � � �� ������� ��� ���� ��� ����� ���� �� ��!� ���� ���� ������ � � ��

�� ����� A0.;B�

09����� $��� ���� ���������� ��� !���� ������������ �� ��!���� �� ���� )����� A00?B ��� ��

� �������� �� 5+)+ ��� ��� !���� ��� ��� � � ���� �������� ��� ������� � ���� � � ����� � ��� ��

������� ��� ��� I� -� �� E�� �� < ������� ��� ��� ���������� ��� !��� � ��� �������� �������

��� � � ������ ��!" ��

Page 26: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

������2)��� ��!������� ����� ���� �� ��� ��� �� � ������� �� ��������������

��� ������ �� � ��� I���� � ��� �� ��� ���� ������� ��� 4���G1 ���� � ��� ���

$��� � ����� ��� ��� ��� ����6� ��� ���������� � �� , ���� ��� )���� A./?B� $���

�������� � 0:>9 ��� ������������ ���������� � � ����� ��!��� � � ��� +� ��

������ ����� ���� ��� � �� ����� , ���� ��� )���� ��� ����� ��� ��� � ���� ���

��� � !������ ����� �� 0������ ������07 � ��� � ����

� � 00�� �0�07���� ��������� ��� ����!�� ��� ������ � ��� �� � ����� � ��� -� ���#� ���� � 0�

������ ���� �� ��� ������ ��� ������ �������� ������� � ��� $���� ���������� � ��

��� ������� � ����� � ������ ��� � �������� + �������C�� � � ��� , ���� ���

)���� ���� � � ������ !��� �6!����� ������������ ��� �������� �� �� � ���

���� �� A09/B � 0:>?� ��� � � �� ��$���� ���������� ��� ����� � �� �������

-� ���#� ���� ������ �������� �� 4����� � 0:>8 A09?B�

������2)��� ��- 3% ��!����� ����� ��� � ������ ���� ��!�� ����� � ������

��� ����� ���� �� � � � ����6� � $������ � ��� 0:8/�� � �� ��� ��� � �# ��

5+)+�1,E ����� ������ ��� 1�� ,� ���� � E�� ��� ��� �� ��� -��� ��� "������� �

����� � ��� � ��� ���� 0:>/� �� L��� ��� (�I��� ��� A0;>B � ���� ��� ������

���� �� � � -� ���#� ���� ��� @����� �� � � ����6� � � !������ ��� �� ���� �

$����� ���� ��� ����� � �����#�� 0:80 ����� A00;B �� )���� �� J�!������ ���

$��� � ��� ��������� ���� ��� ��� ����� � � ��� ����!�� ��� ������ ��� ��� �

+��� ��� ������ A0/>B� � � 0:8. ��� �� � ������ ����� ������� �� �����

��� ����� ��!� � ����� ��� ���� � ������ ��� � ������� �� ��� � �!��� ���

������ $����� ��� ��� ������ �������� �������� ��� ������ ����������� ��� ���� �

-���� � ��� �������� � 0:89 A07:B� � �� ��� �� ��� ��� ����6� �6������ ��� ����

� 4����� � 0:87 A8B ��� ��� ��� ����� ���� ��� ������ ���� � ��� ����� ��

�� ��� � A0.7B� ��� � ������ ��� � ������� � ��� � ����6� � $���� � � ���6

�!����� ������� ��� ������� ����$�� �� ( �� ��� ������ A./7B � � ����� �����

)�����C�� �������� �� ������ ������������ � � ���� � ��� � � ��� � ����6� � $����

� ��� �� ���� ��!�� ��� �� 1 !�� ��� ������ A08;B ��� ����� !�� ��� ����

������� ��� ���� ������ ���!�� �� � ����� ��� ������ � ����6� � ���������6

� �� ���� ��� !���� �� ������ A.>B�

��*����4����� 5��#�-�� ��� � ����6� � ���� �� ��#� ��� � ����� ��� �6

� �� �0; ���� �� ���� ���� ������� ���!�� � � ��� �����6� ����� �� ����� �����

07+ � ���� � � ' � � ����� � ����$�� ��� � ��� � � � '' ����� ��� �� ��� ������ �� � ��� ��� ��

���� ��� , ���� ��� )������ ���!�� � ���� � ������ ���� � �������� ����� ������ �� ���������� ���� +�

���� ���� ��� �� ���������� ����� �� � � ���� � �� ���� ���������� ������ "� ��� ����� ��� ���� �� ����

����� � ���� � �� � ��� ���� ��� ������ ��� � ����6� � �������� � ��� ����# ��� ������ �� � , ����

��� )������ ���� ���� �!�� �� ��� ��� ���� �� �! �!�� ��� -� ���#� ���� ��� � � ����� � ���� � ���0;��� ���� ����� �� �� ��� ������ � ��� ����������� � � � ����� �� ��� ����� � � !������ ������ �� �

�� ���� � ������� ��!�� � �� ������ � ������ ��� �� ������� ���� �� ���������� �� � ���������

���� ��� � � � �������� ������� �� � ��� � ��� ���� ���� ��� ���� ������ �C�� ��� ��� ���� ��

4����� A8B � � ���� ����������� ���

�� ������� ��������

Page 27: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

������ ��� � 6������ 7- ��� �� �� � � � ����� �� ��� �� ���� � �� ��� � ���

����� �7� ��� � �������������0> ����� �-�� ��� ����� - ������� �� � ��� ������� �

� ��� � ��� ������ ���� �� � ��� ����� ������ ����� ��� � ��� ������ ���6

� �� ���� � �� ���� � ��� ��� ����������� ��� ����� � � ������� �����

������ ���� �� � ������ ��� �����������C�� ��� � ��� ����� ������ ��� ����6

�����C�� � ���� �� ���!�� �� *!��� A0>7B� < ���� ���� A08.B� ��� *��������

A0>9B ��� ���� � ��#� ������ $������ � �� � ���� ������ � ��� �� ��� ���

����7 "�0��# ������ �������/

(1���-�- ,�!��� ��!������ ��- �#� ,�!���6�*#��-� ��!���� +��� ��� �

��� ������� ���!�� � � � ����� �� ����� ��� ������ $���� � ��������� ������

��� ���������� � ��������� ��������� ���� � ������ �� ������ �����

������ �� ��������� ��� ������ ���!��!�� �� ����� ���� ���� �� � � ������

����� ��� )����� A00?B ��� ����� ��� ��� � �!������� ����� ������ ���!��!�� ��

��� ��� ����� !���� � ��� ����� !�������� ��� ���� ��� � ��������� ������ ���

�+������ ������ )����� ��� � ��� ������ ��� ������8'��� �� )���� � � �� �����

������� ��� ��� ��� ���� ���� �� � � ���� ����� ����� � ��� �� � � ������

�� ����� ��� �������� � -������ ;� ����� � � � ��� ���� ����� ��� � � �� ��� ����

� � ��� � ������ �� ������ (��� ��� ���� ��� � �� �!������ �� ���� ��!�

��������� ������ � �� ����� �� � � � �� ������� ��������!�� ���� ��� ���� ���

� � � !���� � ��� ���� � ��� � #�

0��!����� ��!������ 3���� 7��#�� /�-�� .''��1��������� +��� �����

���� ����� ���� ������ �� � ��� $���� � ��� �� ����� ��� �� ��� ����� ������

��!� ���� ���!�� �� )���� � !�� A8?B� ������� A0:0B� 4��� A078B� 4��� �� ���

A097B� ��� ����� � � ������� � ��������� ��� �� 2���� ��� -������� A.9;B � �

����� ��� ��� ���� �����

0��!����� ���*#����* %����������! (��������� ,� ����� �! �!�� � ������

��� ���� � ������ ������� ��!� ���� ������ � � � �� ��� � ���������

��������� ��� �� ����� � !�� ��� � ��� ����� � �� � ��� ��� � � ��� �����

� � � ������ ������ ������ � �������� �� � � ������ ������ ����������

� ��� � ������ ��� �����8������ ����� �� "� ��� ���� ������ �� @�����

A0;8B� ##�� A0>/B� ,����# A./8B� � �� � � ! A0?8B� )���� � !�� A8?B� 4����

��� (���� A;.B� ��� ������ )���� � !�� � ����� ��� ������ � ��� �� ������

������� � � �� ���� � ������ ��� ��� � �� ������������ � ��� ������

������� �� ������ ������ ��� � � ��� ��� ������ ���������� � ��� � ���� �������

����� ������� � ������ ��� ��� � ��� �����8������ ����� �� "� ��� ��� ����

������ �� ������� A0:0B� 4��� A078B� ��� ����� ���� ��� ������� � �������� �

�� � "� Q���� ������ ��� ��"� Q ����������� "� � � � �6I������� �������� ��!��6

��� ����$����� � � �� ������ ���������� ������� ��� � �� � �$��� ���������

��� ������� ���� ��� ������� � � �� ������ ������ ���������� � ��� � ��������

0>)�� -������ > ��� +������ 4 � � ������ �� � ��������� � ����

��� � � ������ ��!" ��

Page 28: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

��� �! ��� � !�� ��� � ��� �� ������ ������� � !�� � ������� ������� � ���

������ ������ ����� ������ ��� �������� � ��� � �� �� ��& � ��� $���

����������� ��� ������������� � ��� ������ $����� � ��!��� ��� � ������ ���

� ������� � ������ � � ��� � ��� ������� ��� ������� � ��������� ������ �

��� � �!��� ��� ������ $����� ����� ���� �� ��� � ���$���� ������� ��� �����

��� ��� ��� �� ��� �� �� � ��� � #�

����� ���*����� ��- �#� %���*���� ��� !��� + � �� ������ � � ���� �

���� � �� ���� � � � ����� �!���� � �&���� ���� ��� ��������� !�� ��� �

������ ���� �� ��� ���!��� � �������� �� � � ������� �� ������� ������ � ���

� ��� �� � ����� � ��� �#�� "� � ��� � � ��� � � ��� ���� ������ � ������� � ����

������ � �� ������ ���� �� ��� � ��� �� � ������� � ���������� ����� ���!�������

�� � ����� �������� � � ��� � ��� �� � ��������� � ��� ����� ��� ������ �

������ � � ����� ���!������� ������� �� ���� ������� �� � �!�� ��� �� ���

��� ��� � ������ ����� ����#�� � ��� �&���� ��� � ������ $����� ��� �����

��� ������ $���� �� ���� �� ���� ����� � � ���� �&���� ��� ���� ���� �����

������� ���� �� ������ �� �������� �� �� �� ���� ������ ��� ���������

��� ���� � � �� � �� �� ����� ��� ����� ��� � ���������� ������ ���� ��

�� �������� � ��� ������ $����� � � �������� ��� ����� � � � �� �� ����� +

��$�� ���� ��� � ����� ������ � ��� ����#�� �� �� ����� ������ �

���� � ��� ���!�� �� I������ � A.07B ��� ������C�� � ��!���� ������� ���

��� ������ � ��� ����#�� �� ���� � � � � ���� �3��� � ����������� �� ���

� ��� ��� ##��G,����# � ��� �� I������ � ���!�� �� � ��� ��6 �&���

� ��� �� �$��� �������� � ������ ���������� � ��� �� ����������� �3���

���� � �� ��� ��������� ��� �������� ��� � ����� �� ���� ������� � �� �� ���

����� ����� ������� ����� � �������� ��� ������ � � ����� ������ ����������

� ��� � ���� ������ ��� �! ��� � � ��� ������ � �&����� "� ��� �� � �!��

����������� "� �� !��� � � ��� � � ��� ��$���� �� ���� � �������� ������

�&���� �� �� ���� ������ ��� ����������� �� � � �� �� �����

��$ �� ��� ������� (-�. � ��- "���

��$�� -0�,���% ��������

��� ����������� �� ���� � ���� �� � ��� �� � ��� �� ��� � ������ � ���� �����

��� ��!�� �� ��� ���� �� � � �� ���� ����� ��� � � �� ��� ������� � ��� I ���

�������� � ��������� ��� � ���� � �������� @������ ��� �� �� ��� ��� !������� �

������ $������ ��� �� ������� ��� +� � ������� � �� ���� �� ���� ���� �������

� ���� "� ���� ������ ���� � ��� ��� �� ��$��� �� ���� ��� ��� ������ "� � � ������

� ������� ��� ���! ������

88%��99 0������� ��� %���&���&��� 5��� ��� � ��� � ���� � ���� � ��� � � ��� $����� ���!��!�� � ��� ������� � � � ���� ����� � �!����� � ��!� �#�

�� ������� ��������

Page 29: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

����-��- �"� �!� ��� ,�!��� ��!��� :���� !��� ����� ������ � �� ��

������������ � �!��� �� � �������� ������� �� � � ��� ���� �� ���� � ������

$������� ��� �� ���� � ��� � # � ����� � ��� ����� � ��� � � ������

A08:B� ��� ���� �������� � ��� � � � ������ ��� ����� ��� ������� �� �

������ $������ � � ��� � ��� ��� "� ���� ��� $��� ��� ������� � ��� �������� � �����

� ��� ������ � ��� �� 4 �� ���� � ���� � ������ ��� ��������� � ����� 0�.� �� ��

��� ��� ����� �������� � ��� ��

����� :�*��� 0������� ��� ,�!��� ��!������� ��� ����� !��� � + ��� ����

�� ���� ��� ��� � ��� � ���� ���������� � ��� ����� � ������ $������� �����

0�9 ���� ��� � ��� � ���� � ��� � # ����� � ����� �� �� ��� � ��� �� � ��� �

� �� ���� � ����� ���� �� � ������ ��� ����� !��� � ����� � ������� �� ��� ��������

!����� �+� ��� ���������� � ��� �� ��� �� ����� � !����� ���� ��� ������� �������

!�� ���� ��� �� ���� � ���� � ��� �� !����� �� ��� ���� ���' ��� � �� � 08 !����

���� �� ��� ����������� �� ��� ������� ��� ��� ���� ���� � ��$��� ��� ��������

��� ��� � ����� � !���� ������ ��� ������� ����������� ��� ���� ���� � ��$���

��� ��������� ����� ������ �� ��� ������� �� ��� ������ ��� �����!� ��� ���������� ��� � �� � !����� ��� ��� � ��!� ��� ��� ������� ��� � ����� � !�����

��"�� ��� -���#��# -0�,��� �� ������ �������/

��%���

��%��

!� !!% !!!� �(����

� � � ����� ��� (���� �����# � �������� ����� �� �������

�)����� ��(�� ������ ������

� � * ������� �����# %����� ����� ������� ���� �� ����� �

����� ������ ������

! � +��������� ���������� �����#, ��(�� ����� �����������

%����� ����� � ��� ������ ������ �� �����������

���� �� %� ����

� � � -���� ��� �����#

& & ��������� �����# � ����� ��������� ���������

' ' ��������� �����# � ������� ���� � ��� ������ �����

�������

� . ��������� �����# � �%���������� &����������'

���������

( ( ���� ������ � � ����� ������ ������

) * /����� &�� ������' � �������� ������

� � ���� �������� �����# � � �������� ����� ������ ������

� ���� %��� 01, 12, 13, 4156 % -���� 042, 17856 � 9���� ������� 0:, 1., 1;, 3<56

08��� ��� � ��� ���� E��� ������� �� ��&���!�� � � ��� �� � ��� � ���� � �������� � �� ��� �������

�� �� � �������� � ��� �� ������� ����� � � ���� ��� � �� ���� �� �@!�� ���� ���� �����!�� �� ���

��� ������ "� �� �� �� ������ ��� � ��� � ��� #� �� � � � �� ������ � � ��� ��� ��� ���� ����

��!� ����� ���� ��������

��+ � �!� ������ , �" �� �!� -� ��

Page 30: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

������ 0������� ��� .���" %���������� )��� �� ���� � � ��� � ���� ��

� ��� ������������ ������ � ������ $������ ��� ��� �� ��������C��� ���� ���

� ��� � � *��� �� ��� A.0B �� �� � ����� 0�7� ����� ���� �� ��� � � ����

������!��� � � ����� ���� ���� �F�������� �� � ��� � � ��� �� � ����������

< ��!��� �����!�� �� � ����� ������ � ���� � ��� ������ �� ����� ���� �� ���

�� ���� � � ���� ����� ���

��' -(��� 8

��� ������ )���� � �� ������ � ���� � ������� ��� ����� � � � ���� ����� �

������ ��������� �� ����� �� �� �� � �� ���� ������������ ���� ��� � ����

����� �� � ��� ������ ����� ��� � ������� �� ��� � ,� *������ ���� � ��� ���

����������� � ��� ���� � ��� ���!�� � � ��� ������ $���� � � ���� �����

����������� � � � ���� �� ����� � �������� �������� ������� ����� ������� ��

��"�� ��$ -*�%��� -����6-*�%� ��������

���� 9����

%��� ������� �(���� � "�������� =����

( ( /������()

(. ��� . �� ������� � ��� ������ (

(. ( �. � ��� . �� ������ � ��� ��)����

� � � � (.�1� (. � (.�1� � � � � ��������( � (� � � �������� � ��� ����� � (

�(�(. ��� �(. .�1 � ������ �������� � (. , ��������� � ��� �����

�(.� ����������� �#���� ��� �� �� ���� �.�(. ��� �(. . � ���������� �������� � ( , ���������

�(.� � ��� ������%�� ����������� �� ���� �.�( (� ��������� � ( ���� ������� �� � &����'

�(���

��"�� ��' !����� �������� ��� ����0 .���������

�������

��%�� /����� "��� ������� ��%�� +����# "��� ��� �����

( ����� ����� � � ���� �������� � �

/ ������� ���� � � ������� ���� ������� � �

������ ���� � ' ������� ���� ��������� � �

) +��������� � ! +��������� ���������� � �

0 +��������� ���� � � +��������� ����

���������

� �

�� ������� ��������

Page 31: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

���� �� ��� ��� � �������� ��� ������ $���� � ��� � ��� ���� � � ��� ������ � �

����������� ��� ��� ��� � ��������

��� ����� ����� ������� ��� ��� $��� �� ������� ������ � ���� �� "� ���

��� !���� �� *���� ���� ������ �� ��� ��� ��� � ��� ��������� �������� ��� � �

���� ���� � ��� � ���� "� ��� ��� ����� ���� �� ���� + � ��� ������� ��� ���� �

� ����� � ����� ��������� ��� �� ��� !����� � � ��� � ��#� �� !������� ���� ����

��� ������� ��, �� � �� � � ��� � � �������� � ��� �� � ���C���

4����,�� � �� � � ��� � ��#� �� !������� � ��� ���� � ������� � � � ���� ���

�� ����� ������ ����� �� � � �!�� ��� � ������ � �� ����� ��� "� ��� � ��������

��� � ���� ����� �� � ��� ��#� �� !�������� ���� �� �� !������� ��� ����,����

��� ��� ��� ��� ����� *����� ����� � � ��������� "� ��� *����� ����� �

� ������& ���� ��� ��#� �� !������� ��� ������,�����

��� 5 ����8�����, )���� ��� ���!�� � ��� 0:7/� �� 5 ����� 2����

����� � � ��� � � ���� �� ���� ��� +���� � �� � � ! ����� � � ��� �

������� ���� � �#�� ������������� "� � � ���� �� ��� ��� ��� � ������ "�

�������� ��� ����� � � ������ �� ���� � �� � ���C� ��� ������������

��� ��� � ����� "� ��� ��#� ��!������ � ���� �� ��� #� ������ �� �� ���� �

�� ������ � ����� � ���� � ��� �������� ������� � ��� �������� ��� ��

��� �������������11 ���� � � ������ �� ���� ���� ���������� � ��� �� � �

��������� � ��� ��� � ��������� � �� ���������� ��� ���� � ���� ����� ���

����� ,�� ����� � ��� � ��� ��� ��� !������� � ������� ��� ���� ���!��!�� �

�������� I��� � �� ������ ��� ���������C�� � ����� � ���� ��������� �� ������ �

��� � �� ��� �& ������ ���� ��� ��� ����� � ���� ��� ������ $���� ��� ���!�� ��

��� � ��� � � ��� 2���� $������ �� ���� ���� ��� �����6����� � ��� � � ������

��� ���� � �� ������� ��� ������ � ����� � ���!� ���� � ���� ���� ��� 2����G

� �� � � ! $�����

'�������� )���� �� � � ��� ������ � � ��� ������ $���� � � ������ ��������

������� � $���6����� � ��������� "� � ����� � ��� ���� ����������� � ����

��� � ���� �� � �!����� ��������� ��������� ���� � ���� �����!� � � ��� �� ��� ��

� ��� � ������ � � ����� $���� ����� "� �� �� ����� ���� � ��� � ��

���������� ������ � ������ � ���� �� ���� ���� ������� ���!�� � � � �!��

��� �����6� ����� �� �����

+ �"���-

��� 1��� 4������ ���� �08>?G0?9/� ��� ������� ��� �� ���� � ���� ������

� ����� � ��� � ��� ����� / � � � .� �� � ����� � ����� � � ��� � 6

����� ����� ��'

��� � �/ ���3�0

��3 � �� 3�� � �3 ��� 3���� �0�0;�

��1 ,��2 ��

Page 32: ˘ ˇ - Uni Konstanz · 2016-03-30 · Kalman filtering Least mean squares Least squares Stochastic systems Dynamic systems Probability theory Mathematical foundations ˘ ˇ ˆ ˙

)�� � � � ��� ���� �� � ��� �� ����� J�� ��� ���� � � ����� � ����� �

��� ������� ���� ��� !�����

��/ �0

.�

.�/

��� ���

��3 �0

.�/

��� � �� 3�� ���

��3 �0

.�/

��� ��� 3�� ��

� ��� � ��$����� �3 ��� �3 � � 0 � 3 � � �!� ��� ����� ��������� � �����

���� ���� � ��� �

�.��� �� � � � � ��� ���.�.

�.�/

� ��� � ���� �.

��

�.�/

�/ ���3�0

��3 � �� 3�� � �3 ��� 3��� �.

��

� .

.�/

�/ ���3�0

���3 � �� 3�� � �3 ��� 3��� �

��� ��

�.�/

.��� ���

M � ��� ������ ��� � ������

.�/

�� � .�

.�/

� �� 3�� � ����� �� � /� 3 �� �

�� 3 � ��

�.�/

��� 3�� ������ �� � /� 3 �� �

�� 3 � �

�.�/

� �� 3�� ������ �� � /� / � 3 � �� 0 � � � �

�� �!���

�� ������� ��������