协作导航和运动中的非线性控制问题和方法---

随机极值搜索方法

刘淑君

东南大学

青岛 2013年4月19日

第五届控制科学与工程前沿论坛---专题研讨

主要内容

研究背景

随机极值搜索

非完整约束下的车辆的随机源搜索

总结

无法获得位置信息的信号源搜索

(如：在水下、冰下、洞穴中运动的车辆或机器人搜索

释放信号的源-----无GPS/INS)生物中的例子: E. Coli chemotaxis

(Credit: Howard Berg, Harvard University)

觅食行为采用相互交替的两种运动:

Run: 直线运动

Tumble: 停止向前运动而转动

随机性

研究背景---随机源搜索

极值搜索 (ES)基于非模型

仅需很少的信息

随机极值搜索

梯度估计: 周期扰动

梯度估计: 随机扰动

离散时间的简单情形 (Manzie et al.)

连续时间 ?……

研究背景---极值搜索(Extremum Seeking)

(20世纪中期应用上流行 几乎停滞 2000年以后研究兴趣持续增长)

平均方法 (M. Krstic & H. H. Wang, Automatica, 2000)

随机平均方法

/ 0 ( , ), :

: (

)

, ,

tt t

mt

dX a X X xd

R F Pt

εε ε

εξ

ξ ∈ Ω

= =原系统

定义在 上的随机过程

0( ), :

( ) : ( , )

tt

ta

dX a X X xdt

x a x ξ

= =平均系统

在某种概率意义下的平均函数

: , . t tX Xεε当 充分小时 以某种概率意义均 接近随机平

研究背景---极值搜索算法的稳定性证明工具

有限时间水平上的随机平均

无穷时间水平上的随机平均

(Blankenship, Freidlin, Skorokhod, Khasminskii, Korolyuk, et al.)非线性向量场: 全局Lipschitz平衡点:平均系统: 全局指数稳定扰动过程: 紧状态空间

(0, ) 0a ≡i

问题: 在较弱条件的随机平均?原系统:局部Lipschitz ,无平衡点条件平均系统: 局部指数稳定

约束条件强、不实用

逼近

稳定性

研究背景---已有随机平均结果

主要内容

研究背景

随机极值搜索

非完整约束下的车辆的随机源搜索

总结

2

*

*

* *: '' 0 (*)

: ( )

: ( )( ) (

''( ) ( )2

( ))

fff

y f

tt t

f

y f f

θ

θ

θ

θ

θ θ

θ

= + >

=

−

−

=

静态映射 且

输出

极值搜索 设计算法使 尽可能的小从而输出

趋近于 小值

随机极值搜索---静态映射

1

*

*

*

: :

: :

: : ˆ: :

s

ss h

y k

f a

h

ε θ

θθ+

要 小化的输出 积分器 的适应正增益

映射的 小值 探索信号的振幅

探索信号的小参数 未知参数

高通滤波 的截频 的估计

* * 2( ) ''/ 2( )f f fθ θ θ= + −y

/sin( ) (

) t

t t td dt qdWεη

η η= − +

ks

−y ζ−θ̂

/ sin( )( ) t

t t t

ad dt qdW

εηη η= − +

hss+

θ

*θ *f Plant

随机极值搜索---搜索机制

/

/

*

*

d sin( )( ) (**)

= sin( )

:

[ ]

:

:

:

t

t

t t t

k ydtd h hydt

ad dt qdW

he y fs h

ε

ε

θ η ζ

ζ ζ

θ θ ηη η

θ θ θ

⎧= − −⎪⎪

⎨⎪ = − +⎪⎩

⎧ +⎪⎨

= − +⎪⎩

= −

= −+

参数更新算法

随机激励

估计误差

输出误差

Ornstein-Uhlenbeck (OU) 过程: 连续、马氏、遍历，俗称有色噪声

随机极值搜索---搜索算法

2 2

'' 2/ / 0

'' 2/ 0

/1

sin( )( / 2( sin( ) ) ), (0)

( / 2( sin( ) ) ), (0)

[ ( , 0) :

:

]( )

t t

t

t t t tx q

q

d k f a edt

de h f a e e edt

t d e xqdW dx d

εε εε

ε ε

εε

π

ε εε

θ η η θ θ θ

η θ

η η μη −

⎧= − − =⎪⎪

⎨⎪ = − − =⎪⎩

≥ = − =+

误 系统

且

差 局部 Lipschitz, 不满足平衡条件

随机极值搜索---待分析的系统

稳定性分析工具：随机平均理论

S. -J. Liu and M. Krstic，Stochastic Averaging and Stochastic Extremum Seeking, Springer, 2012.

2 2

'' 2/ / 0

'' 2/ 0

/1

sin( )( / 2( sin( ) ) ), (0)

( / 2( sin( ) ) ), (0)

[ ( , 0) :

:

]( )

t t

t

t t t tx q

q

d k f a edt

de h f a e e edt

t d e xqdW dx d

εε εε

ε ε

εε

π

ε εε

θ η η θ θ θ

η θ

η η μη −

⎧= − − =⎪⎪

⎨⎪ = − − =⎪⎩

≥ = − =+

误 系统

且

差

2

2

''0

2'' 20

/ 2 (1 ) , (0)

( / 4

:

(1 ) '' ), (0)

aveave aveq

aveaveq ave ave

d kf a edt

de h f a e f e e edt

θ θ θ θ

θ

−

−

⎧= − − =⎪⎪

⎨⎪ = − + − =⎪⎩

平均系统

局部 Lipschitz, 不满足平衡条件

随机极值搜索---待分析的系统

2

2

2

''0

2'

2

' 20

:

/ 2 (1 ) , (0)

( / 4(1 ) ''/ 2 ), (0)

: '' 0, (1 )4

aveave aveq

aveaveq ave av

q

e

d kf a edt

de h f a e f e e ed

e

ta f

θ θ θ θ

θ

−

−

−

⎧= − − =⎪⎪

⎨⎪ = − +

⎛ ⎞− − − −⎜ ⎟

⎝

− =⎪⎩

⎠

平均系统

平衡点 局部指数稳定

分析误差系统的解性质：随机平均

随机极值搜索---平均系统的稳定性

{ }{ }

0

0

0 0

:

(0)

lim inf

(**) (*) . , , 0 ( ) : (

, a.s.,

lim ( ) (0) , [0, ( )] 1 l

0, ) ,

0,

0 : ( ) (

,

0

i (

)

m )

t

t

t

r c T

r

t

P t c e t T T

N

c e

ε

ε

ε ε γ

ε

γ

ε

ε ε δ

ε

ε

ε

δ

δ

γ

ε→

−

−

→ →

Λ <

= ∞

Λ ≤ Λ + ∀ ∈ = =

≥ Λ > Λ

>

>

+

→

∀ ∀

∞

考虑在参数更新率 作用下的静态映射 则存在

常数 及函数 使得

理

对 ，

且

定

( )22( ) ( ( ), ( )) 0, ''/ 4(1 ) . qt t e t a f eεε εθ −Λ − −其中

{ }

* 2 2 2

* 2 2 2

( ) ( ) ( ) ( ) for lim = , a.s.

( ) lim ( ) ( ) ( ) , [0, ( )] =1 lim ( )=

:

t

t

i y t f O O a Ce t

ii P y t f O O a Ce t T T

γ δ δε εε

γ

ε ε

δ τ τ

δ ε ε

−

→∞

−

→∞ →∞

− ≤ + + ∀ ≤ ∞

− ≤ + + ∀ ∈ ∞

且

输

且

出性能

随机极值搜索---稳定性分析

* * 0.1, 1, 0.21, '' 1, ; ;ˆ(0) 1, (0) 0.0032, (0) 1, (0) 1.0032

50 q

e

kf hf aε ε

ε

ζ

θ

θ θ

= = = =

= = = − =

= = ==

随机极值搜索---仿真结果

主要内容

研究背景

随机极值搜索

非完整约束下的车辆的随机源搜索

总结

随机源搜索---车辆模型

: ,

:

jc

js c

r ve

ur r Re

θ

θ

θ

=

=

= +

车辆模型

传感器位置

··

v

Rsr

cr uθ

y

x

控制目标: 寻找释放信号的源

不可获得的信息: 车辆的位置

源的位置

信号场空间分布

可获得的信息: 来自源的数值信号

(如：化学或生物物质的浓度，电磁、声音、

热能、雷达信号)

随机极值搜索方法

随机源搜索---问题描述

* *

( ( , ))( ) .

J f r x yf f r

=

=

假设信号场根据未知非线性映射 分布，

具有孤立的局部 大值 车辆传感器仅能感知J.

随机源搜索---随机极值搜索机制

0 0

0

20

[ ] : ;

g = [ ]; , , , , 0, (0, ).s+

constant ,

sin( ) sin( ),

( )sin ,

:

1

:

( )

1

c

s J Js h

W a c d g h

v V

a c d

a agd dt c d dt dW

gd dt dW

θ η ξ η ξ

ξ

ε

η

θ η ξ ξ ηε ε

η η

η ε

ε

εε

ε

= =

= + −

=

=+

>

− + − +

= −

∈

+

传感器

极值

读数 经高通滤波的输

搜索控制律

也可 为

出

改写

随机源搜索---极值搜索控制设计

20

*

* * 2

2

*

( ) | |

,

( ) sin( ) ,

, ( ( | | ))

,1

.

[ ] .

.

jc c

r s

js c

s r s

dr V e dta agd dt c d dt dW

de h d

J f r f q

t q r r e

r r Regd dt d

r rhe

s h

W

J f

θ

θ

θ η ξ ξ ηε εξ ξ

η ηε ε

=

= − + − +

= =

= = − −

=

− − +

= +

= − +

−+

假设信号场的分布为：

定义输出误差变量：

则闭环系统为

随机源搜索---闭环系统

2

0 0

2

1 2 2 1

0

*

2

: ,

( )sin( ) ,

, ( ( | | )

, , , , 0, (0, ), 2 ( , ) ( , ) ( (2 , ) 2 ( , ) ( , )) 0

,1 ,

.

)

jc c

r sj

s c

c

a c d g h hV I a g I a g hR I a g I a g I a

dr V e dta agd dt c d dt dW

de h dt q

g

r r e

r r Regd dt dW

θ

θ

ε ε

θ η ξ ξ ηε εξ ξ

η ηε ε

=

= − + − +

= = − − +

= +

= +

>

+ − >

−

∈

考虑闭环系定理 统

其中 选择 使得

如果初始条件使

0

* 2 2

* *

-*00

0

0 0 0

|| (0) | | , | (0) ( ) |,

| (0) arg( (0)) / 2 | or | (0) arg( (0)) / 2 |

lim inf{ 0 : || ( ) | | } , . .

lim {

,

, 0 ( ) : (0, ) >0,

|

,

( )

|

c r

tc

c

c c

r r

t r t r C e a s

P r t

e q R

r r rT

rC N

γ

ε

ε

ρ ρ

θ π θ πε ε

ρ δ

γ δ

→

→

≥ − − > + =

> →

− − + +

− − + − −

∞

−

∀

得下面的数量充分小

则存在常数 和函数 使得对

0

0

-*0 lim| | , [0, ( )]} ( ) .1 tr C e t T T

ε

γρ ε εδ→

− − ≤ + ∀ ∈ = = ∞且

2 2

2 2 2 2

/ 41

( 1) / 4 ( 1) / 42

1 2

( ( , ) ,

( , ) 1/ 2[ ],

= ( , ) / 2 ( , ))

a g

a g a g

c r

I a g e

I a g e e

V I a g q cRI a gρ

−

− − − −

=

= −

随机源搜索---稳定性结果

*static source: (0,0)r =

随机源搜索---仿真结果

src

src

moving source: ( ) 0.5sin(0.13 ),( ) 0.5sin(0.26 )

x t ty t t

=

=

随机源搜索---仿真结果

* 2 * 2

* *0

1 11- ( - ) - - , 0.05, 0.025, 25,2 4

0.6, 5, ( , ) (0,0), ( (0), (0)) (1,1.5)

c c

c c

J x x y y a c

g x y x y

ε

ω

= = = =

= = = =

（ ）

随机源搜索---调节向前速度

车辆数 n=4

随机源搜索---调节向前速度

随机极值搜索方法的理论研究

稳定性分析工具--- 随机平均理论

静态映射的随机极值搜索

……

随机极值搜索方法的应用研究

非完整约束下的车辆的随机源搜索

非合作动态博弈中的随机纳什平衡点搜索

……

总结