修正误差扰动的集合 Kalman 滤波方法在近地表土壤湿度同化中的应用 :...

修正误差扰动的集合修正误差扰动的集合 KalmanKalman 滤波方滤波方法在近地表土壤湿度同化中的应用法在近地表土壤湿度同化中的应用 ::

模型建立与验证模型建立与验证

修正误差扰动的集合修正误差扰动的集合 KalmanKalman 滤波方滤波方法在近地表土壤湿度同化中的应用法在近地表土壤湿度同化中的应用 ::

模型建立与验证模型建立与验证

田向军谢正辉师春香

中国科学院大气物理研究所

田向军谢正辉师春香

中国科学院大气物理研究所

[email protected]

ECCE Summer School for Advanced Study in Climate and Earth EnvironmentJuly 30-August 12, 2006, Beijing, China

提纲提纲

• 引言

• 集合 Kalman 滤波算法的实现

• 简单的土壤水模型

• 理想验证试验

• 正在进行的相关工作

• 引言

• 集合 Kalman 滤波算法的实现

• 简单的土壤水模型

• 理想验证试验

• 正在进行的相关工作

一、引言一、引言

• 土壤湿度在陆气相互作用的重要性

• 集合 Kalman 滤波方法在数据同化中的优劣势

• 土壤湿度在陆气相互作用的重要性

• 集合 Kalman 滤波方法在数据同化中的优劣势

二、集合 Kalman 滤波二、集合 Kalman 滤波

• 集合 Kalman 滤波是由 Evensen(1994b) 所开发的一种数据同化方法 . 其详尽的说明请参阅其相关的文章

• 集合 Kalman 滤波是由 Evensen(1994b) 所开发的一种数据同化方法 . 其详尽的说明请参阅其相关的文章

集合协方差矩阵 P集合协方差矩阵 P

• 我们首先定义下面的集合状态矩阵

• 定义

• 定义集合扰动矩阵

• 我们首先定义下面的集合状态矩阵

• 定义

• 定义集合扰动矩阵

1 2( , , ) n NNA R

A

1NA A

' ( 1 )NA A A A I

• 由此 , 集合协方差矩阵便可以定义为• 由此 , 集合协方差矩阵便可以定义为n neP R

' '( )

1

T

e

A AP

N

观测扰动观测扰动

• 给定一个给定的观测向量 ( 默认的最优观测). 是观测的个数 . 定义个具有扰动的观测向量如下

• 给定一个给定的观测向量 ( 默认的最优观测). 是观测的个数 . 定义个具有扰动的观测向量如下

md Rm N

, 1, ,j jd d j N

1 2( , , ) m NND d d d R

1 2( , , ) m NNE R

1

T

e

EER

N

分析方程分析方程

• 利用集合斜方差矩阵可以将分析方程写成下面的形式

• 集合增量 (innovation) 向量定义为

• 利用集合斜方差矩阵可以将分析方程写成下面的形式

• 集合增量 (innovation) 向量定义为

1( ) ( )a T Te e eA A PH HPH R D HA

'D D HA

• 分析方程可以变为 • 分析方程可以变为

' ' ' ' 1 '( )a T T T T TA A A A H HA A H EE D

• 引入矩阵 , 同时定义矩阵• 引入矩阵 , 同时定义矩阵' m NS HA R m mC R

( 1)TC SS N R

( 1)Te eC SS N R T TSS EE

' 1 'a T TA A AS S C D

1 '( 1 ) TNA A I S C D 1 '( )TA I S C D

AX 1 'TX I S C D

集合 Kalman 滤波的一种平方根算法

集合 Kalman 滤波的一种平方根算法

• Evensen(2005) 提出了一种新的平方根分析方法 . 该方法能够避免观测引入的观测扰动对分析结果的影响 , 另外该算法在计算分析的结构的时候不需要引入任何额外的附加假设与近似, 例如不需要假设观测扰动与集合状态标量扰动的无关性 , 也不需要对观测误差斜方差矩阵求逆 , 其算法简便有效 .

• Evensen(2005) 提出了一种新的平方根分析方法 . 该方法能够避免观测引入的观测扰动对分析结果的影响 , 另外该算法在计算分析的结构的时候不需要引入任何额外的附加假设与近似, 例如不需要假设观测扰动与集合状态标量扰动的无关性 , 也不需要对观测误差斜方差矩阵求逆 , 其算法简便有效 .

• 这种新的算法是从传统的 Kalman 滤波分析方程的斜方差矩阵的更新出发 , 进行矩阵变化 ,得到集合状态变量扰动的更新

• 这种新的算法是从传统的 Kalman 滤波分析方程的斜方差矩阵的更新出发 , 进行矩阵变化 ,得到集合状态变量扰动的更新

1( )a f f T f T fP P P H HP H R HP

' ' ' 1 '( )a a T T TA A A I S C S A

' 1( )a f T fAS C d H

算法执行算法执行

• 1. 计算出 C, 然后对 C 进行特征值分解

• 2. 更新状态变量的集合平均值

• 1. 计算出 C, 然后对 C 进行特征值分解

• 2. 更新状态变量的集合平均值

TZ Z C

' 1( )a f T fAS Z d H

按下列顺序进行矩阵乘法按下列顺序进行矩阵乘法

1 ( )T fy Z d H

12 1y y

3 2y Zy

4 3Ty S y

'4

a f A y

• 3. 计算矩阵

• 4. 进行 SVD 分解

• 5. 求解状态变量的分析集合扰动

• 6. 然后再加上集合分析平均值 , 便得到状态变量的分析扰动 .

• 3. 计算矩阵

• 4. 进行 SVD 分解

• 5. 求解状态变量的分析集合扰动

• 6. 然后再加上集合分析平均值 , 便得到状态变量的分析扰动 .

1

22

TX Z S

2 2 2 2TU V X

' '2 2 2

a TA AV I

a

初始集合的生成初始集合的生成

• 如果初始样本的选择适当将有助于准确的表征状态初始量的误差特征 . 但是 , 如果选择的样本偏差不是特别大 , 随着时间的积分一般不会对同化结果产生影响 . 初始的样本一般采取这样的产生方式 : 首先对初始状态变量给出一个较为准确的估计值 , 然后再在这个估计值的附近进行扰动. 产生扰动的方式有很多种。最简单的是产生随机数 ( 对标量模型 ), 随机曲线 ( 对 1 维模型 ), 或者是随机场 ( 对 2 维或者是以上维数的模型 ), 具体模型的产生方法参加 Envensen 的文章 .

• 如果初始样本的选择适当将有助于准确的表征状态初始量的误差特征 . 但是 , 如果选择的样本偏差不是特别大 , 随着时间的积分一般不会对同化结果产生影响 . 初始的样本一般采取这样的产生方式 : 首先对初始状态变量给出一个较为准确的估计值 , 然后再在这个估计值的附近进行扰动. 产生扰动的方式有很多种。最简单的是产生随机数 ( 对标量模型 ), 随机曲线 ( 对 1 维模型 ), 或者是随机场 ( 对 2 维或者是以上维数的模型 ), 具体模型的产生方法参加 Envensen 的文章 .

集合的积分集合的积分

• 对于一个离散非线性动力模型• 对于一个离散非线性动力模型

1( )k k kf W

三、用于验证模型的简单的土壤水模型

三、用于验证模型的简单的土壤水模型

( )( )

KD

t z z z

2 3

( )b

ss

K K

2

( )b

s s

s s

bKD

( , ) sL t

四、理想验证试验四、理想验证试验

简单验证试验简单验证试验

0

5

10

15

20

25

30

351

9518

928

337

747

156

565

975

384

794

110

3511

2912

2313

1714

1115

0515

9916

9317

87

同化结果观测值模拟值真实值

0

5

10

15

20

25

30

351 8 15 22 29 36 43 50 57 64 71 78 85 92 99

1系列2系列3系列4系列

0

5

10

15

20

25

30

35

1 18 35 52 69 86 103

120

137

154

171

188

205

222

239

256


0

5

10

15

20

25

30

1 5 9 13 17 21 25 29 33 37 41 45 49


0

5

10

15

20

25

30

1 4 7 10 13 16 19 22 25 28 31 34 37 40 431系列2系列3系列4系列

0

5

10

15

20

25

30

35

1 3 5 7 9 11 13 15 17 19 21 23 25


• 对上面简单的土壤水模型 , 模型参数、初边值、时间步长以及空间步长取下面的值 :

• 对上面简单的土壤水模型 , 模型参数、初边值、时间步长以及空间步长取下面的值 :

0.54s 63.2 10 /sK m s

1800t s

0.1z m

2.0s m

0.1/100 / 3600 /q m s

0 0.54 0.419 0.54 0.419r

• 利用该模型进行积分 , 积分 1800步作为模式的模拟值 . 理想的观测值产生方式如下 : 在上面的模型积分中 ,在每一个时间步随机产生一个均值为 0, 标准差为 0.01的随机扰动加到上 , 也就是在积分的每一步都对土壤水分含量的边界值产生一个随机扰动 , 由此同样积分 1800步 , 产生一套数据 , 把这套数据作为观测数据 . 由于实际观测中 , 我们往往只能得到陆地近地表的土壤湿度观测值 . 因此 , 我们只选取每一步所产生的土壤湿度廓线靠近地面的上面四层土壤的土壤湿度作为每一步的观测数据 .

• 利用该模型进行积分 , 积分 1800步作为模式的模拟值 . 理想的观测值产生方式如下 : 在上面的模型积分中 ,在每一个时间步随机产生一个均值为 0, 标准差为 0.01的随机扰动加到上 , 也就是在积分的每一步都对土壤水分含量的边界值产生一个随机扰动 , 由此同样积分 1800步 , 产生一套数据 , 把这套数据作为观测数据 . 由于实际观测中 , 我们往往只能得到陆地近地表的土壤湿度观测值 . 因此 , 我们只选取每一步所产生的土壤湿度廓线靠近地面的上面四层土壤的土壤湿度作为每一步的观测数据 .

(0)

一般通用的集合 Kalman 滤波方法的应用

一般通用的集合 Kalman 滤波方法的应用

• 利用上面描述的模型，以及上面构造的理想观测数据进行同化试验 , 其中模型的随机误差取为均值为 0, 标准差为 0.03 的随机向量 . 下面给出的是模拟的结果 .

• 利用上面描述的模型，以及上面构造的理想观测数据进行同化试验 , 其中模型的随机误差取为均值为 0, 标准差为 0.03 的随机向量 . 下面给出的是模拟的结果 .

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.24

0.26

0.28

0.3

0.32

0.34

0.36

0.38

ObservationCommon methodSimulation

第一层土壤观测模拟与同化的结果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.24

0.26

0.28

0.3

0.32

0.34

0.36


第二层土壤观测模拟与同化的结果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.24

0.26

0.28

0.3

0.32

0.34

0.36


第三层土壤观测模拟与同化的结果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.24

0.26

0.28

0.3

0.32

0.34


第四层土壤观测模拟与同化的结果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.23

0.24

0.25

0.26

0.27

0.28

0.29

0.3


第五层土壤观测模拟与同化的结果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.23

0.24

0.25

0.26

0.27

0.28

0.29

0.3

0.31


第六层土壤观测模拟与同化的结果

0 200 400 600 800 1000 1200 1400 1600 18000.2

0.25

0.3

0.35

0.4

0.45

0.5

0.55


第三十层土壤观测模拟与同化的结果

5 10 15 20 25 30

0.25

0.3

0.35

0.4

0.45

0.5


一般的集合 Kalman 滤波在第 600步的同化与观测土壤湿度廓线的对比

• 到底是什么原因造成这么大的误差呢 ? 到底是什么原因使得同化后的土壤湿度廓线如此的奇怪 ?

• 这是一个问题 !

• 到底是什么原因造成这么大的误差呢 ? 到底是什么原因使得同化后的土壤湿度廓线如此的奇怪 ?

• 这是一个问题 !

一些猜测一些猜测

• 问题的关键在于我们只有上面 4层的土壤湿度观测资料 ,而在生成集合对模式进行扰动的时候 ,整个土壤 30层 ( 用于本文的这个简单的土壤水模型 )都给予了 0.03 标准差的扰动 ,而没有观测数据进来 ,使得土壤廓线的曲线比较怪异 , 在海洋模型中对于这些缺乏数据的点 , 如果是一个平面上一般采用插值的方法 ,而我们这里显然不可以进行直接的插值 , 当然有人采用根据某些特定的经验关系给出下面土壤湿度的“观测值” . 而在这里既然没有观测我们就充分相信模式 , 同时利用上面的观测信息去修正下面的廓线 .

• 问题的关键在于我们只有上面 4层的土壤湿度观测资料 ,而在生成集合对模式进行扰动的时候 ,整个土壤 30层 ( 用于本文的这个简单的土壤水模型 )都给予了 0.03 标准差的扰动 ,而没有观测数据进来 ,使得土壤廓线的曲线比较怪异 , 在海洋模型中对于这些缺乏数据的点 , 如果是一个平面上一般采用插值的方法 ,而我们这里显然不可以进行直接的插值 , 当然有人采用根据某些特定的经验关系给出下面土壤湿度的“观测值” . 而在这里既然没有观测我们就充分相信模式 , 同时利用上面的观测信息去修正下面的廓线 .

改进模型误差扰动的集合 Kalman 滤波方法的应用

改进模型误差扰动的集合 Kalman 滤波方法的应用

• 一般的集合集合 Kalman 滤波同化失败的原因发现，在该试验中 ( 实际情况中也多是如此 ),只有土壤表层的观测值 , 也就是说只有在土壤表层有观测信息 , 对于土壤其他层次的则没有观测信息 .而对于一般的集合 Kalman 滤波而言 , 模型的模式误差一般取为均值为 0,方差为的随机误差向量 ( 其维数与状态标量向量的维数一致 ), 也就是说对状态向量的每一个变量都进行随机扰动 , 在我们的这个数值验证中亦是如此 ,因此对于深层次的土壤湿度而言 , 较大随机误差的扰动同时缺乏必要的观测信息 , 从而使得深层次的同化结果非常糟糕.既然缺乏充分的土壤深层次观测信息 ,

• 一般的集合集合 Kalman 滤波同化失败的原因发现，在该试验中 ( 实际情况中也多是如此 ),只有土壤表层的观测值 , 也就是说只有在土壤表层有观测信息 , 对于土壤其他层次的则没有观测信息 .而对于一般的集合 Kalman 滤波而言 , 模型的模式误差一般取为均值为 0,方差为的随机误差向量 ( 其维数与状态标量向量的维数一致 ), 也就是说对状态向量的每一个变量都进行随机扰动 , 在我们的这个数值验证中亦是如此 ,因此对于深层次的土壤湿度而言 , 较大随机误差的扰动同时缺乏必要的观测信息 , 从而使得深层次的同化结果非常糟糕.既然缺乏充分的土壤深层次观测信息 ,

• 我们只能充分相信模式的模拟结果 , 同时土壤表层的观测信息也必然通过模式的时间积分去影响深层次的土壤水分含量 .鉴于此 , 我们改变通常使用的模式随机误差扰动的产生方式 ,只在有观测信息的区域 ,比如前 m层 (m 是有观测信息的层数 ), 产生随机误差扰动 ,而对于m+1 到 n层认为误差为 0. 下面是改变了模式随机误差扰动后的同化结果分析。

• 我们只能充分相信模式的模拟结果 , 同时土壤表层的观测信息也必然通过模式的时间积分去影响深层次的土壤水分含量 .鉴于此 , 我们改变通常使用的模式随机误差扰动的产生方式 ,只在有观测信息的区域 ,比如前 m层 (m 是有观测信息的层数 ), 产生随机误差扰动 ,而对于m+1 到 n层认为误差为 0. 下面是改变了模式随机误差扰动后的同化结果分析。

下面是改进误差扰动方式的模拟的结果

下面是改进误差扰动方式的模拟的结果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.24

0.26

0.28

0.3

0.32

0.34

0.36

0.38

ObservationNew methodOld methodSimulation

第一层土壤观测模拟与同化的结

果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.24

0.26

0.28

0.3

0.32

0.34

0.36


第二层土壤观测模拟与同化的结果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.24

0.26

0.28

0.3

0.32

0.34

0.36


第三层土壤观测模拟与同化的结果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.24

0.26

0.28

0.3

0.32

0.34


第四层土壤观测模拟与同化的结果

5 10 15 20 25 30

0.25

0.3

0.35

0.4

0.45

0.5


0 200 400 600 800 1000 1200 1400 1600 18000.2

0.25

0.3

0.35

0.4

0.45

0.5

0.55


第三十层土壤观测模拟与同化的结果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.23

0.24

0.25

0.26

0.27

0.28

0.29

0.3


第五层土壤观测模拟与同化的结果

0 200 400 600 800 1000 1200 1400 1600 18000.22

0.23

0.24

0.25

0.26

0.27

0.28

0.29

0.3

0.31


第六层土壤观测模拟与同化的结果

正在进行的相关工作正在进行的相关工作• 建立了基于集合 Kalman 滤波方法的陆面土壤湿度的

同化方案

• 发现通常的模式误差扰动方案扭曲了整个土壤湿度廓线

• 改进误差扰动方案后同化结果较为合理

• 发展了不等距空间网格的数值算法

• 正在发展一种新的扩展 Kalman 滤波方法

• 正在发展一种与 CLM格点匹配且能量水量相容的地下水模型

• 建立了基于集合 Kalman 滤波方法的陆面土壤湿度的同化方案

• 发现通常的模式误差扰动方案扭曲了整个土壤湿度廓线

• 改进误差扰动方案后同化结果较为合理

• 发展了不等距空间网格的数值算法

• 正在发展一种新的扩展 Kalman 滤波方法

• 正在发展一种与 CLM格点匹配且能量水量相容的地下水模型

谢谢，请给予指正谢谢，请给予指正

修正误差扰动的集合 Kalman 滤波方法在近地表土壤湿度同化中的应用 :...

Documents

Transcript of 修正误差扰动的集合 Kalman 滤波方法在近地表土壤湿度同化中的应用 :...