1

第八章第八章

模 糊 联 想 记 忆模 糊 联 想 记 忆

神 经 网 络 和 模 糊 系 统神 经 网 络 和 模 糊 系 统

罗军辉 二零零三年十二月

2

主要内容主要内容一、模糊系统和模糊联想记忆一、模糊系统和模糊联想记忆二、模糊联想记忆与神经元联想记忆的区别和联系二、模糊联想记忆与神经元联想记忆的区别和联系三、模糊三、模糊 Hebb FAMsHebb FAMs四、联想输出和“去模糊”四、联想输出和“去模糊”五、自适应五、自适应 FAMFAM 系统系统六、举例：倒立摆六、举例：倒立摆

3

FAMFAM 的引出的引出

4

模糊系统与超立方体模糊系统与超立方体

1.1. 模糊集类似超立方体 中的点。模糊集类似超立方体 中的点。2.2. 立方体中点之间存在距离，利用距离可以测度立方体中点之间存在距离，利用距离可以测度

模糊集的大小和模糊集之间的包含度。模糊集的大小和模糊集之间的包含度。3.3. 立方体在空间中存在某种关系，因此两个立方立方体在空间中存在某种关系，因此两个立方

体中的点存在某种对应关系，这也就是一种映体中的点存在某种对应关系，这也就是一种映射。射。

4.4. 利用映射关系，可以对模糊集进行推理。利用映射关系，可以对模糊集进行推理。

nnI ]1,0[

5

模糊系统与超立方体模糊系统与超立方体

5.5. 模糊集就是立方体中定义点构成的集合模糊集就是立方体中定义点构成的集合6.6. 模糊系统就是模糊集 到模糊集 之间的一种映模糊系统就是模糊集 到模糊集 之间的一种映

射：射： S:S: -> ->

7.7. 模糊系统也可以将一系列模糊集映射成一系列模模糊系统也可以将一系列模糊集映射成一系列模糊集。糊集。

nI

PInI PI

6

FAMFAM

多个模糊系统就像一个联想记忆系统，将近似多个模糊系统就像一个联想记忆系统，将近似的输入映射成近似的输出，这就是模糊联想记的输入映射成近似的输出，这就是模糊联想记忆忆 FAMFAM 。。

1.1. 简单的简单的 FAMFAM 就是将就是将 nn 维的模糊集维的模糊集 AiAi 与与 pp 维的维的模糊集模糊集 BiBi 关联起来（ 关联起来（ AiAi ， ， BiBi ），不能训练。），不能训练。

2.2. 一般的一般的 FAMFAM 系统能同时并行的将系统能同时并行的将 MM 个规则进个规则进行编码和处理，一个输入行编码和处理，一个输入 AA 能同时激活所有能同时激活所有 MM个规则，只是激活强度不同。输出模糊集个规则，只是激活强度不同。输出模糊集 BB 就就是这各个激活的线性组合。是这各个激活的线性组合。

7

模糊函数估计与神经函数估计模糊函数估计与神经函数估计

1.1. 模糊系统与神经系统都是对输入样本进行学习，模糊系统与神经系统都是对输入样本进行学习，得到输出数据，实际就是寻找输入与输出的函得到输出数据，实际就是寻找输入与输出的函数关系，因此它们都是函数估计器。数关系，因此它们都是函数估计器。

2.2. 两者之间的异同点，首先看下面的示意图。两者之间的异同点，首先看下面的示意图。

8

ix

X

iy

Y

f

神经系统

X Y

f

模糊系统

iA

1A

2A

iB

1B

2B

9

相同点：相同点：（（ 11 ）都是无模型的）都是无模型的（（ 22 ）都可以从样本或实例中学习）都可以从样本或实例中学习（（ 33 ）都使用数值运算）都使用数值运算（（ 44 ）都定义了输入输出积空间）都定义了输入输出积空间 X x YX x Y

10

不同点：主要区别在使用输入数据如何估计函数上。不同点：主要区别在使用输入数据如何估计函数上。（（ 11 ）输入数据类型不同）输入数据类型不同（（ 22 ）输入数据的表示和存储不同）输入数据的表示和存储不同（（ 33 ）输入输出的映射不同）输入输出的映射不同（（ 44 ）神经方法需要一个动力系统）神经方法需要一个动力系统 模糊系统只需要一个语言描述的规则矩阵模糊系统只需要一个语言描述的规则矩阵（（ 55 ）神经系统利用数值点）神经系统利用数值点 XiXi ，， YiYi 进行估计，而进行估计，而 模糊系统利用模糊集合（模糊系统利用模糊集合（ Ai,BiAi,Bi ）进行估计）进行估计。。

11

FAMFAM 系统结构系统结构

Fuzzy System

Fuzzy Set

输出集nI pI

模糊系统示意图

输入集

12

FAM系统示意图

FAM Rule m

FAM Rule 1

FAM 系统

),( 11 BA

),( 22 BAFAM Rule 2

),( mm BA

1B

2B

mB B

解模糊

1

2

m

Aj y

13

由上图可知，要确定一个由上图可知，要确定一个 FAMFAM 系统，需要确系统，需要确定映射规则（定映射规则（ Ai,Bi)Ai,Bi) ，这就是模糊矩阵，这就是模糊矩阵 MM 的求的求法。法。

还需要求加权系数，这就是自适应还需要求加权系数，这就是自适应 FAMFAM 的内容，的内容，还需要一个去模糊的过程。还需要一个去模糊的过程。

14

FAMFAM 与映射与映射1.FAM1.FAM 系统由多个不同的系统由多个不同的 FAMFAM 关联构成，每一个关联关联构成，每一个关联

就对应一个数值的就对应一个数值的 FAMFAM 矩阵，这些矩阵分别存储，矩阵，这些矩阵分别存储，并行访问。并行访问。

A1----(M1)--A1----(M1)--B1B1 …… …… An----(Mn)--An----(Mn)--BnBn2.2. 简单的简单的 FAMFAM 就是单向联想的就是单向联想的 FAMFAM ，首先将模糊集，首先将模糊集

（（ A,BA,B ）分别编码成）分别编码成 nn 个和个和 pp 个变量个变量 X={x1,..xn},Y=X={x1,..xn},Y={y1,..,yp},{y1,..,yp}, 再将再将 xixi 和和 yjyj 通过隶属度函数映射到【通过隶属度函数映射到【 00 ，，11 】中的某个值，就表示了】中的某个值，就表示了 xixi 属于集合属于集合 AA 的隶属度。的隶属度。这样模糊集就通过隶属度向量进行表示。这样模糊集就通过隶属度向量进行表示。

15

模糊向量矩阵乘－最大最小模糊向量矩阵乘－最大最小 输入向量输入向量 AA 通过模糊系统，得到向量通过模糊系统，得到向量 BB ，相当，相当于：于：

（（ 11 ）模糊矩阵）模糊矩阵 MM 是是 n x pn x p 维，维， bjbj 分量就是联想分量就是联想记忆成份，记忆成份， bj=maxmin(ai,mij).bj=maxmin(ai,mij).

（（ 22 ）乘法规则：行向量）乘法规则：行向量 AA 与与 MM 内积，取内积，取 aiai 与与mijmij 的最小值，最该列的最大值。的最小值，最该列的最大值。

例如：例如：

BMA

3.0,2.0,0

5.0,1.0,8.0

6.0,6.0,7.0

7.0,8.0,2.0

M

)1,8.0,4.0,3.0(A

)5.0,4.0,8.0(B

16

由上可知，通过矩阵由上可知，通过矩阵 M,M, 输入向量输入向量 AA ，就能通过，就能通过这种法则联想出这种法则联想出 B,B,但是但是 MM未知，需要求出未知，需要求出 MM ，，可以采用外积的方法。可以采用外积的方法。

在在 HEBB FAMHEBB FAM 中，给出了两种求中，给出了两种求 MM 的方法：的方法： （（ 11 ）相关最小）相关最小 （（ 22 ）相关积）相关积

17

模糊模糊 HEBHEB 联想记忆系统联想记忆系统 FAMSFAMS

1.Heb FAMS1.Heb FAMS 就是前面介绍的无监督学习：就是前面介绍的无监督学习： 2.2. 对于给定的行向量组（对于给定的行向量组（ X,Y)X,Y)

3.3. 在在 HebHeb 系统中，对系统中，对 aiai 和和 bjbj 进行最小相关编码进行最小相关编码得到得到 M.M.

)()(.

jjiiijij ySxSmm

),min( bjaiBAM T

YXM T

18

例如：例如：

可以看出可以看出 ::(1)(1) 每列的元素是每个每列的元素是每个 bjbj 相对与相对与 AA 的最小值，每行是每个的最小值，每行是每个 aiai 相相

对与对与 BB 的最小值的最小值(2)(2) 如果如果 AA 中的某个元素必中的某个元素必 BB 中的所有元素都大，则中的所有元素都大，则 MM 矩阵中矩阵中

的该行就是的该行就是 BB 行向量行向量 反过来，如果反过来，如果 BB 中的某个元素比中的某个元素比 AA 中的所有圆元素都大，中的所有圆元素都大，

则则 MM 矩阵中的该列就是整个矩阵中的该列就是整个 AA 向量的转置。这就是后面要向量的转置。这就是后面要提出的向量的高度提出的向量的高度 H(A).H(A).

)1,8.0,4.0,3.0(A )5.0,4.0,8.0(B

5.0,4.0,8.0

5.0,4.0,8.0

4.0,4.0,4.0

3.0,3.0,3.0

)5.0,4.0,8.0(

1

8.0

4.0

3.0

BAM T

19

定义一个操作符定义一个操作符 ^̂（取最小）（取最小） ::

通过以上构造出的通过以上构造出的 MM 矩阵，可以进行验证，有：矩阵，可以进行验证，有：

但是反过来，但是反过来，什么情况下等，什么情况下反过来也成立，这就是下面什么情况下等，什么情况下反过来也成立，这就是下面要给出的能够双向联想的理论。要给出的能够双向联想的理论。

TmT

n

AbAb

Ba

Ba

M

1

1

)^,...,2^,1^(^ bnaibaibaiBai

BBAAMA T )(

AAAMB T ’不一定等于 ,

20

最小相关编码的双向最小相关编码的双向 FAMFAM 定理定理1.1.介绍两个指标：模糊集介绍两个指标：模糊集 AA 的高度的高度 HH 和正规性。和正规性。 H(A)=max aiH(A)=max ai如如 H(A)=1,H(A)=1, 则称模糊集则称模糊集 AA 是正规的，此时可以对模是正规的，此时可以对模

糊集糊集 AA 进行扩展，利用这个指标，就能够判定双进行扩展，利用这个指标，就能够判定双向联想的准确度。向联想的准确度。

③ ，对任意的④ ，对任意的

② ，当且仅当

① ，当且仅当

如果 ，则有BMA

AMB T BMA

AMB T

)()( BHAH )()( AHBH

AB

BAM T

21

相关积编码相关积编码 相关积编码：相关积编码： (( 与相关最小编码的差别在于这与相关最小编码的差别在于这里不取最小，而是一般的向量相乘运算）。里不取最小，而是一般的向量相乘运算）。

例如：例如：

),...,1(...

2

1

TTT bpAAb

anB

Ba

Ba

BAM

)1,8.0,4.0,3.0(A )5.0,4.0,8.0(B

5.0,4.0,8.0

4.0,32.0,64.0

2.0,16.0,32.0

15.0,12.0,24.0

)5.0,4.0,8.0(

1

8.0

4.0

3.0

BAM T

22

由上计算可以看出，对于构造的由上计算可以看出，对于构造的 MM ，对于一个，对于一个输入向量 则输入向量 则

可以很好的回忆出可以很好的回忆出 BB ，如果，如果 AA 中有一个中有一个 11 元素元素（（ H(A)=1)H(A)=1) ，则，则 MM 中一定有一行元素为中一定有一行元素为 BB ，同，同样，反过来，如果样，反过来，如果 BB 中有一个元素为中有一个元素为 11 ，则一定，则一定能反向联想出能反向联想出 A.A.

)1,0,0,0(' A BMA '

23

双向相关积编码理论双向相关积编码理论A,BA,B 是非空的隶属度向量：是非空的隶属度向量：如果如果(1)(1)若若 H(A)=1,H(A)=1, 则则 AoM=BAoM=B(2)(2) 如如 H(B)=1,H(B)=1, 则则(3) (3) (4)(4)

BAM T

TMB

BMAA ''，对任意的

AMBB T ''，对任意的

24

1.1. 系统中通常可能包含系统中通常可能包含 MM 个前述的映射规则个前述的映射规则（（ A1,B1),….,(Am,Bm)A1,B1),….,(Am,Bm) ，根据前面的编码理论，会产生，根据前面的编码理论，会产生 MM

个个 FAM M1,M2,…,Mm,FAM M1,M2,…,Mm,2.2. 在神经网络中，只保存一个规则在神经网络中，只保存一个规则 MkMk，只有与，只有与 AkAk隶属度隶属度

向量相匹配的向量输入才会很好的回忆出向量相匹配的向量输入才会很好的回忆出 BkBk，否则会，否则会删除其输出，重新学习。要在系统中添加或者删除一个删除其输出，重新学习。要在系统中添加或者删除一个规则，需重新计算。规则，需重新计算。

3.3. 模糊系统会同时分开保存这模糊系统会同时分开保存这 MM 个规则，对于一个输入个规则，对于一个输入 AA ，，可以同时并行激活这可以同时并行激活这 MM 个规则，激活度不同，得到的个规则，激活度不同，得到的 MM个输出通过去模糊过程得到一个输出。个输出通过去模糊过程得到一个输出。

4.4. 可以看出，可以看出， FAMFAM 系统可以任意添加规则和删除规则，不系统可以任意添加规则和删除规则，不会引入较大的计算量。会引入较大的计算量。

多个多个 FAMFAM 规则规则

25

联想输出和“去模糊”

1.1. 联想输出为联想输出为

2.2. 去模糊去模糊

（（ 11 ）一个简单的方案——最大隶属度）一个简单的方案——最大隶属度

（（ 22 ）替代方案——质心法）替代方案——质心法

m

kkk BB

1

)(max)(1

max jBkj

B ymym

P

jjB

P

jjBj

ym

ymy

B

1

1

)(

)(

26

自适应的自适应的 FAMFAM

1.1. 积空间聚类积空间聚类

联想规则

FAM规则

nI

iA iA

iB

iB

pIpn II

),( ii BA

),( ii BA

FAMFAM 规则积空间聚类规则积空间聚类

27

自适应自适应 FAMFAM 规则的产生规则的产生

MPN k

jm

图 5 突触连接矩阵示意图

iiBB 其中，k

kii

若系统中有若系统中有 KK个突触向量个突触向量 M1,..,Mk,M1,..,Mk, 这这 KK个规则构成一个个规则构成一个更大的突触矩阵更大的突触矩阵 M,M,突触向量突触向量 MjMj 就会收敛到就会收敛到 FAMFAM 矩阵矩阵 MM的质心，如果向量越靠近质心，赋给它的权值越大。的质心，如果向量越靠近质心，赋给它的权值越大。

28

自适应自适应 BIOFAMBIOFAM 聚类聚类

非模糊的输入输出数据

BIOFAM

Clustering规则合并

),(

),( 11

nn yx

yx

km

m

1

自适应自适应 BIOFAMBIOFAM 示意图示意图

29

简单的简单的 BIOFAMBIOFAM聚类提取规则的过程：聚类提取规则的过程：

（（ 11 ）确定状态变量 （前件变量）和控制变量 （后件变 ）确定状态变量 （前件变量）和控制变量 （后件变量）。量）。

（（ 22 ）收集相应的 的训练样本（大量的有代表性的）。 ）收集相应的 的训练样本（大量的有代表性的）。（（ 33 ）根据训练样本的分布区间，划分为 与 个模糊数，并赋）根据训练样本的分布区间，划分为 与 个模糊数，并赋于模糊语言量。于模糊语言量。

（（ 44 ）用自适应）用自适应 DCLAVQDCLAVQ对样本聚类，聚类数为 。对样本聚类，聚类数为 。（（ 55 ）统计落在 个可能单元中的突触矢量个数 ，计算每个）统计落在 个可能单元中的突触矢量个数 ，计算每个

规则的权值 。规则的权值 。（（ 66 ）根据区间划分进行规则合并）根据区间划分进行规则合并

（（ 77）产生规则库，建立）产生规则库，建立 FAMFAM 系统。系统。

X

X Y

),( YX

r s

ksr ik

kkii

iji

jiji

mkk

mmkk

取或任取

{