HOPFIELD 网络模型理论

演讲人：吴凡蔡佳佳演讲人：吴凡蔡佳佳 112006-4-142006-4-14

HOPFIELDHOPFIELD 网络模型理论网络模型理论吴凡蔡佳佳吴凡蔡佳佳

2006-4-142006-4-14 演讲人：吴凡蔡佳佳演讲人：吴凡蔡佳佳 22

神经网络的几种模型神经网络的几种模型目前的神经网络典型的模型拓扑结构有目前的神经网络典型的模型拓扑结构有 ::11 层次网络模型层次网络模型22 互连网络模型互连网络模型


互连网络模型互连网络模型• 互连网络模型中任意两个神经元之间都具有互连网络模型中任意两个神经元之间都具有相互连接的关系相互连接的关系 .. 网络的动作采用动态分析网络的动作采用动态分析法法 ,, 即从某个初始状态出发即从某个初始状态出发 ,, 根据网络的结构根据网络的结构和神经元的特性进行网络的能量最小化计算和神经元的特性进行网络的能量最小化计算逼近逼近 ,, 最后达到稳定状态最后达到稳定状态 .. 能量公式一般采用能量公式一般采用LiyapunovLiyapunov 函数函数 ..• 比较重要的两种模型结构是比较重要的两种模型结构是 :1:1前馈神经网络模型前馈神经网络模型 2 2 反馈神经网络模型反馈神经网络模型


层次网络模型层次网络模型• 层次网络模型将大量神经元按层次结构分层次网络模型将大量神经元按层次结构分成若干层顺序连接成若干层顺序连接 ,, 在输入层加上刺激信息在输入层加上刺激信息 ,,通过中间各层变换通过中间各层变换 ,, 到达输出层到达输出层 ,, 完成一次完成一次信息处理信息处理 .. 如如 BPBP 网络网络 ..


神经网络的几种模型神经网络的几种模型• 前馈神经网络模型前面上课时已经讲过，前馈神经网络模型前面上课时已经讲过，如如 BPBP 模型。模型。


神经网络的几种模型神经网络的几种模型• 反馈网络模型就是把输出当下次输入来用，反馈网络模型就是把输出当下次输入来用，基本形如图：基本形如图：


反馈神经网络反馈神经网络• 反馈网络反馈网络 (Recurrent Network)(Recurrent Network) ，又称自联想记，又称自联想记忆网络，其目的是为了设计一个网络，储存一组忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反自行运行而最终收敛到这个设计的平衡点上。反馈网络能够表现出非线性动力学系统的动态特性。馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：第一、网络系它所具有的主要特性为以下两点：第一、网络系统具有若干个稳定状态。当网络从某一初始状态统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的开始运动，网络系统总可以收敛到某一个稳定的平衡状态；第二，系统稳定的平衡状态可以通过平衡状态；第二，系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。设计网络的权值而被存储到网络中。


神经网络的几种模型神经网络的几种模型• 显然这种反馈网络可以用自动机描述。这显然这种反馈网络可以用自动机描述。这里定义网络稳定输出状态为里定义网络稳定输出状态为吸引子吸引子。一个。一个吸引子可以是一个确定的状态或在几个状吸引子可以是一个确定的状态或在几个状态中绕行的环（极限环）。态中绕行的环（极限环）。


神经网络的几种模型神经网络的几种模型


HOPFIELDHOPFIELD 网络网络• HopfieldHopfield 网络是单层对称全反馈网络，根据其激网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型的活函数的选取不同，可分为离散型的 HopfieldHopfield 网网络络 (Discrete Hopfield Neural Network(Discrete Hopfield Neural Network ，简称，简称 DDHNN)HNN) 和连续型的和连续型的 HopfieldHopfield 网络网络 (Continuous H(Continuous Hopfield Neural Networkopfield Neural Network ，简称，简称 CHNN)CHNN) 。离散。离散 HHopfieldopfield 网络的激活函数为二值型的，其输入、输网络的激活函数为二值型的，其输入、输出为出为 {0{0 ，， 1}1} 的反馈网络，主要用于联想记忆。的反馈网络，主要用于联想记忆。连续连续 HopfieldHopfield 网络的激活函数的输入与输出之间网络的激活函数的输入与输出之间的关系为连续可微的单调上升函数，主要用于优的关系为连续可微的单调上升函数，主要用于优化计算。化计算。 HopfieldHopfield 网络是利用稳定吸引子来对网络是利用稳定吸引子来对信息进行储存的，利用从初始状态到稳定吸引子信息进行储存的，利用从初始状态到稳定吸引子的运行过程来实现对信息的联想存取的。的运行过程来实现对信息的联想存取的。


连续连续 HopfieldHopfield 网络网络• 连续连续 HopfieldHopfield 网络也是单层的反馈网络。网络也是单层的反馈网络。其实质上是一个连续的非线性动力学系统，其实质上是一个连续的非线性动力学系统，它可以用一组非线性微分方程来描述。当它可以用一组非线性微分方程来描述。当给定初始状态，通过求解非线性微分方程给定初始状态，通过求解非线性微分方程组即可求得网络状态的运行轨迹。若系统组即可求得网络状态的运行轨迹。若系统是稳定的，则它最终可收敛到一个稳定状是稳定的，则它最终可收敛到一个稳定状态。态。


连续连续 HopfieldHopfield 网络网络• 连续连续 HOPFIELDHOPFIELD 模型可以用动力学方程描述模型可以用动力学方程描述

•该方程是根据该方程是根据 Kirchhoff laws Kirchhoff laws 列出的，因为列出的，因为 HHOPFIELDOPFIELD 模型中每个神经元是用运放电路实现模型中每个神经元是用运放电路实现的。的。


连续连续 HopfieldHopfield 网络网络


连续型连续型 HNNHNN 模型模型经过推导经过推导 ,, 系统的动力方程如下系统的动力方程如下 ::


连续连续 HopfieldHopfield 网络网络HOPFIELDHOPFIELD 模型属于反馈型神经网络。模型属于反馈型神经网络。连续的连续的 HOPFIELDHOPFIELD 神经网络可以用动力学方程描述，神经网络可以用动力学方程描述，且具有性质：且具有性质：1 1 神经元是一个输入输出变换器，其传输函数有神经元是一个输入输出变换器，其传输函数有 SiSigmoidgmoid 函数特性函数特性 2 2 具有代表产生动作电位的神经元和代表按渐近方具有代表产生动作电位的神经元和代表按渐近方式工作的神经元的能力式工作的神经元的能力 3 3 细胞膜具有时空整合作用细胞膜具有时空整合作用 4 4 神经元之间存在着兴奋型和抑制型连接神经元之间存在着兴奋型和抑制型连接


连续连续 HopfieldHopfield 网络网络HOPFIELDHOPFIELD 网络学习算法如下：网络学习算法如下：1 1 设定连接权值设定连接权值

1,0ji , 0

,xxw

1M

0s

sj

si

ij

Nji

ji

其中 , 是节点 i 和节点 j 之间的连接权 ; 是第 S样本的第 i 个分量 , 所有这些分量在一定范围内取值 . 总计有 M 个样本模式 , 任何节点的阈值为 0.ijw s

ix


连续连续 HopfieldHopfield 网络网络• 2 初始化输出值 , 输入未知模式• 3 对输出迭代直到收敛 , 其中要用一个非线性函数

])([)1(1

0

N

jiijhi tuwftu


连续连续 HopfieldHopfield 网络网络• 这种重复迭代直到节点输出不变或在几个输出值这种重复迭代直到节点输出不变或在几个输出值之间绕行为止之间绕行为止 .. 就是前面提到的稳定子就是前面提到的稳定子 ..• 将网络输出与在零时刻输入的未知模式进行匹配将网络输出与在零时刻输入的未知模式进行匹配的过程，称为网络的识别（工作）阶段。在该阶的过程，称为网络的识别（工作）阶段。在该阶段，网络按离散时间步迭代，直到达到稳定情况段，网络按离散时间步迭代，直到达到稳定情况为止。为止。


连续连续 HopfieldHopfield 网络网络能量函数能量函数：：HopfieldHopfield 网络网络能量函数能量函数 EE （（ tt ）是一个随时间增长而递减的）是一个随时间增长而递减的函数，网络的平稳点就是，网络的平稳点就是 EE （（ tt ）的极小值点。该网络）的极小值点。该网络11 具有良好的收敛性，即网络可以从任意非平衡轨迹出发，最后具有良好的收敛性，即网络可以从任意非平衡轨迹出发，最后收敛于某个平衡状态。收敛于某个平衡状态。22 具有有限个平衡点，而且如果这些平衡点是稳定的，那么网络具有有限个平衡点，而且如果这些平衡点是稳定的，那么网络一定是渐近稳定的。一定是渐近稳定的。33 渐近网络平衡点是网络能量函数极小点渐近网络平衡点是网络能量函数极小点 . . 44网络信息存储在神经元之间连接权中。网络信息存储在神经元之间连接权中。55网络以大规模非线性连续时间并行方式处理信息，其计算时间网络以大规模非线性连续时间并行方式处理信息，其计算时间就是系统趋于平衡点的时间。就是系统趋于平衡点的时间。


连续连续 HopfieldHopfield 网络网络• HOPFIELDHOPFIELD 神经网络对于给定模式通过降神经网络对于给定模式通过降低其能量来简单实现存储。网络没有隐含低其能量来简单实现存储。网络没有隐含单元也不能编码数据。单元也不能编码数据。• 如果使在网络中存储的模式能够被重新找如果使在网络中存储的模式能够被重新找到，则需在能量函数上执行梯度下降算法。到，则需在能量函数上执行梯度下降算法。也就是前后执行时的能量必须有能量差也就是前后执行时的能量必须有能量差 ΔΔEE=E1-E2=E1-E2 。。


连续连续 HopfieldHopfield 网络网络• HOPFIELDHOPFIELD 网络模型网络模型各神经元之间的连接各神经元之间的连接权数与输入模式维数权数与输入模式维数的平方成正比。它常的平方成正比。它常用来进行模式识别。用来进行模式识别。右边从第右边从第 22 个图到最个图到最后一个表示了网络演后一个表示了网络演化的过程。化的过程。

HOPFIELD 网络模型理论

Documents

Transcript of HOPFIELD 网络模型理论