論 文 要 旨　 69

システム制御情報学会論文誌,4巻,1号,pp. 48～56 (1991)

神 経 回 路 モ デ ル に よ る最 適 化 計 算

-回 路 ブ ロ ック配 置 問 題 を例 と して

喜 多 一 ・小 谷 英 之 ・西 川 緯 一

Hopfield型 ニ ュー ラル ネ ットワークによる組合せ最

適化 については,多 くの報告が あるが,そ の有効性 と問

題点の解明 は未だ不十分であ る.本 論文では この手法の

有効性を回路 ブロック配置問題 を例 と して検討す る.シ

ミュ レーシ ョンの結果,本 手法で は対象問題の特性を十

分 に吟味 して ネ ットワークを設計す る必要が あ り,適 切

な設計が可能な とき,か な り良 い解が見 い出 され ること

が示 された.ま た良いパ ラメータ値の設定 についての,

理論的な考察 も合わせて行な う.

69

48シス テ ム制 御 情 報 学 会 論 文 誌 , Vol. 4, No, 1, pp. 48～56, 1991

論 文

神経回路モデルによる最適化計算

回路 ブ ロ ッ ク配 置 問題 を例 と して*

喜 多 一** ・小 谷 英 之 ***

・西 川 緯 一 **

Optimization by Means of a Neural Network Model－An Application to the Plac

ement Problem*

Hajime KITA **, Hideyuki ODANI

***and Yoshikazu NISHIKAWA

**

Combinatorial optimization by means of an analog neural network proposed by J. J. Hopfield and D. W. Tank is one of the major subjects in neural computing . Though a good deal of reexaminations and various applications of the network have been reported so far, the effectiveness of the approach is not clarified in sufficient manner . In the present paper, the effectiveness of the Hopfield model is discussed through its application to a circuit block placement problem . The results of computer simulation show that, although the Hopfield model is not effective enough if it is used without sophisticated preexamination of combinatorial problems , it has ability to yield quite satisfactory solutions when it is endowed with an appropriate form and parameters of the energy function. The meaning of appropriate parameter values yielding good solutions is also investigated theoretically.

1.　は じ め に

高 等動 物 の脳 ・神経 系 の仕 組み に学び,そ れを模 し

た計算 を行 な うニュー ラル コンピューテ ィング(ニ ュー

ラルネ ッ トワークを用 い る計算法)の 研究 が,新 しい情

報 処理 様式 を模 索す る動 向 の一 つ と して注 目を集 めて

いる.ニ ュー ラルコ ンピューテ ィングの研究 のなか で,

主要 な もの と して位 置づ け られ てい る ものの一 つに,

Hopfieldら によ って 提案 されたアナ ログのニュー ラル

ネ ッ トワークモデル(以 下Hopfieldモ デルと呼ぶ)と

その組合せ最適化問題への応 用があ る1,2.し か しなが ら,

このHopfieldモ デル による組合せ最適化 について は,

Hopfieldら によ る発 表以後,多 くの追試3,4や応用例5,8

が報告 されて はいるが,そ の有効性 と問題点 の解明 は未

だ十分 な もので はない.

本 論文で はHopfieldモ デルによる組合せ最適化 につ

いて,そ の有効 性 と問題点 を回路 ブロック配置問題への

適用例を通 じて考察 す る.適 用例 についての シ ミュレー

シ ョンお よび理論 的考察 の結果,Hopfieldモ デルを組

合せ最適化問題 に適用するためには,十 分に吟味 したネ ッ

トワー クの設計 とパ ラメータ調整 を行 な う必要 があ るこ

と,ま た,こ れを行 なえば,Hopfieldモ デルによ り組

合せ最適化 問題 のかな り良 い近似解 を発見 できる ことが

明 らかにされた.

本 論文 の構成 は以下 のとお りで ある.2.でHopfield

モデ ルの紹 介 を行 な った後,3.で 回路 ブロック配 置問

題 と これへ のHopfieldモ デル の適 用法 を述べ る.4.

では シ ミュ レーシ ョンによ りHopfieldモ デルの性能 を

検 討 し,5.で は4.で 得 られた知見に ついて理論的考察

を行 な う.6.は 本論文のま とめであ る.

2.　 Hopfieldモ デ ル に よ る 組 合 せ 最 適 化

2.1　 Hopfieldモ デ ル の構 造 と動 作

Hopfieldら に よ って提 案 され たアナログ ・ニュー ラ

ルネ ッ トワー クのモ デル1,2は ,Fig.0の ような構成 を

持 つ もので ある.す なわ ち,図 中の増幅器が ニューロ ン

(神経細 胞)に 相当 し,そ れぞれの 出力 はすべての ニュ

ーロンにある強さの結合を介 して フ ィー ドバ ックされ る.

* 原 稿受 付1990. 5. 2

** 京 都 大 学 工 学 部Department of Electrical Engi -

neering, Kyoto University; Yoshida-Honmachi,

Sakyo-ku, Kyoto 606, JAPAN*** (株)電 通Dentsu Inc

x; Mimatsu Building, Tsukiji

4-7-3, Chuo-ku, Tokyo 104, JAPAN

Key Words : neural network, neural computation , Hopfield model, combinatorial optimization, placement problem .

48

喜 多 ・小谷 ・西川:神 経 回路 モデルによ る最適化計算 49

(a) Structure of the Hopfield model

(b) Characteristic of the nonlinear amplifier

Fig. 1

この システムのダイナ ミクスは次のよ うな常微分方程 式

で記述 され る.

(1)

(2)

こ こでnは ニ ュ ー ロ ン数,uiは 第iニ ュ ー ロ ンの 内部

状 態,viは 同 ニ ュー ロ ンの 出 力,ωijは 相 互 結 合 の 強 さ,

Iiは バ イ ア ス 入 力 で あ り,τ,uoは 正 定数 で あ る.関 数

g(u)はFig. 1 (b)の よ う な 飽 和 特 性 を持 ち,シ グ モ

イ ド関数 と呼 ば れ る.

相 互 結 合 が 対 称(ωij=ωji)の とき,こ の シス テ ム の

状 態 は エ ネ ル ギ ー 関 数

(3)

を極 小 にす る安定 平衡 点 に収 束す る(エ ネルギ ー関数

E(v)は(1),(2)式 で表わ され るシステムの リアプ ノブ

関数 に な ってい る).そ して,uoが 十分 に小 さいとき,

(3)式 の右辺 第3項 は0<vi<1に おいて その影響を無

視で き,ま た相互結合 の対 角要素Wiiを0と すれば,安

定平衡点は各viに つ いて0ま たは1の 近傍 に現れ る1,5.

2.2　 Hopfield モ デ ル に よ る組 合 せ最 適 化

Hopfield らは 2.1で 述べ た ようなネ ッ トワークの性

質 に着 目 し,(3)式 の右辺第1,第2項 で表 わされ るよ う

な(2次 の)目 的関数 を持つ0-1最 適化 問題 を,同 モデ

ルを用いて解 くことを提案 した2.す なわち,2次 の目的

関数f(v)を 作成 し,f(v)を(3)式 の右辺第1項,第2

項 とす るよ うな エネルギー関数E(v)を 持 つ Hopfield

モデルを構成す る.こ のネ ッ トワー クを適当な初 期点 か

ら動作 させ,収 束 した平衡 点を最 適化問題の近 似解 とす

るのであ る.そ して,必 要 な ら初期点を取 り替 えて何度

か ネッ トワー クを動作 させ,良 い解を見い出す.

組合 せ最適化の観点か ら見たHopfieldモ デルのキー

ポ イ ン トは,元 来{0,1}nと い う離散的な空間で定義 さ

れ て いる2次 関数 の最 適化 問題 を,[0,1]nと い う連続

的な空間 にお ける最適化問題(非 線形計画問題)に 埋め

込み 勾配法で解を得 ようとす ることにある.こ の場合,

もとの組合せ最適化問題が持 って いた最適解探索の困難

さは,Hopfieldモ デル で は非凸 の非線形計画問題 にお

ける大域 的最適化 の困難 さとして残 され るが,Hopfield

らが この手 法 に期待 してい るこ とは,「0-1最 適化問題

を連続系のネ ッ トワークに埋 め込 んだ場合 に,最 適解 あ

るいは十 分良い近似解 に至る初 期点の領域 は十分 に広 い

であ ろう」 とい うことであ る.

残念 なが ら(1),(2)式 で表 わ され る システムについ

て,上 記の ような最適化計算への応用の観点か ら有 用な

知見 は多 くない.理 論 的な知見 と しては,相 互結合W≡

{ωij}と して対 称 で対角要素が0の ものを ランダムに発

生 させ たとき,ネ ットワークには安定 な平衡点が20.3n個

程度生 じることが知 られて いる9.ま た,筆 者 らが行な っ

た数値実験で は,ラ ンダムな ネ ッ トワークで はエネルギ

ー関数値 の小 さい安定平衡点 ほど大 きな初期点領域 を持

つ ことがおおむね成立 していたが,同 時に例外 が存在す

るこ とも示 された10,11.Hopfieldモ デル に よる追試3,4

や応 用例5'8は 多数報告 されてい るが,今 までのと ころ,

上述の基本的な問題が十 分に解 明 されてい るとは言 い難

い.

3.　回 路 ブ ロ ッ ク 配 置 問 題 へ の Hopfield の

モ デ ル の 適 用

2.　で述 べた ように, Hopfield モデルを組合せ最適化

計算 に用 いる際の有効性や問題点 は,十 分 に明 らかに さ

れていない.本 論文ではこれらの点について,回 路 ブロッ

ク配置問題への適用例を通 して考察す る.

3.1回 路 ブ ロ ック 配 置 問 題

回路 ブロック配置問題 とは,回 路がN個 の ブロックか

らな り,こ れ を定め られ た形 に配置 され たスロッ トに割

49

50 システム制御情報学会論文誌 第4巻 第1号 (1991)

当 て る問題 である12.ブ ロック対x,y∈N,N≡{1,…,

N}間 には結線 すべ き配線数Cxyが 定 め られてお り,ま

た ス ロ ッ ト対i,j∈N間 には,そ の配 置か ら距 離dij

が定義 されてい る.こ の とき,回 路全体での配線の総延

長を最小化す るような ブロ ックの スロ ッ トへの割当てを

求め る問題を,回 路 ブロ ック配置問題(以 下,配 置問題

(placement problem)と 略 す)と 呼ぶ.Fig. 2 は25

個 の網 目状 の結線 を持 つ ブ ロ ックを,5×5の ス ロ ット

に配置す る問題例であ る.

3.2　 配 置 問題 を解 くHopfieldモ デ ル

配置問題の解を表現する変数 として,n≡N2個 の0-1

変数vxi,x,i∈Nを 考 え,vxi=1/0は それぞれ,ブ ロッ

クxを ス ロッ トiに 「割当て る/割当てない」を表わす

もの とす る.こ の とき ブロックが正当 にス ロッ トに割当

て られ ることは,行 列V≡{vxi}が 置換行列 とな ること

で あ る.以 下,行 列Vが 置換 行列 にな ってい ることを

「正当な配置」 と呼ぶ ことにする.島 本 らの定式化6を 整

理 して,配 置問 題を次 のよ うなエネルギー関数Ep(V)

の最小 化問題 として表わす7.

(4)

ここで(4)式 右 辺 の第1お よび第2項 は行列Vを 置換

行列 とす るための制約項,第3項 は総配線長を最小化す

る項,第4項 が非整数解の出現を抑制す る項であ る.ま

たAお よびBは これ らの項 に対す る加法的な重みパ ラ

メー タで あ る.簡 単のため に,(4)式 右辺第3項 につい

ては重みパ ラメータを省略 し,第1お よび第2項 に対 し

て は,そ の類似 性 か ら共 通 のパ ラメータAを 用 いてい

る.パ ラメータBを0と した場合 に, Hopfieldモ デル

の 相互 結合行 列Wの 対角要素が0と な り,安 定平衡点

は超立 方体 の頂 点 に現れ る.Bを 正 の値 に設定 する と

エネルギー関数値 の大 きい局所最適解 を不安定化 できる

が,同 時 に モデ ルの安定平衡点を超立方体[0,1]nの 頂

点か ら内部 に移動 させ るとい う現象 も生 じる.

(4)式 のエネルギー関数Ep(V)を 最小化するHopfield

モデルは,次 のよ うな方程式 で表 わされ る.

(5)

こ こでuxiは 第x,iニ ューロ ンの内部 状態 τ,uoは 正

定数で ある.

4.　 シ ミ ュ レ ー シ ョ ン 分 析

3.　で 定式 化 した配 置問 題 を解 くHopfieldモ デルの

性能 を,シ ミュ レーシ ョンによ り分析 する.ま ず,一 つ

の 例題 を設定 し,こ の例題 につ いてHopfieldモ デルの

性能 とそのパ ラメータに対す る感度 などを分析す る.つ

ぎに,こ の分析か ら得 られた知見 について,い くつか の

性質の異 なる例題で検証す る.

4.1　 単 一 の 例 題 につ い て の シ ミュ レー シ ョン

用 い た例 題(例 題1)は,25の ブロ ックを5×5の 正

方形状 に配置 されたス ロ ットに割 当て る問題であ り,ブ

ロ ック間 に一 様乱 数 で0か ら3の 配線数 を定 めた もの

であ る.ブ ロック間の配線数cxyをTable 1 に示す ス

ロッ ト間の距離はマ ンハ ッタン距離 を用 いて定め る.

4.1.1　 シミュレーシ ョンの方法

シ ミュ レーシ ョン方法は以下の通 りであ る:

(1)初 期点の選定

初期 点vxi(0),x,i∈Nは 区間[0.49,0.51]内 か ら一

様乱数に より選ぶ.す なわち,超 立方体[0,1]N×Nの 中

心近傍か ら初期点を選ぶ.こ れは予備的な検討 によ り得

られた経験的知見に基づ くものであ る.大 域的な最適解

や良い準最適解が この領 域に初期点領域を持つ ことは完

全 に保証 され るわけでなないが,ス ロ ットの配列が正方

形や矩形の配置問題では,対 称な配置がモデルの相異な

る解 と して存在 し,超 立方体の中心近傍は これ らの多数

の解の初期点領域を含む もの と推測 され る.

(2)パ ラメ ータの選定

予備 的 な検討 か ら,パ ラメータ τお よびuoを それぞ

れ1お よび0.1に 固定す る.次 にB=0と し,Aを 正当

な解が十分 に高い割合で得 られ る範囲でな るべ く小 さ く

選 ぶ.本 例 題 ではA-200と した.そ してyBを0か ら

正方向 に変化 させて得 られ る解を観察す る.

Fig. 2 An example of placement problem with 25 blocks

The nodes and edges of the graph represent the blocks and connections among the blocks, respectively. The areas surrounded by the dashed lines are the slots.

50

喜多 ・小 谷 ・西川:神 経回路 モデルによ る最適化計算 51

(3)安 定平衡点の解釈

パ ラメ ータBを 大き くす ると, Hopfieldモ デルで得

られ る安 定平 衡点は必ず しも超立方体[0,1]nの 頂点近

傍 に現れ るとは限 らない.そ こで,得 られ た安定平衡点

はvxi=mjax vxjな るvxiを1に,そ うでな いものを0

に み な す.

(4)解 の 比 較 対 象

得 られ た 解 の 良 さ を 比 較 ・評 価 す る対 象 と して,ラ

ン ダ ムな ブ ロ ッ ク配 置(random placement)お よび ラ

ン ダ ム な 配 置 を 初 期 値 と して ペ ア交 換 法 12(pairwise

interchange method, PIMと 略 す)を 適 用 した結 果 を

用 い た.PIMの アル ゴ リズ ム を付 録1に 示 す.

4.1.2シ ミュレー ション結果

シ ミュ レー ション結果 をFig. 3 (a)お よび(b)に 示

す. Hopfieldモ デル につ いて は各パ ラメータにおいて

20個 の初 期点 か らの試行 結 果 を,ラ ンダム配置 および

PIMで は それぞ れ1,000回 の試 行結果 を示す.図 の縦

軸 は,総 配線長の小 さいものか ら数え た試行の累積頻度

を表 わ す. Hopfieldモ デル で累積 頻度 の最 大値 が20

に満 たな いもの は,残 りの試行で は正 当な配置が得 られ

なか った ことを意味す る.

シ ミュ レー シ ョン結果を見 ると, Hopfieldモ デルで

は,パ ラメ ータBを400(=2A)に 近 づ けるに従 って

良 い解が得 られ るようにな ることが分か る.B=350お

よび370で 得 られた解 はPIMの 結果 と比べて劣 るもの

で あ るが,B=390と して 得 られ た4種 の解 は, PIM

で得 られた解の最良の もの と同程度 に小 さい総配線長を

持 つ.し か しなが ら,Bを 大 き くす る と正当な配置が

得 られ る得 られ る割合が低下す る.な お,B=400と し

た シ ミュ レーシ ョンも行な ったが,こ の場合は正当な配

置 は得 られなか った.以 上の結果か ら,得 られ る解の良

さはパ ラメータBに かな り敏感であ ることが分か る.

4.1.3　 配線数変更法

先 の シ ミュ レー シ ョンでは,パ ラメータBを2Aに

近 く設定す ると良い解が得 られ るが,同 時 に正当な解が

得 られ る割合が低 くな るとい う問題点 も示 された.こ の

点を(4)式 のエ ネルギ ー関数に立ち戻 って考察 し,そ の

改善策を考え る.

(4)式 の エネルギ ー関数では配置問題の 目的関数は右

辺第3項 であるが,ブ ロック間の配 線数cxyが 正の とき,

この項 は相異な る変数vxiとvyjの すべての組み合わせ

について,そ の いずれかが0で あ るときに最小 とな り,

同式右辺第1お よび第2項 に表現されて いる正当な プロッ

ク配置 という制約 にとって は中立的でな い.

そこで配線数cxyを 一定量だけ減 らし,負 の値 も含むよ

(a) Hopfield model (b) Random placement and PIM (c) Hopfield model with CMM

Table 1 Connections in a 25-block placement problem (example 1)

Numerals in the table represent the connection cxy between the blocks x and y. The connections in the lower triangle are omitted because of the symmetry.

Fig. 3 Results of simulation for Example 1

51

52　 システム制御情報学会論文誌 第4巻 第1号(1991)

うに す る.こ の 手 法 を 以 下 「配 線 数 変 更 法(connection

modification method, CMMと 略 す)」 と呼 ぶ.こ こ

で は 変 更 後 の 配 線 数cxyと して次 の もの を 用 い る.

(6)

CMMを 用 い た場合 の シ ミュ レー シ ョ ン結果をFig. 3

(c)に 示 す. CMMの 適用 により正当な解が得 られ るよ

うにな るとともに,得 られ る解の総配線長 も改善 され,

B=390の 場 合 に は,PIMと 比 較 して も十 分優れ た解

が得 られて いることが分か る.

4.1.4　 パ ラメ ータAに 関する感度解析

つ ぎ にパ ラメ ータAに 関す る感度解析 を行 なう.パ

ラメ ータAを 変 化 させ,他 のパ ラメー タ に つ いて は

(B,τ,uo)=(2A-10,1,0.1)と 設定 し,各 パ ラメータ

にお いて共 通の初 期点20個 を用 いて ネ ッ トワークを動

作 させ た.そ の結 果 をFig. 4 に示す.A=100の 場合

には正 当な配置 は1例 しか得 られ なか ったが,Aが200

か ら400の 範 囲 で は20回 の試行すべ てで正 当なブロ ッ

ク配置が得 られて いる.ま た,こ のとき得 られた総配線

長 はあま り変化 して いない.パ ラメータAに ついて は,

これ を正 当な配置が高 い割合 で得 られる大 きさに設定す

る必 要 が あ るが,,得 られ る解 の良 さはAの 値 にはあま

り敏感で はないことが分か る.

4.2　 他 の配 置 問 題 例 で の性 能

例題1を 用いた シ ミュレー ションで得 られたエネルギ

ー関数 の設計 ・調整法 に関す る知 見が,他 の配置問題例

で どの程度有効であ るかを検討す る.用 いた例題 は次の

ような ものであ る.

【例題2】Fig. 2 に示 した25ブ ロックの例題.最 適 な

ブ ロ ック配 置がFig. 2 に示 した もの(対 称 な配置 を含

む)で あることが容易 に分か る.

【例題3】Table 2 に配 線数 を示 した5×5の 正方 形状

に配置 す る25ブ ロ ックの例題.配 線数cxyに は高い割

合で0が,ま た低 い割合で10が 含 まれ,そ の分布 のば ら

Fig. 4 Sensitivity analysis w. r. t. the parameter A

The figure represents the distribution of the wiring lengths obtained by the simulation. For each value of parameter A, 20 trials are made. One proper placements is obtained when A = 100, and 17 proper placements when A = 150. For the other values of A , proper placements are obtained in all the trials.Placements having the same wiring length are overlapped in the figure. Parameters of the model :(B, r, u0) = (2 A 10, 1, 0.1).

Table 2 Connections in a 25-Block Placement Problem (Example 3)

The meaning of the table is same as of Table 1. Symbols "." and "X" represent "0" and "10", respectively.

Table 3 Connections in a 24-Block Placement Problem (Example 4)

The meaning of the table is same as of Table 2.

52

喜多 ・小 谷 ・西川:神 経回路モデル によ る最適化計算 53

(a) example 2 (b) example 3 (c) example 4

つきが多い.

【例題4】Table 3 に配線 数を示 した 8×3 の矩形 状 に

配 置 す る24ブ ロ ックの例題 配線数の分布 は例題3と

同 じであ る.

これ らの例 題について,例 題1の 場合 と同様 にCMM

を用 いて エ ネル ギー 関数を作成 し,パ ラメータAに 関

して 正 当な配 置が 得 られ る値 を探 したのち,パ ラメー

タBを2Aに 近 く選 び シ ミュ レーシ ョンを行 なった.

得 られ た結果 を,用 いたパ ラメー タ値 とと もにFig. 5

(a)～(c)に 示す.例 題2で は, Hopfieldモ デルによ り,

かな り高い割合で最適解(総 配線長40,対 称 な数種の解

を含む)が 得 られて いる.例 題3お よび 4に おいて も,

PIMと 比較 して良 い解が得 られる ことが分 かる.

5.　パ ラ メ ー タ 設 定 に 関 す る 考 察

前 節 の シ ミュ レー シ ョンで は,パ ラメータBを2A

よ り少 し小 さ く選ぶ ことによ り,良 い近似解 が得 られ る

とい う知見 を得 た.本 節 では このパ ラメ ータ値設定の持

つ意味 につ いて考察す る.

5.1　 エ ネ ル ギ ー関 数 の 形 状

回路 ブロ ック配置問題で は決定変数 の数が多 く,エ ネ

ルギー関数 の形状 を把握す ることは困難 である.本 節 で

は この点 につ いて理 解 を深 めるたあに,Fig. 6に 示 し

た4ブ ロックの配置 問題 について,最 適な ブロック配置

v={vxi}(Fig. 6(a))か ら 一つ の変 数だ けが 変化 し

た ときのエネルギー値

(a) Optimal placement (b) Suboptimal placement

(7)

の 変 化 の 様 子 を 調 べ る.Bを パ ラ メ ー タ と して エ ネ ル

ギ ー の 変 化 を 描 い た もの がFig. 7で あ る.こ こで'Vxi

(a) B=10 (b) B=39 (c) B=45

Fig. 5 Results of simulations for example 3, 4 and 5

Parameters (A, B, z, u0 are (30, 59, 1, 0.05) for example 2, (300, 590, 1, 0.1)for example 3 and (200, 390, 1, 0.1) for example 4.

Fig. 6 A placement problem of 4 blocks

Fig. 7 Variations of the energy between an optimal placement and the adjacent vertexes, and that between an optimal and a suboptimal placement

53

54 システム制御情報学会論文誌 第4巻 第1号(1991)

は最適 な ブ ロ ック配 置7の 成 分vxi歪について,そ の1

と0を 入 れ換 えた ものである.ま た,同 図には最 適な ブ

ロ ック配置Vと 準最適 なブ ロック配置Vs(Fig . 6(b))

の内分点 におけるエネル ギー値

(8)

の変化を併せて描 いた.

Fig. 7 か ら以下の ことが分か る:

(1)パ ラメータBが2Aよ り小 さいとき,最 適 なブロ ッ

ク配 置Vは エ ネル ギ ー関数の極小点 になって いる

(Fig. 7(a)).

(2)パ ラメータBを2Aに 近 く選べ ば準最適 なブロック

配置Vsは 不安定化 され,準 最適 なブ ロック配置か

らで もエネルギー値 の極 小化によ り最適な ブロック

配置が得 られる(Fig. 7(b)).

(3)パ ラメー タBを2Aよ り大 き く選 べ ば,最 適 な ブ

ロ ック配置 は もはや エネルギー関数 の極 小点 ではな

くな る(Fig. 7 (c)).

5.2　 エ ネ ル ギ ー 関 数 の 定 性 的 性 質

5.1　で見た ように,パ ラメー タBを2Aに 近 く選ぶ こ

とによ り,最 適解を安定な平衡点 と したまま,準 最適解

を不安定 化でき る.本 節で は,こ のパ ラメータ設定 にお

いてエネルギー関数 が持 つ定性的性質を考察す る.以 下,

決定変数行列V-{vxi}を 列 ベク トルV=(v1 ,1,…,v1,N,…,vN,1,…,vN,N)Tに 展 開 して表 わす.簡 単 の ため,

エネ ルギー関数Ep(V)か ら総配線 長を表わす項 を除い

た

(9)

を考 え,そ のベ ク トルに よる表記を

(10)

とす る.関 数Ep(v)は 以 下の性質を持つ.

【性質1】E'p(v)の 係数行列WはB=2A,A>0の

と きN2-2N+1個 の0固 有 値 と,2N-1個 の正 固有

値 を持 つ.

【証 明】

パ ラメ ータBが2Aに 等 しい とき,パ ラメータAは

関数Ep(v)全 体 に掛か る正の係数であ るか ら,一 般性

を失 うこ とな くA=1の 場 合 を考 えて よい.係 数行列

Wは その作 り方 か ら,

と表わ され る.こ こでPは

で あ り,ま たai=(0,…,0|1,…,1|0,…,0)T:第N(i-

1)+1要 素 か ら第Ni要 素 の み1の ベ ク トル,bi=(0,…,

0,1,0,…,0|…|0,…,0,1,0,…,0)T:第Nj+i,j=0,

…,N-1要 素 の み1の ベ ク トル で あ る.

rank W=rank(PPT)=rank(PTp)

で あ る か ら,PTPを 作 る と,

この行列 の階数 が2Nよ り小 さい ことは,左N列 の和

と右N列 の 和が等 しいことか ら容易 に分か る.ま た,

この行列 の第N+1列 か ら第2N列 まで の各列か ら列 ベ

ク トル(1,…,1,0,…,0)T(第1～ 第N成 分 が1)を 差

し引いてでき る行 列の階数が,2Nと な ることも容易 に

分 かる.し たが って,行 列PTPは 少な くとも2N-1本

の1次 独立 な列 ベク トルを含 む.以 上 の ことか ら,行 列

PTPの 階 数 は2N-1で あ り,行 列TはN2-2N+1

個 の0固 有 値 を持 つ.残 りの固 有値 が正 である ことは

Ep(v)の 作 り方か ら明 らかで ある.[証 明終]

【性質2】B=2Aの とき,Ep(v)は 任意 の正 当な配 置

の凸結合 にお いてその値が0と な る.

【証明】 正当な配置をvk,k=1,…,mと し,そ の凸結

合を

とす る.B=2Aで あ るか ら,E'p(v)に ついて(9)式

右辺第1項 を評価す ると

正当な配置である

=0:μkは 凸結合の係数

(9)式 右 辺第2項 について も同様に0と な り,仮 定か ら

同式第3項 は0で あ る.し たが ってE'p(V)=0

[証明終]

また正 当なブ ロック配 置の安定 性については,次 の性

質 が成 り立 つ.

【性質3】B=2A-ε,A,ε>0の とき,正 当な ブロッ

ク配置vは 超立方体[0,1]N×N内 で関数E'p(v)の 極 小

点 である.

54

喜多 ・小谷 ・西 川:神 経 回路 モデルによる最適化計算　 55

【証 明】 関数E'p(v)のvで の勾配 を考 える:

vが 正 当な配置を表わ してい るか ら右辺第1お よび第2

項 は0と な り,

したがって,正 当な配置 万 か ら超立方体の 内部 に向か っ

て関数E'p(v)は 必ず増加 し,万 は極小点 である.

[証明終]

以上 の こ とか ら,パ ラメータBを2Aよ り少 し小 さ

く選ぶ ことは,正 当な ブロ ック配置が安定 とな る範囲で

な るべ く大 きなBを 選 んだ ことを意味す る.こ の とき

エネルギ ー関数は2次 の係数行列 に多 くの0に 近 い固有

値 とい くつかの正の固有値を含み,正 当な配置 を頂点 と

す る凸包 内 で緩 やか な凹 関数 とな って いる.Fig.7に

示 した ように,こ の ことが準最適解 を不安定化 させ,あ

るいはその初期点領域を小 さ くして お り,良 い近似解 を

得易 く してい るもの と考え られる.

ただ し,こ の ようなパ ラメータ設定 は システムのダイ

ナ ミクスを表わす微分方程式 をステ ィフな ものにす るた

め,最 適化問題 を解 く立場か らは,ど の程度 の計算精度

が要求 され るのか を考 えてお く必要 がある,ま た,性 質

1お よび性質2は エネルギー関数 の正 当な配置を生成 す

る項のみ について の議論 であ り,本 来の 目的関数 を加 え

合わせ た ものについて はさ らに検討 が必要 であ る.

6.　 お わ り に

本 論文 で は,Hopfieldモ デルによ る組合せ最適化計

算 について,回 路 ブロック配置問題への適用を通 じてそ

の有効 性 と問題点 を検 討 した.そ の結果,(0)良 い近似

解 を与 えるパ ラメー タはかな りク リテ ィカルな ものであ

り,ネ ッ トワー クと適用対象の特性を十分 に考慮 して エ

ネルギー関数 の作 成 ・パ ラメータ選定を行な う必要があ

る こと,(2)し か しなが ら,適 切な ネッ トワークの設計

が行 なえればHopfieldモ デルは最適化問題のかな り良

い近似解 を与 え ること,が 示 された.ま た,解 析的な検

討 によ り,良 い近似解 を与え るパ ラメータの持つ意味 に

ついて考 察 した.

上記 の知見は回路 ブロック配置問題 とい う特定の問題

につ いて の もので あ るが,種 々 の組合 せ最適化問題 に

Hopfieldモ デル を適用 す る際の指針 とな るもの と考え

られ る.す なわ ち,Hopfieldモ デルを適用す るため に

は,見 通 しの良 いネ ッ トワークの設計 とパ ラメータの調

整を行なうことが重要であり,比 較的単純な目的関数や

制約条件を持つ問題への適用が有望と考えられる.

最後に本研究にあたって貴重なご助言を頂いた京都大

学工学部助手,小 野寺秀俊博士に謝意を表す.

参 考 文 献

1) J. J. Hopfield : Neurons with Graded Response have Collective Computational Properties like those of Two-State Neurons, Proc. Natl. Acad. Sci. USA, Vol. 81, pp. 3088-3092 (1984)

2) J. J. Hopfield & D. W. Tank : "Neural" Computation of Decisions in Optimization Problems ; Biol. Cybern., Vol. 52, pp. 141-152 (1985)

3) G. V. Wilson & G. S. Pawley : On the Stability of the Travelling Salesman-Problem Algorithm of Hopfield and Tank ; Biol. Cybern., Vol. 58, pp. 63-70 (1988)

4) G. W. Davis, Jr. : Sensitivity Analysis in Neural Net Solutions ; IEEE Trans., Vol. SMC-19, No. 5, pp. 1078-1082 (1989)

5) D. W. Tank & J. J. Hopfield : Simple "Neural" Optimi-zation Networks : An AID Converter, Signal Decision Circuit, and a Linear Programming Circuit ; IEEE Trans., Vol. CAS-33, pp. 533.541 (1986)

6) 島 本 ほ か:配 線 配 置 問 題 の ニ ュー ロ コ ンピュー テ ィ ング;第

32回 シス テ ム と 制 御研 究 発表 講 演会,pp. 175～176 (1988)

7) 喜 多,小 谷,西 川:神 経 回路 モ デ ル に よ る 最 適 化計 算 一 回

路 ブ ロ ッ ク配 置 問 題 を 例 と して 一;第33回 シス テ ム 制 御

情 報 学 会 研究 発 表講 演会,pp. 273～274 (1989)

8) 喜 多:ニ ュー ラル ネ ッ トワ ー ク と組 合 せ 最 適 化,シ ス テ ム/

制 御/情 報,34巻,4号(1990)

9) 甘 利 ほ か:短 期 お よ び長 期記 憶 の神 経 回路 モ デ ル;信 学 技

法,MBE 88-143巻,pp. 137～141 (1989)

10) 西 川,喜 多,市 森:神 経 回路 モ デル によ る 最適 化 計 算 の 基礎

的考 察;第31回 自動 制 御 連 合 講 演 会,pp. 247～250 (1988)

11) 西 川,喜 多:Hopfieldニ ュ ー ラル ネ ッ トワ ー ク の性 質 に 関

す る二,三 の 基 礎 的 考 察;京 大 数 解 研,研 究 集 会Mathe-

matical Topics in Biology構 究 録,pp. 196～209 (1989)

12) 山 田 ほか:VLSIコ ン ピュ ー タのCAD,産 業 図 書(1983)

付録1ペ ア交換法(PIM)の アル ゴ リズム

本論 文で 用 いたPIMの アル ゴ リズムは以下の通 りで

あ る.

/*初 期 配 置*/

ブ ロ ッ クを ス ロ ッ トに ラ ンダ ム に配 置 す る;

/*配 置 の 改 良*/

LOOP

for i=1 to N-1 do

for j=i+1 to N do

ifブ ロックiと ブロックjの ス ロッ トへの割付

を交換 すれば総 配線長が減 少す るthen

begin

ブ ロ ッ クiと ブ ロ ックjの 割 付 を交 換 す る;

goto LOOP;

end;

/*二 つの ブロ ックの交換では総配線長 は減少 しな い*/

終了.

55

56　 システ ム制御情報学会論文誌 第4巻 第1号(1991)

56