CDMAwatanabe-...ccuu W x ( ) ( ) ( 1) ( ) ,, ( ) sup ( ) ( ) ( ) exp( ) { } exp[ ] k kd k k d t c k...
Transcript of CDMAwatanabe-...ccuu W x ( ) ( ) ( 1) ( ) ,, ( ) sup ( ) ( ) ( ) exp( ) { } exp[ ] k kd k k d t c k...
1
菊池自由エネルギーに対するCCCPの拡張とCDMAマルチユーザ復調アルゴリズム
西山 悠(1),外崎幸徳(2),渡辺澄夫(3)
(1)東京工業大学総合理工学研究科知能システム科学専攻
(2)株式会社 東芝研究開発センター システム技術ラボラトリー
(3)東京工業大学精密工学研究所
1
概要
• 高次元確率分布の統計量を計算するのは,(一般には)計算困難である.
• ベーテ自由エネルギー,菊池自由エネルギーの最小値を計算することで(近似的に)これらの統計量を計算することができる.
• ベーテ,菊池自由エネルギーの最小化にCCCPを使ったアルゴリズムが知られている (A.L. Yuille, 2002).
• ここでは菊池自由エネルギーに対するCCCPを拡張したNCCCPアルゴリズムを提案する.
• NCCCPアルゴリズムをCDMAマルチユーザ復調問題に適用し,NCCCPに基づくCDMAマルチユーザ復調アルゴリズムを導出する.数値実験からNCCCPの性能を調べる.
2
ベーテ,菊池自由エネルギー
{ }
1( ) ( , ) ( )ij i j i i
ij E i V
P x x xZ
x
1x 2x
7x3x
5x
4x6x
{ } { } { }
({ },{ }) ( , ) | | ( , )ij ijBethe i ij Bethe ij i j r ij i i i ij i j r
ij E ij E i V i V ij E
F b b S E x x S S N S E x x
convex linearconcave
Bethe free energy
Probability distribution
Kikuchi free energy
0 0
({ }) ( ) ( ) ( ) ( )Kikuchi kikuchi r r
R R R Rc c
F b S c E c S r c S r c E
x x
convex linearconcave
CCCP (Concave Convex Procedure, A.L. Yuille, 2002)
( , )G V E
3
ExampleBasic Clusters
}5689,4578,2356,1245{ C
}5,58,56,45,25,{ CR
1 2 3
4 5 6
7 8 9
},58,56,45,25{)5(Sup C
}5689,2356{)56(Sup }58,56{)5689(Sub
}5{)56(Sub 1245 45782356 5689
25 45 56 58
5
Set of Regions
Region Graph
15689457823561245 cccc
158564525 cccc
15 c
)211()sup(
cc
)4411()5sup(
5
cc
Overcounting Number
Super and Sub Regions
Kikuchi Free Energy
1245 2356 4578 5689 25 45 56 58 5({ } )Kikuchi R bR
F b S S S S S S S S S c E
4
CCCP• Objective functional
• Update rules
• CCCP Free energy
• Monotonically decreasing
( ) ( ) ( )vex caveF F F b b b
( 1) ( )( ) ( )t t
vex caveF F b b
convex concave
( )F r
( 1) ( ) ( 1) ( 1) ( )( | ) ( ) ( )t t t t t
CCCP vex caveF F F b b b b b
( 1) ( )( ) ( )t tF F b b
5
NCCCP (New CCCP) for Kikuchi
• Trivial Pair Creation
• Proposal of NCCCP
• Concave and Convex Parts
• Feasible Set
, ( ) ( ) ( )K vex Kikuchi vexF F f b b b
, ( ) ( )K cave vexF f b b
0
, ,Kikuchi K cave K vexF F F
, ,, ( , ) ( ) ( )K cave bS
R
E
R
uF S b Eu
xub
, ,, ( , ) ( ) ( ) ( ) ( )SK vex bR R
EF c S b c Eu u
xub
| |{ | max{0, }, }RU c Ru u CCCPU
ccu max
0 ( ) ( )vex vexf f b b
6
2
NCCCP algorithm for Kikuchi
• Algorithm (NCCCP)
– Outer loop
– Inner loop
, ,( 1) ( )
( ) sup ( )
( ) ( ){ } exp[ ]k
d
k
k
d
k k kct t k kk k k
sub k kk k k
u
u
k k ku u u
c Er r v
c c c
x x
k R
\
( ) ( )
, ,( ) ( )
( )\ sup ( )( 1)
, ( )
, ,( ) ( )
( ) sup ( )\
( ) ( ){ } exp[ ]
1 1exp{( ) ( )}
( ){ } exp[
k
d d
k ll
k
d
l
l
d
k k k kct k kk k
sub k l kk k k
k l l
k l l l
u
ct
l l
sub l l
u
k
k k k
u
l
k l u
l
c
u u
Er v
c c c
c cr
u
u
c
u
uv
x
x x
xx
( ) ( )
]l
l l
l l
l
l
c E
u uc c
x
( ) ( )
, ,( 1) ( )
( ) sup ( )
( ) ( )exp( ) { } exp[ ]k
k d
k
k
d
k k kct k kk k
sub
u
u
k kk k kk k ku
c Ev r
c c u c u
x
x x
k R ( )dl sub k
7
RemarkNCCCP is guaranteed to monotonically decrease Kikuchi free energy
even if free vector is changed within at every outer loop.u U
Outer loop
Inner loop
Outer loop
Inner loop
Outer loop
NCCCP algorithm
Approximate marginals
)1(u
)1(u
)1(u
)2(u)2(u
)2(u
CCCPU )1(
u)2(u
)(tu
)1(u
)2(u)(t
u
ccu max
8
Gaussian Graphical Model (Asynchronous)
)5,1.0,10( S )5,2,10( S
)10,1.0,10( S )20,1.0,10( S
CCCP
9
Gaussian Graphical Model (Synchronous)
)4,1.0,10( S )5,1.0,10( S
)5,2,10( S )10,1.0,10( S
CCCP
10
CDMAマルチユーザ復調
1 1x
1kx
1Kx
1
1
1
1
1
1
1s
ks
S
Ks
x
1 2( , , , )T
Ny y yy
1
1 K
k k
k
y s x nN
2
0(0, )n N
1
1
( ) ( | )
( | )
( ) ( | )
N
N
p y
p
p y
x
x x
x y
x x\
ˆ arg max ( | )k k
MPM
x x
p x
x x y
拡散符号
受信信号
MPM推定
11
NCCCPアルゴリズム(Ising Spin)
2
)tanh(1
2
1)(
)()(
)( k
t
kk
t
k
k
t
k
xhxmxb
2
)tanh(1
2
1)}(exp{
)(
,
)(
,)(
,
kkkk
kk
xhxmx
• Outer Loop
• Inner Loop
( 1) ( )
,
( )
1
| | 1 | | 1
k
k k
t t
k k k
N kk k
h h hN N
u
u u
( 1) ( ) ( ) ( )
, ,
( )\
| | 1 1ˆ ,| | 2 | | 2 | | 2
k kt kk k k k
N kk k kk k k
Nh h h h
N N N
u u
u u u
( )
( )\( )
1( )( )
2( )
l l
l N k
k
m xf
bZ
x
x( )
( ) ( )
( )
ˆ ˆtanhk
k k k bh m x
x
where
Algorithm (NCCCP for Ising Spin, )0u
Ising Spinのとき
12
3
NCCCPに基づくCDMAマルチユーザ復調
( ) ( )
2 ( )1
( )
1 1ˆ ( )(1 )
Kk
k l l
lkk
sh y s m
Q N N
• Outer Loop
• Inner Loop
( 1) ( )
,
1
1
1 1
Nt tk
k k
k k kh h hN
u
u u N
( 1) ( ) ( ) ( )
, ,
1( )
1 1ˆ ,2 2 2
k k
k k
Nt
k k k k
k
Nh h h h
N N N
u u
u u u
where
Algorithm (CDMA Multiuser Demodulation Based on NCCCP )
( ) ( )
2 ( )1
( )
1 1ˆ ( ),(1 )
Kk
k l l
lkk
sh y s m
Q N N
確率伝搬法に基づくCDMAマルチユーザ復調[Kabashima, 2003]
2
( ) ( )
1( )
1.
K
k l
lk
Q mK
13
実験結果
• 負荷率
• ユーザ数,チップ数
• ノイズ
1
2
( , ) (25,50),(50,100),(100,200)K N 2 1
36
ビット誤り率
14
・拘束条件付きベーテ自由エネルギー
・拘束条件の値
15
まとめ
• 菊池自由エネルギーに対するCCCPを拡張したNCCCP (New CCCP)アルゴリズムを提案した.
• NCCCPは従来のCCCPを含み広がりを持つものの,なお菊池自由エネルギーを単調に減尐させることができる.
• 導入したパラメータの値を変えることでCCCP更新式の固定点への収束の経路を変えることができる.
• NCCCPに基づいたCDMAマルチユーザ復調アルゴリズムを導出した.
• 数値実験の結果,Inner Loopの回数が1回だと従来のCCCPでは更新回数が尐なすぎて収束が遅くなるが,NCCCPでは収束に良好な結果を示した.
• NCCCPに導入したパラメータについて最適性が存在する.菊池自由エネルギーの分解の仕方に最適性があることを意味する.
16
今後の展望
• 最適なパラメータ点の設計法.
• LDPC符号でのNCCCPアルゴリズムの有効性の検証.
• 情報幾何学的な解釈.
• CCCPではなくNCCCPへ.
参考文献• A.L. Yuille, “CCCP algorithms to minimize the Bethe and Kikuchi free energies”, Neural
Computation Vol. 14, No. 7, pp. 1691-1722, 2002.
• Y. Kabashima, “A CDMA multiuser detection algorithm on the basis of belief
propagation”, J. Phys. A, vol. 37 pp. 11111-11121, 2003.
• 外崎幸徳,樺島祥介, “CCCPに基づくCDMAマルチユーザ検出アルゴリズム”, 電子情報通信学会論文誌 D, vol. J89-D, No. 5, pp. 1049-1060, 2006.
• Y. Nishiyama, S.Watanabe, “Generalization of Concave and Convex Decomposition in Kikuchi Free Energy”, ICANN2008, LNCS5163, pp. 51-60, 2008.
17