阪大レーザー研の実験データ処理システムと

EUV 光源開発のための連携シミュレーション GRID ポータル

大阪大学レーザーエネルギー学研究センター西原　功修

デイリースケジュールと計測画像データの流れ

実験データベースサーバー

デイリースケジュールサーバー

生データ格納領域

LFEX PC PW PC GXII PC

HTML ファイルvista

TEXT ファイル TEXT ファイルTEXT ファイルpw_shot.txt FB03_nfslfex_shot.csv

HTML ファイルからPW ショット No, 時刻

等を抜き出し、その日のショット順番

を付加してテキストファイルに書き出す 画像データ (GIF)

格納領域

計測主幹用 PC

デジタルオシロ

Agカウンター他

中性子計測

粒子計測

放射化計測

X線時間分解計測

X線画像計測

飛行時間分解型 多チャンネル

中性子スペクト ロメーター

（マンダラ）

X線ピンホールカメラ

X 線ストリークカメラ

X線フレーミングカメラ

CR-39粒子トラックディテクタ（ ）

X線半影カメラ

X線分光器 イメージングプレート

電子スペクトロメーターチャージコレクター

レーザーエネルギー

ショットデータ

ファイル変換プログラム(C 言語 + シェル ) をcron で自動実行

DSFILE.CSV

t050527b

Oracle 10gOracle Application Server

自動転送

自動取り込み

主幹ノート _FB-01.fp ７

image.fp７

phc.fp ７ xfc.fp ７xsc.fp ７

Web ブラウザからショット予定入力Web ブラウザからテキストデータ入力Web ブラウザで表示

クライアント PC

カスタム web 公開インスタント web 公開

インスタント web 公開

FileMaker Server Advanced 7

FileMakPro 7

共有から開く テキストデータ入力

sido

sora

shotdataLFEXshotdata PWshotdata

ds.fp ７

www-local

リレーション（画像）

リレーション（テキスト）

XML

レーザーデータ

インスタント Web 公開 TOP ページ

デイリースケジュール入力画面

認証ウィンドウ

IT 利用シミュレーション研究

1. レーザー EUV 光源開発のための 連携シミュレーション GRID ポータルシステム

2. GRID を用いた大規模分子動力学シミュレーション

大阪大学レーザーエネルギー学研究センター　西原　功修， Vasilii V. Zhakhovskii, 福田　優子

レーザー技術総合研究所　砂原　敦 , 古河　裕之

日本原子力研究開発機構・関西光科学研究所　佐々木　明

岡山大学大学院自然科学研究科　西川　亘

大阪大学サイバーメディアセンター　下條　真司

　レーザー EUV 光源開発のための 連携シミュレーション GRID ポータルシステム

スズ　プラズマ　発光　 10 kHz (after Fujioka et al)

100

200

300

500

700

20

30

50

70

10

高NA

低 NA

1970 200019901980 2010

1000

2000

3000

g 線i 線

KrFArF

F2

EUV 13 nm

縮小投影露光

高NA縮小投影光学系（屈折光学系）での実用的な解像限界

R～１/ ２λ

低NA縮小投影光学系（反射光学系）での

実用的な解像限界R～２λ

年代（西暦）

集積

回路

の最

小加

工寸

法、

露光

波長

（ｎｍ

）

コンタクト露光

1:1プロジェクション

強い超解像

弱い超解像

ULSIの微細化トレンドＸ０.７/ ３年

100

200

300

500

700

20

30

50

70

10

高NA

低 NA

1970 200019901980 2010

1000

2000

3000

g 線i 線

KrFArF

F2

EUV 13 nm

縮小投影露光

高NA縮小投影光学系（屈折光学系）での実用的な解像限界

R～１/ ２λ

低NA縮小投影光学系（反射光学系）での

実用的な解像限界R～２λ

年代（西暦）

集積

回路

の最

小加

工寸

法、

露光

波長

（ｎｍ

）

コンタクト露光

1:1プロジェクション

強い超解像

弱い超解像

ULSIの微細化トレンドＸ０.７/ ３年

現在 90nm 細線加工， 1 年以内に 60nm 実用化

半導体リソグラフィー露光波長と加工寸法　（≤ 45nm の細線：波長 13.5nm ）

11.5 12 12.5 13 13.5 14 14.5

10

0

2020

30

40

50

60

70

波長 (nm)

反射

率(%

)

11.5 12 12.5 13 13.5 14 14.5

10

0

2020

30

40

50

60

70

波長 (nm)

反射

率(%

)

15 nm CMOS

(AMD, 2001)

背景 1 研究の目的：　レーザーから EUV 光への変換効率の最適化

EUV 光源出力 ≥ 350 W / 2πsr ( 波長 13.5nm, 2% バンド幅 ）：実用機の要求条件

研究目的　 ( リーディングプロジェクト（文科省）’ 03 –’07 EUVA( 経産省））　ＥＵＶ光源プラズマの物理を解明し，実用化への指針を与える．　　高効率ＥＵＶ光発生に必要な条件を明確にする．

レーザープラズマシミュレーション：　変換効率の　・　レーザー強度依存性　　　　　 ( 電子温度 Te 最適化）　・　レーザーパルス幅依存性　　（放射のオパシティ・プラズマサイズ最適化）　・　レーザー波長依存性　　　　　（密度 ni 最適化）　・　ターゲット初期密度依存性　 （密度 ni最適化）

レーザーパルス幅 (ns)

レー

ザー

照射

強度

(W/c

m2)

100101

1010

109

1011

1012 EUV変換効率

2%

4%2%

4%

Etendue = 1 mm2sr(光源サイズ = 700µm)

Etendue = 3.3 mm2sr(光源サイズ = 1300µm)

0.86 J

1.7 Jレーザーパルス

レーザーパルス幅 (ns)

レー

ザー

照射

強度

(W/c

m2)

100101

1010

109

1011

1012

100101 100101

1010

109

1011

1012

1010

1010

109

109

1011

1011

1012

1012 EUV変換効率

2%

4%2%

4%

EUV変換効率2%

4%2%

4%

Etendue = 1 mm2sr(光源サイズ = 700µm)

Etendue = 3.3 mm2sr(光源サイズ = 1300µm)

0.86 J

1.7 Jレーザーパルス

O5+ 2p-3d @17.3 nm

O5+ 2p-3p @15.0 nm

O6+ 1s2p-1s7d @7.9 nm

O5+ 2p-4d @12.9 nm

O5+ 2p-4p @11.6 nm

0

1

2

3

4

5

6

7

8

6 8 10 12 14 16 18 20 22

SnSnO2 (59%)SnO2(23%)

inte

ns

ity

@1

3.5

nm

(a

.u.)

wavelength (nm)

EUV spectrum (Nishimura et al)

Sn+8 - Sn+12 (4d-4f)Transition １０数万本の発光線

背景 2 IT 利用：　 GRID を用いた連携シミュレーション

・　異なる研究機関で並行して複数のプログラムを開発・　各プログラムは連携して動作・　２ -3 年の短期間

原子モデル　（原研，北里大，奈良女，岡大） 4f

4d4p

4f4d4p

8 10 12 14 16 18

Sn15+HeSn14+HeSn13+HeSn12+HeSn11+HeSn10+HeSn9+HeSn8+HeSn7+HeSn6+He

8 10 12 14 16 18

Sn15+XeSn14+XeSn13+XeSn12+XeSn11+XeSn10+XeSn9+XeSn8+XeSn7+XeSn6+XeSn5+Xe

charge transfer spectroscopy (Tanuma)

wavelength (nm)

configuration interaction波動関数の重なり

0

100

200

Laser100μm

2D

(cm-3)

0 100 200 300 (μm)

プラズマダイナミックス（阪大，レーザー総研）

1018

1019

1020

1021

1022

1023

0

10

20

30

40

50

60

0 10 20 30 40 50Position (m)

イオン密度 ni

電子温度 Te

光学的に希薄な場合の放射能率（ emissivity)

吸収を考慮した実効放射能率

状態方程式（核科研，レーザー総研）

plasma

solid

liquidgas

liquid-vapor放射輸送（阪大，レーザー総研）

1.2

1.0

0.8

0.6

0.4

0.2

0.0

Tran

smis

sio

n

1918171615141312111098

Wavelength (nm)

Experiment (raw) Experiment (smooth) Simulation (Te = 20.9 eV) Simulation (Te = 31.0 eV) Simulation (Te = 40.3 eV)

opacity tin (Nishimura,Sasaki )

wavelength (nm)

GRIDシステム　１ 連携シミュレーション GRID の設計指針

・　各サイトの WEB ポータル上で実行・　並行して各サイトでプログラムを開発・　各サイトの計算資源を用いた連携シミュレーション実行・　ナビゲーション機能つきワークフローで実行・　データベース構築

APｾｯﾄｱｯﾌﾟAP名：AP1入力ﾌｧｲﾙ指定

出力ﾌｧｲﾙ指定

PSEｻ ｰﾊ ﾞーWEBブラウザ

ワークフロー定義DB

（イメージ）

ワークフロー一覧・AP1→ AP2→ Ap3→ AP4・AP2→ Ap3→ AP4・Ap3→ AP4・・・

ワークフロージョブ一覧順 AP名 入力File 出力File・・・1 AP1 FileA FileB2 AP2 FileB FileC3 AP3 FileC FileD・・・

②ﾜｰｸﾌﾛｰ選択指定

③各ｼ ｮ゙ﾌ （゙計算AP）の

入出力情報をｾｯﾄｱｯﾌﾟ

・・・

☆ﾜｰｸﾌﾛｰ候補を一覧表示

☆ﾜｰｸﾌﾛｰ内のｼ ｮ゙ﾌ を゙一覧表示

☆APの入出力ﾃﾞー ﾀをセットアップ

④ﾜｰｸﾌﾛｰ投入

ワー

クフ

ロー

エン

ジン

計算前

処理AP

計算後

処理AP

計算ノードA

計算処理AP1

①ﾜｰｸﾌﾛｰ候補表示

計算ノードB

計算処理AP2

・・・・・・・・・・

⑤

⑥

⑦

⑧

AP1起動

AP2起動

APｾｯﾄｱｯﾌﾟAP名：AP1入力ﾌｧｲﾙ指定

出力ﾌｧｲﾙ指定

PSEｻ ｰﾊ ﾞーWEBブラウザ

ワークフロー定義DB

（イメージ）

ワークフロー一覧・AP1→ AP2→ Ap3→ AP4・AP2→ Ap3→ AP4・Ap3→ AP4・・・

ワークフロージョブ一覧順 AP名 入力File 出力File・・・1 AP1 FileA FileB2 AP2 FileB FileC3 AP3 FileC FileD・・・

②ﾜｰｸﾌﾛｰ選択指定

③各ｼ ｮ゙ﾌ （゙計算AP）の

入出力情報をｾｯﾄｱｯﾌﾟ

・・・

☆ﾜｰｸﾌﾛｰ候補を一覧表示

☆ﾜｰｸﾌﾛｰ内のｼ ｮ゙ﾌ を゙一覧表示

☆APの入出力ﾃﾞー ﾀをセットアップ

④ﾜｰｸﾌﾛｰ投入

ワー

クフ

ロー

エン

ジン

計算前

処理AP

計算後

処理AP

計算ノードA

計算処理AP1

①ﾜｰｸﾌﾛｰ候補表示

計算ノードB

計算処理AP2

・・・・・・・・・・

⑤

⑥

⑦

⑧

AP1起動

AP2起動

Ｗｅｂ　Ｃｌｉｅｎｔ

ワークフロー実行イメージ

GRIDシステム　 2 ワークフローシステム機能の概要

・　一覧表示・詳細表示　（検索機能）・　オンライン編集　（新規，変更，削除）・　ナビゲーション機能・　実行監視・　データベース構築

前回の検索条件

検索条件にマッチした一覧を表示します．

ワークフロー作成・操作画面を表示します．

登録されている，シミュレーション結果のファイルの参照，更新を行います．

シミュレーション結果，入力ファイルのデータベースへのアップロード画面を呼び出します．

前回設定したワークフロー検索条件で絞りこまれたワークフロー一覧を表示 ナビゲーション

機能を用いたワークフロー作成

岡山大学

阪大・総研

原研

実行中

連携ジョブ終了待ち

入力ファイル転送中

岡山大学

阪大・総研

原研

実行中

連携ジョブ終了待ち

入力ファイル転送中

実行状況表示画面（６つのプログラムの連携シミュレーション）

日刊工業新聞（朝刊）平成 17 年 6月 3 日

GRID実証 ナビゲーション機能付きワークフローによって連携シミュレーションを実行

EUV放射特性を計算するプログラム

高温度・高密度プラズマの状態を計算するプログラム

詳細な原子構造を計算するプログラム

EUV放射光のスペクトルを計算するプログラム

岡山大(西川）

阪大・総研(古河）

阪大・総研(砂原）

阪大(西原・前原）

EUV放射特性を計算するプログラム

原研(佐々木）

レーザー生成EUV光源プラズマのダイナミックスを計算するプログラム

EUV放射特性を計算するプログラム

高温度・高密度プラズマの状態を計算するプログラム

詳細な原子構造を計算するプログラム

EUV放射光のスペクトルを計算するプログラム

岡山大(西川）

阪大・総研(古河）

阪大・総研(砂原）

阪大(西原・前原）

EUV放射特性を計算するプログラム

原研(佐々木）

レーザー生成EUV光源プラズマのダイナミックスを計算するプログラム

原子コード，状態方程式コード放射 - ハイドロコード

0 5 10 15 20Wavelength (nm)

EU

V i

nte

nsi

ty (

a.u

.)

8.8x1010 W/cm2

実験スペクトル

3.0x1011 W/cm2

9.0x1011 W/cm2

0 5 10 15 20Wavelength (nm)

シミュレーション結果

1x1011 W/cm2

2x1011 W/cm2

1x1012 W/cm2

0 5 10 15 20Wavelength (nm)

EU

V i

nte

nsi

ty (

a.u

.)

8.8x1010 W/cm2

実験スペクトル

3.0x1011 W/cm2

9.0x1011 W/cm2

0 5 10 15 20Wavelength (nm)

EU

V i

nte

nsi

ty (

a.u

.)

0 5 10 15 20Wavelength (nm)

0 5 10 15 20Wavelength (nm)

EU

V i

nte

nsi

ty (

a.u

.)

8.8x1010 W/cm2

実験スペクトル

3.0x1011 W/cm2

9.0x1011 W/cm2

0 5 10 15 20Wavelength (nm)

シミュレーション結果

1x1011 W/cm2

2x1011 W/cm2

1x1012 W/cm2

0 5 10 15 20Wavelength (nm)

シミュレーション結果

1x1011 W/cm2

2x1011 W/cm2

1x1012 W/cm2

シミュレーションによる実験 EUV スペクトルの再現（レーザー強度依存性）

1D Sim.2D Sim. with 1D cond.2D Sim.

1D Sim.2D Sim. with 1D cond.2D Sim.

1D Sim.2D Sim. with 1D cond.2D Sim.

2D シミュレーションによる実験電子密度プロファイルの再現

連携シミュレーションGRIDのパワー　 1 シミュレーションの検証：　実験結果の再現　

（ EUV スペクトル，電子密度プロファイル , 最適レーザー強度など）

0

1

2

3

4

1010 1011 1012

Co

nv

ers

ion

Eff

icie

ncy

[%

]

laser intensity [W/cm2]

theory

from high density

(世界最高値：実用化に必要な EUV 出力 (>850W)が可能であることを実証）

変換効率のレーザー強度依存性 Sn実験による検証

EUV 連携シミュレーション GRID のパワー：　　　シミュレーションにより最適化条件を解明

1.4

1.2

1.0

0.8

0.6

0.4

0.2

0.0

CE

exp

erim

ent

(%)

10102 3 4 5 6 7

10112 3 4 5 6 7

10122

Laser intensity (W/cm2)

2.5

2.0

1.5

1.0

0.5

0.0

CE

simu

lation

(%)

2 ~ 3 ns

8 ~ 10 ns

1.2 ns

10 ns

変換効率のレーザーパルス幅依存性

ion density [cm-3]

elec

tro

n t

emp

erat

ure

[eV

]

1017 1018 1019 102010

20

30

50

80Sn 2ns

ion density [cm-3]

elec

tro

n t

emp

erat

ure

[eV

]

1017 1018 1019 102010

20

30

50

80

ion density [cm-3]

elec

tro

n t

emp

erat

ure

[eV

]

1017 1018 1019 102010

20

30

50

80

1017 1018 1019 10201017 1018 1019 102010

20

30

50

80

10

20

30

50

80Sn 2ns

シミュレーションにより，レーザーからＥＵＶ光への変換効率の密度 , 温度依存性 を明らかにし，レーザーの最適条件などを示した　（実線：変換効率 (%), 　破線：レーザー強度 (W/cm2)

実用化に向けた多くの指針を提供　・　最適レーザー波長　・　最適レーザー強度･パルス幅　・　最適ターゲット物質経産省プロジェクトへのフィードバック

３年未満の短期間に指針を提供

連携シミュレーションGRIDのパワー　 2

GRID を用いた大規模分子動力学シミュレーション

フェムト秒レーザー加熱　液相 -気相混合状態の形成

フェムト秒レーザー加熱　弾性波，非弾性波，溶融などの形成

V. Temnov PhD Thesis (2004)n

ln p

ac

b

i0

i

t

T = 0

liquid-vapor

pc

pt

solid-vapour

solid

liquidgas

density

pre

ssu

re

n

ln p

ac

b

i0

i

t

T = 0

liquid-vapor

pc

pt

solid-vapour

solid

liquidgas

density

pre

ssu

re

n

ln p

ac

b

i0

i

t

T = 0

liquid-vapor

pc

pt

solid-vapour

solid

liquidgas

n

ln p

ac

b

i0

i

t

T = 0

liquid-vapor

pc

pt

solid-vapour

solid

liquidgas

liquid-vapor

pc

pt

solid-vapour

solid

liquidgas

density

pre

ssu

re

(Phase diagram of WDM)

背景GRID を用いた大規模シミュレーションの可能性

背景　・　 Super-SINET で接続されたスーパーコンピュータが使用可能になった　・　 NAREGI の使用が見込まれる　・　計算機資源の有効利用

問題点　　・　性能の異なる計算機が混在する　　・　他の不特定ユーザーと同時使用　　・　しかし，ジョブスケジューラが未発達

計算機の環境に応じて動的に分割領域を最適化するプログラムの開発MP-D3 (Material Particle - Dynamic Domain Decomposition)手法の開発

Material Particle D3 (Dynamical Domain Decomposition) Method

R k , W k

R j , W j

R l , W l

R i , W i

where R(i) is a center of i-th MP, rk are atom positions

,)()(

)()(

itiP

itiW

e

w

,)(

1 )(

1

iM

kkiM

(i) rR

)()( jWiW Good balance condition:

W(i) is a weighting factor within [0,1].

te - elapsed time (sys_clock),

tw - processor dependent time,

P(i) is a loading factor within [0,1]

)(

)(

)(

),()(

)(

1 i,j

i,jW(j)W(i)

iN

jiaLi

iN

j R

RR

The displacement of the i-MP center can be evaluated as following:

L(j)L(i)jiL ,min),(

where L(i,j) is a symmetrical function of i, j

here L(i) is a linear size of the i-MP

)()()(10 iii nn RRR

At next step (n+1) a new desired position

2D Voronoi decomposition of simulation domain

Zhakhovskii & Nishihara CCGRID (2005)

ダイナミック領域分割法のスケーラビリティ

number of particles 2,551,472 22,961,888

Ｇｒｉｄ大規模シミュレーションの実証

７２０台のプロセッサーを用いて実証(約３桁のスケーラビリティ）

10 1 10 2 10 32 3 5 2 3 5532

N um ber of C PU , N

10 1

10 2

10 3

2

3

5

2

3

5

5

3

2

Nor

mal

ize

d p

erfo

rman

ce,

p =

N0

N0)

/ N

) 80 C PU cluster, N 0= 2

720 C PU cluster, N 0= 19

linear function, p = N

Super-SINET 上のスーパーコンピュータ上で実現

• GT2.4 を用いて， Super-SINET で接続されたスーパーコンピュータ上でダイナミック領域分割法 (LPD3) の有効性を実証

・　 NAREGI 上でのテストを予定

Osaka U. SX5 8cpuTohoku U. Sx7 7cpu

animation of collision of 2 solids by MPD3 methodOn SX5(Osaka) – SX7(Tohoku) connected with Super/SINET

2004 年 11月　実ユーザー環境で実行

Ｇｒｉｄ大規模シミュレーションの実証

ダイナミック領域分割法 (MPD3) の有効性実証

0 1000 2000 3000

simulation step

0

5

10

15

20

25

30

35

time ,

sec

/ st

ep

CPU time

elapsed time

(1) (2)

waiting time

（１）占有使用時の実行時間　（右図２－３）

（２） SX5 上で他のユーザーが使用している

　　　時の実行時間の時間経過　　　（ LPD ３により， SX5 上の計算領域が

　　　小さくなり，実行時間が改善される：　　　 waiting 時間のほとんどは他のユーザ

ー　　　の計算時間実行である）

１． SX5( 阪大） , SX7(東北大）上での　　入力した領域分割２－３．占有使用時の領域分割４． SX5 上で他のユーザーが使用して　　いる時のダイナミック領域分割　　（ SX5 上の各領域の大きさは，　　　 SX7 に比べ小さい）

Ｇｒｉｄ大規模シミュレーションの実証

結論IT利用シミュレーション研究

･　レーザー EUV 光源開発のための連携シミュレーション GRID ポータルシステム 　　 - 　複数の研究機関で並行してプログラムを開発　　 - 　複数プログラムをネットワークを介して連携シミュレーションを行う　　　　 Grid システムを構築　　 - 　開発期間を飛躍的に短縮

　　　　　・　世界に先駆け，光源開発に不可欠なレーザーの最適条件を解明 ,

　　　　　　　実用化に弾みがつくものと期待される

・　 GRID を用いた大規模分子動力学シミュレーション 　　 - 　ダイナミック領域分割法MPD3 (Material Particle Dynamic Domain

　　　　 Decomposition) を開発　　 - 　不特定多数のユーザが同時に使用している遠隔地の複数のスーパー　　　　コンピュータを用いた大規模シミュレーションが可能 ,

　　　　非常に高いシステム利用効率を実現　　 - 　 Super SINET 上で有効性を実証　（ NAREGI 上でのテスト予定）

　　　　　　・　 MD 流体シミュレーションなどの大規模シミュレーションが可能，　　　　　　　　計算資源の有効利用

謝辞

EUV 連携シミュレーション GRID ポータル　日本原子力研究開発機構　　　平山俊雄，中島憲宏，山岸信寛　上島豊　 NEC システムテクノロジー　　　山下晃弘，中島登美子，池田和之

Super – SINET 上のスーパーコンピュータ GRID

東北大学・情報シナジーセンター　　　曽根秀昭，小林広明，伊藤英一 大阪大学・サイバーメディアセンター　　　秋山豊和，加藤精一，宮永勢次NEC

　　　妹尾義樹，田村正典，加藤隆士

レーザー実験データ処理システム

　島田京子，白神宏之，畦地宏

• データ mpg2, 4 でよいか