多核并行计算和 CVN 数据库系统

27
2009 年年年年年年年年年年年年 年年 1 Shanghai Astronomical Shanghai Astronomical Observatory Observatory 多多多多多多多 CVN 多多多多多多多 多多多多多

description

多核并行计算和 CVN 数据库系统. 王伟华. 上海天文台. 目录. 多核并行计算 CVN 数据库系统 讨论和总结. 1. 1 并行计算的需求:多天线. 1. 1 并行计算的需求:多波束. 1. 1 并行计算的需求. 多天线或多基线 多波束 多个 scan 多波段或多个通道( BBC ). …. LD 2. LD n. LD 1. …. LM 1. LM n. LM 2. …. P/C 1. P/C n. P/C 2. 通用互连网络. 1. 2 .1 多计算机. - PowerPoint PPT Presentation

Transcript of 多核并行计算和 CVN 数据库系统

Page 1: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 1

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

多核并行计算和 CVN 数据库系统

王伟华

上海天文台

Page 2: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 2

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

目录

一. 多核并行计算

二. CVN 数据库系统

三. 讨论和总结

Page 3: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 3

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

1. 1 并行计算的需求:多天线

Page 4: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 4

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

1. 1 并行计算的需求:多波束

Page 5: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 5

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

1. 1 并行计算的需求 多天线或多基线 多波束 多个 scan 多波段或多个通道( BBC )

Page 6: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 6

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

LM1 LM2 LMn

P/C1 P/C2 P/Cn

通用互连网络

LD1 LD2 LDn…

P/C: Processor/Cache LM: Local Memory LD: Local Disk

1. 2 .1 多计算机

Page 7: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 7

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

1. 2 .2 多核计算机

Page 8: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 8

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

for (iscan=0; iscan<nscan; iscan++){ for (iSta=0; iSta<nSta; iSta++)

{ for (iBeam=0; iBeam<nBeam; iBeam++); { for (iChan=0; iChan<nChan; iChan++); { 数据处理; } } }}

Page 9: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 9

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

#include <omp> int i, A[MAX];

#pragma omp parallel for for (i=0; i<MAX; i++); { int j = 5+2*I; A[i] = big(j); }

Gcc –fopenmp src.c –o program

Page 10: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 10

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

1.3 单天线软件谱线接收机系统

Single-dish Software Spectrameter System , S4

上海天文台年刊 2008 年 王伟华

Page 11: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 11

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

1.3.1 功率谱计算流程图

Page 12: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 12

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

1.3.2 校准流程图

Page 13: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 13

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

1.3.3 试观测结果

Page 14: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 14

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

1. 4 我的并行计算的设计原则 多个 scan :

使用命令行 -- bscan -- escan 在台站、 beam , bbc 循环中使用 O

penMP ; 命令行输入;图形显示 后处理;

Page 15: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 15

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

2460

2158

3249 111

42476

1920

2.1 CVN 简介

Page 16: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 16

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

2.1.1 VLBI stations

The FS system;

Mark5A, Mark5B ;

SKD,VEX; Mark5,Lo

g, RXG

Page 17: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 17

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

2.1.2 相关处理机

上海软件相关处理机(探月) ; DiFX ; EVN 和 VLBA 相关处理机 一个独立的 VLBI 阵必须有一个

独立的相关处理机

Page 18: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 18

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

2.1.3 MakeFITS

Page 19: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 19

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

2.2.1 天文观测结果 1

脉冲星 B0329+54 和河外射电源 J0347 + 5777 相位参考观测;精度好于 30 微角秒,达到了国际射电天体测量精度水平 Guo submitted

Page 20: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 20

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

2.2.2 天文观测结果 2

脉泽天体 W3OH 的 VLBI 射电图像

Page 21: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 21

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

2.2 The CVN VLBI Database System

基于 Linux + Apache + PHP + mySQL 技术的网页自动化管理平台

上海天文台和清华大学周建峰组合作开发(陆态网络 VLBI 分系统支持)

CVN 观测纲要管理,观测数据管理等

Page 22: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 22

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

2.2.1 流程

1. 信息发布( Call for Proposal );观测计划申请;

2. 观测计划评审,时间分配管理;3. 观测纲要文件提交 ;4. 台站观测,提交观测过程、硬盘记录;5. 相关处理,提交相关处理结果;6. 查询和下载

Page 23: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 23

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

2.2.2 模块划分

User - group 管理; 观测计划申请、评审; 提交模块; 数据查询和下载

Page 24: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 24

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

2.2.3 进展

Page 25: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 25

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

3. 1 讨论:天文学家的需求 信息分类和搜索 ; 数据下载; 数据处理和分析; 功能模块化; 界面交互、可编程;结果可视化 命令行界面和图形可视!!

Page 26: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 26

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

总结

一.多计算机和多核( MPI + OpenMP )并行计算大有前途 ;

二.VLBI 数据管理的发展( CVN VLBI DataBase System )

三.走进虚拟天文台

Page 27: 多核并行计算和 CVN 数据库系统

2009 年中国虚拟天文台学术年会 重庆 27

Shanghai Astronomical Shanghai Astronomical ObservatoryObservatory

Thank you!