虚拟天文台 Virtual Observatory

94
National Virtual Observatory 虚虚虚虚虚 Virtual Virtual Observator Observator y y

description

虚拟天文台 Virtual Observatory. 什么是虚拟天文台 ? 它与数据库有什么区别 ? 它为什么称为天文台 ? 它与实在天文台有什么区别 ? 它在天文学的发展中有什么作用 ? 为什么现在才提出虚拟天文台 ? 它需耍什么样的支持条件 ? 它面临怎样的技术挑战 ?. The National Virtual Observatory. National - PowerPoint PPT Presentation

Transcript of 虚拟天文台 Virtual Observatory

Page 1: 虚拟天文台   Virtual Observatory

National Virtual Observatory

虚拟天文台 Virtual Virtual Observatory Observatory

Page 2: 虚拟天文台   Virtual Observatory

National Virtual Observatory

什么是虚拟天文台 ?

它与数据库有什么区别 ?

它为什么称为天文台 ?

它与实在天文台有什么区别 ?

它在天文学的发展中有什么作用 ?

为什么现在才提出虚拟天文台 ?

它需耍什么样的支持条件 ?

它面临怎样的技术挑战 ?

Page 3: 虚拟天文台   Virtual Observatory

National Virtual Observatory

The National Virtual Observatory

National• distributed in scope across institutions and agencies

• available to all astronomers and the public

Virtual• not tied to a single “brick-and-mortar” location

• supports astronomical “observations” and discoveries via remote access to digital representations of the sky

Observatory• general purpose

• access to large areas of the sky at multiple wavelengths

• supports a wide range of astronomical explorations

• enables discovery via new computational tools

Page 4: 虚拟天文台   Virtual Observatory

National Virtual Observatory

虚拟天文台建成前 :

利用大样本巡天 / 数据库

的例子

Page 5: 虚拟天文台   Virtual Observatory

National Virtual Observatory

High Redshift Quasars

Several z>5 QSOs discovered by SDSSin the early test data

Page 6: 虚拟天文台   Virtual Observatory

National Virtual Observatory

Methane/T Dwarf

Discovery of several newobjects by SDSS & 2MASS

SDSS T-dwarf (June 1999)

Page 7: 虚拟天文台   Virtual Observatory

National Virtual Observatory

DPOSS Discoveries

Page 8: 虚拟天文台   Virtual Observatory

National Virtual Observatory

New Neighbor of the Milky Way

Finding new galaxies by spatial clustering of red objects

New galaxy is about 30 million light years away

Larger than most of the spiral galaxies in the Messier Catalogue

Clearly visible in the 2MASS infrared image

Expect to find 1000’s of such galaxies with 2MASS

Infrared Optical

Page 9: 虚拟天文台   Virtual Observatory

National Virtual Observatory

用户需要做的事情 :

1. 提出科学思想 , 及对数据库的需要

2. 检索数据库 ( 用户到不同站点寻找 )

3. 下载所需的数据 (x TB ? 包括各种元数据 , 定标数据…… )

4. 对数据进行标准化处理 ( 需要软件平台 )

5. 数据的匹配 ( 如果使用二个以上数据库的资料 )

6. 发展各种软件工具 ( 可视化 , 统计工具… … )

Page 10: 虚拟天文台   Virtual Observatory

National Virtual Observatory

为虚拟天文台

设计的几个例子

Page 11: 虚拟天文台   Virtual Observatory

National Virtual Observatory

例# 1 :活动星系核( AGN )的 全波段研究

背 景

AGN 的高光度 : 使他们在很大的宇宙距离上可见 AGN 代表了星系演化的一个基本阶段 , 在观测上,由於 AGN 的光谱能量分布比一般黑体谱宽 很多 , 易于从恒星中分辨出来。 但是,红移,光变,(可能很大的)被遮挡,以及内 禀光谱形状与特征的不同 , 导致从 X 射线到射电波段的“ 颜色” 有很大的范围。

Page 12: 虚拟天文台   Virtual Observatory

National Virtual Observatory

科学目标

这个课题旨在建立一个完整的 AGN 的样本以便 :

◎ 检验观测到的特性是由外在因素 , 如 , 指向或遮挡所 决定的想法(所谓统一模型)。

◎ 比较 AGN 环境对 AGN 类型的影响,例如其射电特征 与星系团成员的关系。

◎ 了解 AGN 光度函数的演化,特别是区分数目演化和 光度演化。

◎ 在不同波段上建立 AGN 光度函数,由此来了解在统 计意义上 AGN 特性的演化过程。

Page 13: 虚拟天文台   Virtual Observatory

National Virtual Observatory

课题概要

1 联合几个( N )巡天 , 它们覆盖同一(足够大)天区,并跨 越很大的波长范围(从 X 射线到射电)2 包含元数据信息 , 以便考虑巡天选择效应及其局限性。相 关的元数据将包括巡天天区,波段范围,流量极限等等3 在合成后得到的 N维多色空间中认证可以辨认的天体“云”4 利用已有的天文数据(比如发表的星表,理论模型)以了 解这些“云”的成分。5 在联合数据中认证 AGN候选体。注意可能需要新的观测 来证实。这种证认可能是统计性的,给出某一天体是 AGN 的几率。6 利用星表的性质加上 / 或者从图像库的进一步的测量来提出 科学问题。

Page 14: 虚拟天文台   Virtual Observatory

National Virtual Observatory

对 NVO功能的需求

◎ 对相关巡天的联合,包括在不同波段巡天上天体的交 叉认证以及元数据的交换与融合。

◎ 用团分析区分“片”与“链”。包括导向分析(由天文知 识引导去确证与分析)与无导向分析(识别新模式)。

◎ 多维数据的可视化。

◎ 在多维参量空间对定义的天区进行天体成分的统计分 析与分类。

Page 15: 虚拟天文台   Virtual Observatory

National Virtual Observatory

例# 2 :大尺度结构的形成与演化 背 景

星系团代表了已知最大的明确的质量结团现象 ,

不同的早期宇宙演化模型预言了不同的星系团的

形成和演化。这些模型可以通过将预言与观测的

星系团的质量和光度函数进行比较加以验证

Page 16: 虚拟天文台   Virtual Observatory

National Virtual Observatory

科学目标

这个项目的目标是建立无偏的 , 在宇宙学意

义上有相当红移跨度的星系团样本,通过

与观测到的质量和光度函数随红移演化的比

较 , 来检验各种结构形成与演化的模型。另外,

这些样本也可以用来研究星系的形态——密

度关系及其在特定时间尺度上的演化。

Page 17: 虚拟天文台   Virtual Observatory

National Virtual Observatory

项目概述

1 通过以下不同方法 , 利用多波段象素数据生成统计星 系团样本: X 射线巡天: 从图像数据中的热气体发射认证星系团 光学 / 红外巡天: 把图像数据与设计好的核卷积挑选星系团 毫米波巡天: 由 Sunyaev-Zel‘dovich 效应引起的 CMB 温度变化来认证星系团 射电巡天: 根据标志星系团环境的射电源形态来认证 星系团

2 比较不同选择方法的结果。定量给出选择效应作为星系团质 量,密度,红移等的函数

3 运用多种距离指示器或者红移估计来补充星系团的观测特性

Page 18: 虚拟天文台   Virtual Observatory

National Virtual Observatory

对 NVO功能的需求

◎根据用户定义的算法和工具对大量图 像数据进行处理

◎ 模拟巡天以了解选择效应 ; 用模拟检 验用户定义的工具

◎根据不同的理论预测观测样本特性。 与观测样本作比较。

Page 19: 虚拟天文台   Virtual Observatory

National Virtual Observatory

例# 3 :数字银河系 背 景

银河系在结构上由多种成分组成:晕,薄盘,厚盘,核球,旋臂。每一部分由在年龄,质量,化学组分,轨道(位置与运动)等分布上相关的星族 , 以及如气体和尘埃等非恒星物质的分布来表征。它们是反映银河系形成过程的化石,从整体上说 , 对这些结构的全面理解从来没有实现过 , 因为要同时定出所有变量所需的样本之大,使得研究非常难于进行。

Page 20: 虚拟天文台   Virtual Observatory

National Virtual Observatory

科学目标

这个项目要建立一个非常大的银河系恒星样本 , 以及尽可能多的关于每一个天体物理特性的信息。这些资料加上银河系非恒星物质的分布图将用来:

◎产生银河系参数化的模型,包括位置和运动 信息

◎把这个模型同根据不同形成过程的银河系结 构模型进行比较

◎ 特别要寻找代表并合事件或潮汐碎片痕迹的 共动天体群

Page 21: 虚拟天文台   Virtual Observatory

National Virtual Observatory

项目概述

1 合并各种光学和红外巡天来产生出彼此匹配的星表

2 利用位置,星等和颜色来建立三维恒星分布。这需 要用颜色来得到光度型并估计消光

3 根据远红外 ,HI 和 CO图像 , 定量得出尘埃分布和遮挡

4 反复迭代项 2 直至自洽

5 用红外和射电图像来确定恒星形成区的整块流动和 位置信息

6 用自行巡天(如果有可能,加上视向速度信息) 推 导出恒星子集的运动

7 用多次历元的成像寻找变星。利用它们检验距离

Page 22: 虚拟天文台   Virtual Observatory

National Virtual Observatory

对 NVO功能需求

◎ 联合多波段和多次历元的星表

◎ 以用户自定义工具对大量图像数据进行处理

◎ 大量多维数据的可视化

◎ 成分分析及寻找相关天体群的统计工具

Page 23: 虚拟天文台   Virtual Observatory

National Virtual Observatory

Examples: non-local queries

Find all objects within 1' which have more than two neighbors with u-g, g-r, i-K colors within 0.05m

Find all star-like objects within dm=0.2 of the colors of a quasar at 5.5<z<6.5, using all colors in all available catalogs

Find galaxies that are blended with a star, output the deblended magnitudes

Provide a list of moving objects consistent with an asteroid, based on all the surveys, estimate possible orbit parameters

Find binary stars where at least one of them has the colors of a white dwarf, within the error boxes of hard x-ray sources

Page 24: 虚拟天文台   Virtual Observatory

National Virtual Observatory

时 代

Page 25: 虚拟天文台   Virtual Observatory

National Virtual Observatory

两百多年来,天文研究通常都是单个天文学家或者天文学家小组进行为数有限的天体的观测。

Page 26: 虚拟天文台   Virtual Observatory

National Virtual Observatory

过去天文学家常常花整个一生所获得的资料 , 仅仅够得出有统计意义的结论。加上威力大的设备的观测时间是非常有限,那些需要大量数据来解决的天体物理问题就不能进行研究

Page 27: 虚拟天文台   Virtual Observatory

National Virtual Observatory

现在情况正发生着巨大而迅速的改变 . 这一改变是由过去几十年中发生的前所未有的技术进展所推动的 . 这场天文学上革命性改变的主要领域集中在以下几个方面:望远镜的设计和制造,大尺度探测器阵列的开发,计算能力的指数增长以及通信网络不断增长的覆盖面积和容量

Page 28: 虚拟天文台   Virtual Observatory

National Virtual Observatory

如同 Moore 定律反映计算能力随时间指数增长,在过去 10年中观测天文技术的进步对天文发展也可以用 Moore 定律来描述。

Page 29: 虚拟天文台   Virtual Observatory

National Virtual Observatory

HST Data Archive

Several Terabytes/year Several Terabytes/year

Already more retrieval than ingest!Already more retrieval than ingest!

Page 30: 虚拟天文台   Virtual Observatory

National Virtual Observatory

Trends

Future dominated by detector improvements

Total area of 3m+ telescopes in the world in m2, total number of CCD pixels in Megapix, as a function of time. Growth over 25 years is a factor of 30 in glass, 3000 in pixels.

• Moore’s Law growth in CCD capabilities

• Gigapixel arrays on the horizon

• Improvements in computing and storage will track growth in data volume

• Investment in software is critical, and growing

Page 31: 虚拟天文台   Virtual Observatory

National Virtual Observatory

更多的地面和空间大口径天文设备的出现将会有一个严重且必然的结果:数据流极大地增加。比如目前 HST 每天大约产生 5Gb 的数据,而最近 AASC 巡天推荐建造的设备 --大 口 径 巡 天 望 远 镜 the Large-Aperture

Synoptic Survey Telescope -- 每天产生 10 TB 的数据 !

Page 32: 虚拟天文台   Virtual Observatory

National Virtual Observatory

除了数据增长速度,观测的方式也正在发生变化。尽管新的地面和空间天文台还继续分给单观测者 /单计划的观测模式的研究相当多的观测时间,这些时间被分成许多小时段安排给许多特定目标的研究课题 , 但更多的时间是用来进行大尺度的巡天,经常是多波段,涉及大量的合作者。

Page 33: 虚拟天文台   Virtual Observatory

National Virtual Observatory

The Observatories

NOAO/NRAO • 20% of the time on all its telescopes dedicated to major

surveys using a wide range of telescope and instrumentation packages

The NASA Great Observatories• new opportunities for surveys, • combine mission-specific data with those from other

missions and from the ground

several multi-Terabyte databasesand further extensive catalogs of objects

Page 34: 虚拟天文台   Virtual Observatory

National Virtual Observatory

这些大的巡天计划将会产生大量质量均匀 , 标准统一的数据,通常会以 T字节来衡量。这种天文研究的变化 , 不仅由於新设备威力的提高允许更快速地获得这些数据,还由於计算机的硬件和软件可以快速地进行数据采集、处理及存档。

Page 35: 虚拟天文台   Virtual Observatory

National Virtual Observatory

Ongoing Mega-Surveys

Large number of new surveys• Multi-terabyte in size, 100 million objects or larger

• Individual archives planned and under way

Multi-wavelength view of the sky• More than 13 wavelength coverage within 5 years

Impressive early discoveries• Finding exotic objects by unusual colors

L,T dwarfs, high redshift quasars

• Finding objects by time variability

gravitational micro-lensing

MACHO2MASSSDSSDPOSSGSC-IICOBE MAPNVSSFIRSTGALEXROSATOGLE, ...

MACHO2MASSSDSSDPOSSGSC-IICOBE MAPNVSSFIRSTGALEXROSATOGLE, ...

Page 36: 虚拟天文台   Virtual Observatory

National Virtual Observatory

Proposed Surveys

Next Decade: New optimized “survey systems”

exploring new parameter spaceexploring new parameter space

Dark Matter Telescope (DMT) • map the distribution of matter for z<1.5 from weak

lensing, through deep, high quality images of galaxies

• moving and variable objects through repetitive surveys

Spectroscopic Wide-Field Telescope (SWIFT)• evolution of galaxies from z~4 to the present

from star formation rates

• determine chemical abundances and kinematics

Page 37: 虚拟天文台   Virtual Observatory

National Virtual Observatory

将使天文学研究的特征发生变化的一个主要的技术进步是宽带的高速网络信息交换技术。虽然大量数据通过平常的网络进行交换还慢的不能接受 (传输 1 Tb 的数据要花 20 多天 ) ,未来的网络会快得多。这种数据传输速率加上地面和空间设备的高效率的数据采集,使得在不同地点间的大量数据交换成为可能。这个技术使广泛用户能够访问 , 使用其中某一部分的资料 , 在这之前是不容易做到的,由此所产生的可能的科学结果是巨大的。

Page 38: 虚拟天文台   Virtual Observatory

National Virtual Observatory

Why Now ?

The past decade has witnessed• a thousand-fold increase in computer speed

• a dramatic decrease in the cost of computing & storage

• a dramatic increase in access to broadly distributed data

• large archives at multiple sites and high speed networks

• significant increases in detector size and performance

These form the basis for science

of qualitatively different nature

Page 39: 虚拟天文台   Virtual Observatory

National Virtual Observatory

科 学

Page 40: 虚拟天文台   Virtual Observatory

National Virtual Observatory

这些新的巡天带来的科学发现的潜力是巨大的。对这些数据的联合使用 , 将涌现出全新的、无法预见的、 意义重大的科学产出 , 这是一种仅靠单独使用其中某一部分资料所不可能有的科学

Page 41: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台所具备的新的科学能力 , 是实现己有的或即将产生的 TB级至 PB级数据的全部科学价值的关键。对大规模星表的快速检索、统计相关关系的建立、数据中新的结构图案和时变的发现 , 以及与成熟的数值模拟的比对 , 都是通向新科学的途径 , 它们都可以通过国家虚拟天文台实现

Page 42: 虚拟天文台   Virtual Observatory

National Virtual Observatory

The Discovery Process

discover significant patterns

• from the analysis of statistically rich and unbiased image/catalog databases

understand complex astrophysical systems • via confrontation between data and

large numerical simulations

Past: observations of small, carefully selected samplesof objects in a narrow wavelength band

Future: high quality, homogeneous multi-wavelengthdata on millions of objects, allowing us to

The discovery process will rely heavily on advanced visualizationand statistical analysis tools

Page 43: 虚拟天文台   Virtual Observatory

National Virtual Observatory

NVO Science: Discoveries

Discoveries of rare objects:Searches for exotic new sources

truly rare at level of 1 source in 10 million

Multi-wavelength identification of large statistical samples of previously rare objects:

• brown dwarfs, high-z quasars, ultra-luminous IR galaxies, etc.

Efficient cross-identification of “unidentified sources” from new surveys

• Example: Use radio, optical, and IR surveys to identify serendipitous Chandra X-ray sources

Selection of targets for spectroscopic follow-up

Page 44: 虚拟天文台   Virtual Observatory

National Virtual Observatory

NVO Science: Statistical Surveys

Homogeneous samples of typical objects• Mega-surveys: sample size not a problem any more

• Statistical accuracy determined entirely by systematics

• Multi-wavelength data enables accurate sample selection(evolution, rest-frame selection)

High Precision Astrophysics of Origins• Large scale structure of the universe

• Galactic structure

• Galaxy evolution

• Active galaxies, galaxy clusters, ...

• Stellar populations

Leading to New AstronomyNew Astronomy

Page 45: 虚拟天文台   Virtual Observatory

National Virtual Observatory

New Astronomy – Different!

Systematic Data Explorationwill have a central role in the New Astronomy

Digital Archives of the Skywill be the main access to data

Data “Avalanche”the flood of Terabytes of data is already happening, whether we like it or not!

Transition to the newmay be organized or chaotic

Page 46: 虚拟天文台   Virtual Observatory

National Virtual Observatory

条 件

Page 47: 虚拟天文台   Virtual Observatory

National Virtual Observatory

Necessary Components

New archival methods

New analysis tools

New hardware requirements

Page 48: 虚拟天文台   Virtual Observatory

National Virtual Observatory

New Archival Methods

Structure and manage multi-TB (and soon PB) data archives, distributed across the continent

Rapid and transparent access to image/catalog databases across all wavelengths, via intelligent query agents

Efficient query and data retrieval by more than 10,000 scientists world-wide, with enhanced search operators (like spatial proximity)

Page 49: 虚拟天文台   Virtual Observatory

National Virtual Observatory

Geometric Indexing

“Divide and Conquer”“Divide and Conquer” PartitioningPartitioning

3 N M3 N M

HierarchicalTriangular

Mesh

HierarchicalTriangular

Mesh

Split as k-d treeStored as r-tree

of bounding boxes

Split as k-d treeStored as r-tree

of bounding boxes

Using regularindexing

techniques

Using regularindexing

techniques

Attributes Number

Sky Position 3Multiband Fluxes N = 5+Other M= 100+

Attributes Number

Sky Position 3Multiband Fluxes N = 5+Other M= 100+

Page 50: 虚拟天文台   Virtual Observatory

National Virtual Observatory

New Analysis Tools

Discover new patterns through advanced statistical methods and visualization techniques

Confront catalogs and image databases with numerical simulations of astrophysical systems

Collaborative exploration of multi-wavelength databases by multiple groups working at remote sites

Page 51: 虚拟天文台   Virtual Observatory

National Virtual Observatory

New Hardware Requirements

Large distributed database engines with Gbyte/s aggregate I/O speed

High speed (>10 Gbits/s) backbones cross-connecting the major archives

Scalable computing environment with hundreds of CPUs for statistical analysis and discovery

Page 52: 虚拟天文台   Virtual Observatory

National Virtual Observatory

NVO Development Functions

Software development– query generation/optimization, software agents, user

interfaces, discovery tools, visualization tools

Standards development– Meta-data, meta-services, streaming formats, object

relationships, object attributes,...

Infrastructure development– archival storage systems, query engines, compute servers,

high speed connections of main centers

Train the Next Generation– train scientists equally at home in astronomy and modern

computer science, statistics, visualization

Page 53: 虚拟天文台   Virtual Observatory

National Virtual Observatory

挑 战

Page 54: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台的实施涉及到许多重大的技术挑战。这包括现有的天文存档数据的协调以及新能力和数据结构的发展。国家虚拟天文台的主要技术构成 , 包括数据库、元数据标准、数据访问界面、查询和计算服务 , 以及数据开发应用。这些能力的提高将要求与信息技术界的密切合作

Page 55: 虚拟天文台   Virtual Observatory

National Virtual Observatory

Examples: Today’s I/O rates

Reading a 1 TB data set

data access speed time [days]

Fast database server 50 MB/s 0.23

Local SCSI/Fast Ethernet 10 MB/s 1.2

T1 0.5 MB/s 23

Typical ‘good’ www 20 KB/s 580

Brute force is not enough – we need clever techniques

Page 56: 虚拟天文台   Virtual Observatory

National Virtual Observatory

The Road to the NVO

The environment to exploit these huge sky surveys does not exist today!

• 1 Terabyte at 10 Mbyte/s takes 1 day• Expect 100’s of intensive queries and

1000’s of casual queries per-day• Data will reside at multiple locations• Existing analysis tools do not scale to Terabyte data sets

Acute need in a few years,

it will not just happen

a New Initiative is needed!a New Initiative is needed!

Page 57: 虚拟天文台   Virtual Observatory

National Virtual Observatory

NVO: The Challenges

Size of the archived data• 40,000 square degrees is 2 trillion pixels• One band: 4 Terabytes• Multi-wavelength: 10-100 Terabytes• Time dimension: few Petabytes

The development of• new archival methods• new analysis tools

Hardware requirements

Training the next generation

Page 58: 虚拟天文台   Virtual Observatory

National Virtual Observatory

需 求

Page 59: 虚拟天文台   Virtual Observatory

National Virtual Observatory

对这样包含数亿个源的多波段数据库 , 天文学界显然要求访问 , 使用这些数据库 , 和分析这些数据的工具 . 数据库的开发、先进的图案识别、大尺度统计交叉相关、稀有天体以及时变的发现等机会 , 都是很显然的 .

Page 60: 虚拟天文台   Virtual Observatory

National Virtual Observatory

在天文学历史上第一次可以将成熟的数值模拟和统计上完备的多变量的数据进行有意义的比较 . 高速和广泛分布的网络的迅速进步意味着全球的天文界都可以分享这些科学努力的成果 .

Page 61: 虚拟天文台   Virtual Observatory

National Virtual Observatory

过去几年这些技术进步会合在一起,它将完全地改变现行的大部分观测天文学的工作方式。这些变化是不可避免和不可逆转的,他们对天文社会学本身将产生巨大的影响。大家都越来越意识到 , 在美国和美国以外所有地方对科学数据的获得、组织、分析以及传播对科学和技术的持续发展都是基本的要素。所有这些都表明 , 建立一种机构去有效地综合这些技术能力势在必行。因此就需要一个象国家虚拟天文台这样的实体来指导日益增多的天文数据的合理部署。

Page 62: 虚拟天文台   Virtual Observatory

National Virtual Observatory

基于太字节的数据文档关联、波长遍及从伽玛射线波段到射电波段的成百万个天体的图像库、高度复杂数据的开发和分析工具、可访问带有千太字节存储容量的每秒运算次数达到万亿次的超级计算设备 , 以及在各主要天文中心间的极高速的互联,国家虚拟天文台将是独一无二的。

Page 63: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台使成千上万的研究者可以快速地访问各自的太字节大小的文档;使埋藏在巨大星表和图像数据库中的多种图样可视化;增加复杂分布结构和稀有现象的发现机会;鼓舞多个研究小组间的实时合作;允许进行大型的统计学研究,这些研究第一次将数据库的内容和复杂精密的数字模拟结果进行对比。

Page 64: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台会为我们理解许多决定宇宙演化的天体物理学过程提供便利。它会用更合算的投资建立新的、更好的科学。

Page 65: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台将作为一个协调性的和操作性的机构促进设备上的、协议上的和必要合作上的开发,去实现在未来几十年内天文学数据库上完全的科学潜能 ;

Page 66: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台

将成为 “天文学发现”

的一部发动机

Page 67: 虚拟天文台   Virtual Observatory

National Virtual Observatory

NVO: A New Initiative

A new initiative is needed • to ensure an evolutionary, cost-effective transition

• to maximize the impact of large current and future efforts

• to create the necessary new standards in the community

• to develop the software tools needed

• to ensure that the astronomical community has the proper network and hardware infrastructure to carry out its science

The National Virtual Observatory• can be the catalyst of the “New Astronomy”

Page 68: 虚拟天文台   Virtual Observatory

National Virtual Observatory

结 构

Page 69: 虚拟天文台   Virtual Observatory

National Virtual Observatory

What is the NVO? - Content

Source Catalogs,Image Data

Query Tools

Specialized Data:Spectroscopy, Time Series,

Polarization Information Archives:Derived & legacy data: NED,Simbad,ADS, etc

Analysis/Discovery Tools:Visualization, Statistics

Standards

Page 70: 虚拟天文台   Virtual Observatory

National Virtual Observatory

What is the NVO? - Components

Information Providerse.g. ADS, NED, ...

Data ProvidersSurveys, observatories,

archives, SW repositories

Service ProvidersQuery engines,

Compute engines

Page 71: 虚拟天文台   Virtual Observatory

National Virtual Observatory

Conceptual Architecture

Data ArchivesData Archives

Analysis toolsAnalysis tools

Discovery toolsDiscovery toolsUser

Gateway

Page 72: 虚拟天文台   Virtual Observatory

National Virtual Observatory

NVO Layers

Basic analysis tools• Query capabilities• Statistical tools• Ability to run user code (API)• Browsing tools

Three layers built on top of another, tied together with standards

Archives•Data content•Interconnections•Cross identifications•Services

Discovery tools• Visualization• Advanced classification methods• Supervised/unsupervised learning• Data mining

Standards•Meta-data•Interfaces between archives•Cross-identification standards•Archive-tool interfaces

Page 73: 虚拟天文台   Virtual Observatory

National Virtual Observatory

职 能

Page 74: 虚拟天文台   Virtual Observatory

National Virtual Observatory

建立数据管道、存档和下载的公共系统,保证大量用户进行 经济而高速的访问;

Page 75: 虚拟天文台   Virtual Observatory

National Virtual Observatory

实现查询、关联、可视化和统计对比的常用软件工具的分布式开发 ;

Page 76: 虚拟天文台   Virtual Observatory

National Virtual Observatory

协调建立高速的数据传输网络,为文档、每秒万亿次的超级计算设备和分布广泛的用户提供连接;

Page 77: 虚拟天文台   Virtual Observatory

National Virtual Observatory

推动国内和国际的天文中心、主要学术机构间多产的合作,高科学产出 , 低基础设施的费用;

Page 78: 虚拟天文台   Virtual Observatory

National Virtual Observatory

确保和其它学科的、面临类似课题的科学家以及私人机构间的交流和可能的合作

Page 79: 虚拟天文台   Virtual Observatory

National Virtual Observatory

持续支持大众领域和教育领域的计划,利用独一无二的的资源 ,包括国家虚拟天文台的数据和软件,提供给这两个领域一个进入天文学和科学方法论的独一无二的窗口

Page 80: 虚拟天文台   Virtual Observatory

National Virtual Observatory

The Mission of the NVO

The National Virtual Observatory should provide seamless integration of the digitally represented

multi-wavelength sky enable efficient simultaneous access to multi-Terabyte to

Petabyte databases develop and maintain tools to find patterns and discoveries

contained within the large databases develop and maintain tools to confront data with

sophisticated numerical simulations

Page 81: 虚拟天文台   Virtual Observatory

National Virtual Observatory

The Flavor/Role of the NVO

Highly Distributed and Decentralized

Multiple Phases, built on top of another• Establish standards, meta-data formats• Integrate main catalogs• Develop initial querying tools• Develop collaboration requirements,

establish procedure to import new catalogs• Develop distributed analysis environment• Develop advanced visualization tools• Develop advanced querying tools

Page 82: 虚拟天文台   Virtual Observatory

National Virtual Observatory

The Goals of the NVO

Virtual observations of the sky in multiple wavelengths, by integrating all-sky Mega-surveys

Query the individual object catalogs and image databases thousands of times per day

Joint queries of the combined catalogs thousands of times per day

Enable discovery in these archives via new tools novel visualization techniques,

supervised, unsupervised learning, advanced classification techniques

Page 83: 虚拟天文台   Virtual Observatory

National Virtual Observatory

设 计

Page 84: 虚拟天文台   Virtual Observatory

National Virtual Observatory

设计理念 国家虚拟天文台必须是

进化的

分布式的

集成的

提供非专业领域的服务

适应全球需要

提供一条通向未来的道路

Page 85: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台必须是进化的。自创建开始,进化的特性就将使其能快速回应不断变化的技术上和科学上的机遇以及天文界的需求。由于技术能力的不断提高,这种进化的特性将成为国家虚拟天文台自始至终不可或缺的组成部分。这种灵活应对的策略是管理国家虚拟天文台分布式开发成果的和迅速开拓新机遇的管理结构所需要的。管理和监督必须是有效的、经济的、有远见的和对天文界负责的,而且,必须将日常开支和官僚机构的惰性减少到最低程度。

Page 86: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台本质上必须是分布式的。相当多的专家在已有的各个中心工作,国家虚拟天文台的完全优势将从这一点出发。进一步说,迈向国家虚拟天文台这一目标最为经济有效的进展也许应该通过在其运作阶段采取分布式的方案实现。这一方案需要那些已经存在的中心和未来的数据中心。国家虚拟天文台职能的关键部分将在这些中心里最为有效的完成。

Page 87: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台必须是集成的。集成将会是作为分布式结构的补充而伴随国家虚拟天文台一直存在的主题。为了使其能极为有效的为科学进步提供便利,在全波段上、在天基的和地基的设备上,信息技术功能必须是集成的。另外,计算机科学和信息技术的集成开发将成为国家虚拟天文台的基本要素之一。

Page 88: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台必须提供非专业领域的服务。通过国家虚拟天文台可以得到巨大的数据集和附带的分析工具,这些将提供给教育领域和公共领域一个前所未有的服务机会。一个充满活力的非专业领域的服务计划会发掘出国家虚拟天文台教育潜力的全部优势,这个计划将贯彻国家虚拟天文台发展的各个阶段。

Page 89: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台必须适应全球需要。国家虚拟天文台与其它国家类似方面努力的国际联结将成为其持续的一个方面。虽然国家虚拟天文台在最初不会是一个国际性合作机构,但是很明显的是它必须与其它的研究工作维持交流、并在适当的时候进行各种层次的合作。看起来是不可避免的,国家虚拟天文台发起的研究工作将成为世界性的活动。

Page 90: 虚拟天文台   Virtual Observatory

National Virtual Observatory

国家虚拟天文台必须提供一条通向未来的道路。这里大致描述一下国家虚拟天文台的远景:它将是一个起催化和实现功能的机构,拥有最小的结构和庞大的连接。这种机构的直接产物将使天文学的科学产出提升到一个新的层次上。当然,国家虚拟天文台更大的和可能是更长久的遗产将是它在建立一个美国的和世界的天文学信息基础设施中所起的作用。为国家虚拟天文台所力促的基础设施的增长,将提供给未来的天文学研究空前的新生命力和机遇。

Page 91: 虚拟天文台   Virtual Observatory

National Virtual Observatory

实 施

Page 92: 虚拟天文台   Virtual Observatory

National Virtual Observatory

计划实施

第 0 阶段:前期准备到 NVO起动 目标:国家虚拟天文台的概念性设计;在一些中心开始提 供实施 NVO 所必需的功能

第一阶段: 1—18 个月 目标:建立利用集成的数据进行发现、数据传送和数据相 互比较的服务功能

第二阶段: 18—36 个月 目标:建立初始的大范围交叉相关的功能;开始全面运作

第三阶段: 36—60 个月 目标:建设全面运转的标准化的 NVO;实现全规模的 , 由 计算和网络恰当组合的系统来支持的交叉相关

Page 93: 虚拟天文台   Virtual Observatory

National Virtual Observatory

经 费

Page 94: 虚拟天文台   Virtual Observatory

National Virtual Observatory

NVO Funding

The NVO is ideal for multi-agency and IT funding• relevant for all areas of astronomy and space science

• excellent match to goals of the IT2 initiative

• but: core funding must come from NASA and NSF

• needs serious involvement of computer scientists

Scope• approximately $25M for the first 5 years,

could be larger in the second half

Requires long term commitment• development/deployment (5 + 5 years)

Needs to start soon• data avalanche has already begun

An effort for the whole astronomy An effort for the whole astronomy - astrophysics community! - astrophysics community!