第第 1010 章 数据库机群章 数据库机群

10.1 10.1 计算机机群概述计算机机群概述

10.1.1 可扩展的并行计算体系结构

机群是一群以计算机网络技术互连起来的高性能计算机或 PC机的集合。机群在工作中像一个统一的整合资源，所有节点（连接在机群上的单个计算机）使用单一界面。

在支持并行计算方面，计算机机群和MPP机相比具备如下特点：

1. 单个计算机越来越强大。2. 随着新的网络技术和通信协议在 LAN上的广泛使用，连接机群的高性能计算机间的网络带宽正在增加，延迟正在减小。因而通信瓶颈问题逐步得到改善。

3. 高性能微型计算机机群比专用的并行计算机更容易地与现有的网络整合起来。

4. 一般说来，用户对个人微型计算机的使用率是较低的，可以挖掘节点的空闲资源进行并行计算，这是一种获取高性能计算资源的可行手段。

5. 微型计算机的开发工具比并行计算机的专用解决方面要成熟得多，可以得到广泛的开发环境和技术的支持，更便于构建并行计算环境。

6. 微型计算机机群比高性能专用计算机平台更便宜而且更易于获得。

7. 机群更容易地扩展；通过增加内存和处理器，增加节点的性能。另一方面，节点的数量可以很容易地增加。

10.1.2 10.1.2 计算机机群及其体系结计算机机群及其体系结构构

本机系统软件

本机通信系统

本机应用环境

高速网络通信系统

本机系统软件

本机通信系统

本机应用系统

本机系统软件

本机通信系统

本机应用系统

本机系统软件

本机通信系统

本机应用系统

机群中间件（单一映像系统）

串行应用 并行编程环境

并行应用

1. 计算节点部件 （ 1 ）多个高性能计算机 (PC、工作站或 SMP)。 （ 2 ）网络接口卡 (NIC)。 （ 3 ）支持机群计算的操作系统 ( 分层或基于微内核 ) 。

2. 网络部件 （ 1 ）高性能网络／开关 ( 如干兆位以太网或 ATM)。 （ 2 ）快速通信协议和服务 ( 如活动消息和快速消息 ) 。

3. 机群中间件 （ 1 ）操作系统内核或粘合层 (如 Solaris MC 和 GLUnix)： （ 2 ）应用程序和子系统，包括应用程序 ( 如系统管理工具和电子表格 ) 、实时系统 ( 如软件 DSM和并行文件系统 ) 、资源管理和调度软件 (如 LSF(负载分配器 )和 CODINE(分布网络环境中的计算 ) 。

4. 开发环境 （ 1 ）并行编程环境和工具 ( 如编译器、 PVM(并行虚拟机 )和

MPI(消息传递接口 ))。 （ 2 ）并行程序设计技术 , 包括并行程序设计理论和并行程序设计、开发、调试技术。

10.1.3 10.1.3 计算机机群中间件计算机机群中间件

1. 中间件功能机群中间件是整个机群的核心，其主要功能如下：

（ 1 ）用来动态收集机群内的计算节点的资源信息，包括计算资源、内存资源、磁盘资源、网络通信单元、数据分布资源以及节点所具备的服务资源信息。

（ 2 ）构建全局资源目录，根据其收集的各个计算节点的各类资源信息，进行分类、整理、构建资源目录，并负责动态更新。

（ 3 ）合理地进行资源调度，按照系统策略和应用策略，负责整个机群资源在计算任务间的分配，以便整个机群系统资源应用率的最大化。

（ 4 ）机群运行状态的监控，监测机群每个计算节点的运行状态，包括硬件状态、软件状态、数据状态、应用服务状态，并根据机群的策略来动态调整系统运行。

（ 5 ）机群中间件最主要的功能是提供单一系统映像。

2. 单一系统映像单一映像系统在在机群运行中具有重要作用，并带来许多优点：

（ 1 ）它为整个系统资源和运行情况提供一个统一的、简单的、直观的视图，根据这个视图可以获得所有计算节点资源和网络资源的状态，便于整体调度。

（ 2 ）提供透明性支持，使最终用户无须知道应用程序在什么物理位置上运行。屏蔽了物理位置细节，操作者不必再了解资源的物理位置。

（ 3 ）使用户使用过去熟悉的接口和命令（如WINDOWS 命令），并使管理员可以在一点上管理整个机群。

（ 4 ）提供完整性保护进而减少了操作者失误的机会，使最终用户享受到更好的系统可靠性和高可用性。

（ 5 ）灵活的管理机制，它使系统可以集中或分散管理和控制。简化了系统管理，用统一的命令就可以操作在不同机器上的不同系统的资源。

（ 6 ）屏蔽程序运行细节，它使一个应用程序的多个共同工作的部分看来好像一个应用程序。

（ 7 ） SSI 提供对现实中发生的消息路由的动态映射以及使用逻辑通信地址，提供了不依赖位置的消息通信，提高了程序的可移植性。

根据 SSI支持的功能和优点来看， SSI 必须支持如下服务：

（ 1 ）单入口点（ 2 ）单一文件层次（ 3 ）单点管理和控制（ 4 ）单一虚拟网络（ 5 ）单一内存空间（ 6 ）单一作业管理系统（ 7 ）单一用户接口

10.1.4 10.1.4 计算机机群的种类及用计算机机群的种类及用处处1. 支持科学计算的高性能计算用处2. 支持海量信息存储和管理的广义机群技术3. 支持 INTERNET服务的大规模机群系统4. 支持高可靠性的服务冗余机群系统 5. 面向数据库应用的计算机机群

10.1.5 10.1.5 计算机机群构建与管计算机机群构建与管理理

PCS … PCSPCSPCS PCS … PCSPCS

前端机

交换机 PCS PC服务器

骨干网

1. 互联网络2. 前端机其主要功能如下：（ 1 ）用来区分用户是从网络的哪个节点登陆的。

（ 2 ）从该节点提交任务到机群的其他部分的节点上。

（ 3 ）提供简单的单一视图，使用户将机群看成一个单一系统。

（ 4 ）在分布式的 NFS服务中，前端机为其它节点提供 NFS服务 ，同时连接内部和外部网络，还可能安装外部的 NFS 卷。

(5) 用户可以在与计算节点完全一样的环境下—编译调试他们的应用。

3. 计算节点（服务器）影响计算节点性能的主要因素有：（ 1 ） CPU 结构和频率（ 2 ）内存类型和总线带宽（ 3 ）磁盘的选用（ 4 ）网络适配器（网卡）

4. 机群操作系统现代操作系统为用户提供两个基本功能。第一，使计算机硬件更容易使用。第二，操作系统可让用户共享硬件资源。除了以上提到的优点之外，新概念的操作系统应该支持在一个程序内部对多线程进行控制，这个概念给并行处理提供了进程内部的并行化机制。

10.2 10.2 机群数据库机群数据库

10.2.1 10.2.1 机群数据库的应用背景机群数据库的应用背景

1. 海量数据存储系统和数据挖掘 2. 高可靠性 3. 高可扩展性 4. 高性能价格比 5. 高可管理性6. 低管理成本

10.2.2 10.2.2 网络数据库工作模式网络数据库工作模式交换机

INTERN ET应用逻辑服务器

数据库服务器

数据库外部世界（用户

群）

改善数据库系统的性能有如下几个方法：

1. 提高单机处理性能

2. 构建机群系统

由此可见，改善数据库系统性能的最佳途径就是构建基于机群机制的数据库服务器系统和构建大容量、高速度的海量数据存储装置。

10.2.3 10.2.3 机群数据库架构机群数据库架构

INTERNET应用逻辑服务器机群

数据库服务器机群

共享数据库

外部世界（用户群）

交换机

机群控制网络

共享磁盘结构（ Shared-Disk）

INTERNET应用逻辑服务器机群

数据库服务器机群

独立数据库

外部世界（用户群）

交换机

机群控制网络

无共享结构（ Shared-Nothing）

共享磁盘结构的特点是：（ 1 ）所有机群节点共享保存在共享存储设备上的同一份数据，每个数据可以被机群上任意节点获取；（ 2 ）数据库运行时，同一数据可能在多个机群节点上存在多个副本，需要一致性维护；

（ 3 ）只要一个机群节点在线，就可以访问所有数据；（ 4 ）由于共享存储装置和网络带宽的限制，服务器机群的扩展能力较弱；

（ 5 ）这种结构具备良好的高可用性 ,常用于 24X7的核心业务系统。

无共享结构的特点是：（ 1 ）数据按照某种方法分割，每个机群节点保存一部分，通过分散数据的方法达到分散负载；

（ 2 ）数据分布在所有节点上，数据和机群节点密切相关，被访问的数据所对应的节点必须正常运行；

（ 3 ）每个机群节点都有独立的存储通道、数据相对独立、具有较好的扩展性；

（ 4 ）分散负载明确，更适用于大规模数据存储，如 VLDB。

10.2.4 10.2.4 数据库机群节点数据库机群节点

根据不同的基准测试的不同应用领域，结合数据库系统的特点， TPC-C比较适用于数据库服务器性能测算。具体算法是：

TPC=1

0'

060

M

MMM

M：每秒钟的查询访问量，M 值的确认通常是根据关于Web服务器的计算得知的，而且是在高峰时间的查询访问量得来。：一个查询带动的 SQL量，根据经验值一般可以假设为 4 － 8 。：一个 SQL相对于 TPC 事务的标准比，这个比值是一个综合要素，根据应用程序的优化效果，根据具体业务查询的难、易程度，通常由实际应用的客户方提供具体数值。： CPU 占用率的建议值，一般状况下为 70 ％

'0M

0M

1M

10.2.510.2.5 机群数据库中间件技机群数据库中间件技术术1. 机群全局信息目录管理2. 机群监视3. 分裂与重组4. 数据分布方法

10.3 ORACLE10.3 ORACLE 机群数据库简机群数据库简介介

10.3.1 RAC10.3.1 RAC 的应用构架的应用构架

（ 2）高速交换机和互联

（ 1）集中管理控制台

（ 3）机群的数据库服务器

（ 5）镜像磁盘

子系统

（ 4）存储网络

交换机结构

网络

存储区域网

低延迟互联

用户

无单点故障

共享缓存共享缓存

10.3.2 RAC10.3.2 RAC 的软硬件环境 的软硬件环境 1. 硬件环境

Failover

Failover

A3

A4

A1 A2

B31

B4

B11 B2

A5 A6B5 B6

外部网络交换机

内部网络交换机

SAN网络交换机

2. 软件环境（ 1 ）操作系统 可以选用 Linux 或 WINDOWS机群系列，如

Redhat Enterprise 4。（ 2 ）机群中间件（ 3 ）机群文件系统（ 4 ）数据库软件

10.3.3 RAC10.3.3 RAC 的逻辑架构的逻辑架构

Data Files

PGA SGA

Shared PoolDatabase Buffer Cache

Redo LogBuffer

Large Pool

Stream Pool

JAVAPool

Session informatio

n

Stack Space

Sort area

Hash area

PMON

SMON

DBWR

LGWR

CKPT

ARCn

Redo Log Files Control Files

Parameter Files

Password Files

Alerter Files

Oracle 单实例结构

Data Files and Control Files

LMON

LMSn

LMD

LCK

GSD

LGWR

Redo Log Files

……..

PGA SGA

Global Resource Directory…..

Instance RAC2

……..

PGA SGA

Global Resource Directory…..

Instance RAC1 LMON

LMSn

LMD

LCK

GSD

Redo Log Files

DBWR DBWR LGWR

CKPT CKPT

Oracle RAC实例结构

10.3.2 RAC 的软硬件环境

1. 磁盘文件（ 1 ） OCR（ 2 ） OCR Process。2.Voting Disk3. CIusterware 后台进程（ 1 ） OCSSD（ 2 ） CRSD（ 3 ） EVMD

（ 4 ） RACGIMON（ 5 ） OPROCD

10.3.5 10.3.5 机群文件系统机群文件系统

Applications

Oracle DB

文件系统

LVM管理卷

ASM

操作系统（ OS）

ASM有如下的优点：（ 1 ） ASM 提供透明的存储空间管理机制，可以在运行中动态增减磁盘，并且自动重新分配存储空间。

（ 2 ） ASM可以实施自动负载平衡、动态负载平衡，所有 IO 被按照一定的策略自动分布在所有可用的磁盘上，无需人工干预，从而减少了热点区域出现的可能性。

(3) 充分利用物理设备（ RAW设备）的性能，文件系统不进行缓冲，直接进行 IO，实现异步 IO 无需特殊的设置，并且无需使用 OS的原始文件系统或第三方的文件系统。

（ 4 ）具有容错功能，可以实现软镜像。（ 5 ）不仅仅支持单 instance的数据库。 ASM本

身就可以实现 RAC 结构，为 RAC环境的节点提供数据访问接口。

10.3.6 Oracle RAC10.3.6 Oracle RAC 工作工作结构结构

公用网络

共享存储

日志所有实例

数据库和控制文件

OCR 和 voting 磁盘

(oracle_home)

私有网络

节点 1

操作系统

Custerware CRS

数据库实例 1

ASM 实例 1私有网络

节点 2

操作系统

Custerware CRS

数据库实例 2

ASM 实例 2

节点 3

操作系统

Custerware CRS

数据库实例 3

ASM 实例 3

10.410.4 应用实例应用实例

机群数据库应用案例 1 （曙光计算机公司）

某社保工程项目数据库应用系统的解决方案（曙光计算机公司）

习题习题什么是计算机机群？机群和MPP相比有哪些优点？

什么是机群软件监测器？简述 Oracle RAC的机群监测器？

机群中间件的作用是什么？ Oracle机群中间件由哪些部分构成？

简述 Oracle RAC 架构。机群数据库的有哪些优点？简述 Oracle RAC的重组方法。