基于集群的分布式文件系统设计
-
Upload
eric-barber -
Category
Documents
-
view
36 -
download
0
description
Transcript of 基于集群的分布式文件系统设计
![Page 1: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/1.jpg)
基于集群的分布式文件系统设计
演讲者 : 王景飞指导教师 : 林思明 李清勇
To Store the World
![Page 2: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/2.jpg)
To Store the World2基于集群的分布式文件系统设计
目 录
1. 项目背景
2. 系统设计
3. 可靠性改进
4. 性能评定
5. 结论
![Page 3: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/3.jpg)
To Store the World3基于集群的分布式文件系统设计
目 录
1. 项目背景
2. 系统设计
3. 可靠性改进
4. 性能评定
5. 结论
![Page 4: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/4.jpg)
4基于集群的分布式文件系统设计
互联网、搜索引擎、数据挖掘迅猛发展,网络存储需求不断增长。
国内分布式存储欠缺。
中科院计算所项目需求。
项目背景
To Store the World
![Page 5: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/5.jpg)
To Store the World5基于集群的分布式文件系统设计
目 录
1. 项目背景
2. 系统设计
3. 可靠性改进
4. 性能评定
5. 结论
![Page 6: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/6.jpg)
To Store the World6基于集群的分布式文件系统设计
系统设计 (1)
系统整体结构
![Page 7: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/7.jpg)
To Store the World7基于集群的分布式文件系统设计
系统设计 (2)
主控服务器
存储并维护系统元数据;同时负责系统全局维护,为系统中的关键节点。
数据存储服务器
用户的文件在该系统中会被分成等大小的数据块,并分布的存储在系统的数据存储服务器中。数据存储服务器为最终数据载体。
客户端
客户端作为系统的一个组成部分出现,提供最终用户访问该系统的接口。
![Page 8: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/8.jpg)
To Store the World8基于集群的分布式文件系统设计
系统设计 (3)
数据服务器和客户端服务器集群
主控服务器
实际用户接口 实际用户接口
实际系统架构
![Page 9: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/9.jpg)
To Store the World9基于集群的分布式文件系统设计
目 录
1. 项目背景
2. 系统设计
3. 可靠性改进
4. 性能评定
5. 结论
![Page 10: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/10.jpg)
To Store the World10
标志位 名称 标识符 父目录
标志位 标识符 数据块数 拷贝数 创建, 修改时间等
标志位 所属文件 标识符 在文件中偏移位置 版本号
目录元数据
数据块元数据
文件元数据
基于集群的分布式文件系统设计
可靠性改进 (1)
系统快照存储元数据 存储的对象为主控服务器中的元数据,包括目录、文件、数据块信息等。这些是系统运行的关键数据,存储在主控服务器的内存中,以提高访问速度。将元数据备份在磁盘上,使主控服务器可以从故障中恢复。
定时存储 因为快照操作是将元数据写入磁盘,所以频率不能太高,以免影响系统性能。
![Page 11: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/11.jpg)
To Store the World11基于集群的分布式文件系统设计
可靠性改进 (2)
操作类型 操作参数
日志系统辅助快照 两次快照之间的时间间隔内,系统元数据也可能发生变化。引入日志系统来辅助快照完成元数据的数据备份。
记录操作 将每一个操作压缩成“操作类型 + 操作数”的形式,存放在日志文件中。通过记录快照之后的操作来记录元数据变化情况。
![Page 12: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/12.jpg)
To Store the World12基于集群的分布式文件系统设计
可靠性改进 (3)
主控服务器热备份
备份服务器 主控服务器
数据服务器集群
备用 系统控制
内存中元数据
快照、日志文件备份
虚操作
![Page 13: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/13.jpg)
To Store the World13基于集群的分布式文件系统设计
目 录
1. 项目背景
2. 系统设计
3. 可靠性改进
4. 性能评定
5. 结论
![Page 14: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/14.jpg)
To Store the World14基于集群的分布式文件系统设计
性能评定 (1)
系统对于小文件的支持并不是很好,在分布式存储的情况下,小文件效率并不是很好。但如果客户端和数据服务器运行在同一台主机上时,系统对小文件会采取本地存储策略进行优化。 对于大文件的存储,已经获得较好的存储效率,速率瓶颈在于网络带宽。
文件读写效率
![Page 15: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/15.jpg)
To Store the World15基于集群的分布式文件系统设计
TEXT
性能评定 (2)
系统故障恢复时间
系统恢复时间与存储在系统中的数据量成正比,在数据量为 4GB的 情 况 下 , 系 统 恢 复 只 需 要200ms ,预测在数据量较大的情况下,仍然可以保证较快的故障恢复速度。
![Page 16: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/16.jpg)
To Store the World16基于集群的分布式文件系统设计
目 录
1. 项目背景
2. 系统设计
3. 可靠性改进
4. 性能评定
5. 结论
![Page 17: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/17.jpg)
To Store the World17
系统获得了较好的性能和可靠性,可以满足当前项目的需求。
用户在数据量较大的环境下尚未进行性能评定,尚需进一步进行研究。
基于集群的分布式文件系统设计
结论
![Page 18: 基于集群的分布式文件系统设计](https://reader035.fdocument.pub/reader035/viewer/2022081421/5681316d550346895d97e4e2/html5/thumbnails/18.jpg)
王景飞2009.6.15