Chương 17 Hệ Thống Tập Tin Phân Tán
description
Transcript of Chương 17 Hệ Thống Tập Tin Phân Tán
![Page 1: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/1.jpg)
Chương 17 Hệ Thống Tập Tin Phân Tán
Sinh viên thực hiện: Lê Văn Tỉnh Trịnh Xuân Tiến
![Page 2: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/2.jpg)
Chương 17: Hệ Thống Tập Tin Phân Tán
Nền tảng
Đặt tên và minh bạch
Truy cập tập tin từ xa
Stateful so Stateless phục vụ
Mô hình tập tin
Ví dụ: AFS
![Page 3: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/3.jpg)
Mục tiêu Để giải thích sự đặt tên cơ chế cung cấp các vị trí minh
bạch và độc lập
Mô tả các phương pháp khác nhau để truy cập tập tin phân tán
Để phản stateful và stateless phân phối tập tin máy chủ
Làm thế nào để hiển thị rộng các tập tin trên máy khác nhau trong một hệ thống tập tin phân tán là một sự thừa hữu ích cho các cải thiện có sẵn
Giới thiệu ANDREW: Một ví dụ về hệ thống tập tin phân tán
![Page 4: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/4.jpg)
Nền Hệ thống tập tin phân tán (DFS) - một việc triển khai
thực hiện phân phối của các cổ điển thời gian-chia sẻ mô hình của một hệ thống tập tin, nơi có nhiều người dùng chia sẻ các tệp tin và lưu trữ nguồn tài nguyên
Một DFS quản lý các thiết bị lưu trữ phân tán
Tổng thể không gian lưu trữ được quản lý bởi một DFS là các khác nhau, nằm xa, nhỏ hơn không gian lưu trữ
Có mối quan hệ giữa không gian lưu trữ và tập các file
![Page 5: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/5.jpg)
Cấu trúc DFS Dịch vụ (Service) – Các phần mềm chạy trên một hoặc
nhiều máy và cung cấp một loại chức năng cho các máy khách chưa biết a priori
Máy chủ (Server) - dịch vụ phần mềm chạy trên một máy
Máy khách (Client)- quá trình mà có thể gọi một dịch vụ bằng cách sử dụng một bộ các hình thức hoạt động mà khách hàng giao diện của nó
Giao diện máy khách cho một tập tin dịch vụ được hình thành bởi một bộ các toán tử tập tin cơ bản (tạo, xóa, đọc, viết)
Giao diện máy khách của một DFS nên được che giấu, tức là, không phân biệt giữa các tập tin cục bộ và các tập tin từ xa
![Page 6: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/6.jpg)
Đặt tên và minh bạch Đặt tên – Ánh xạ giữa địa chỉ logic và đối tượng vật lý
Ánh xạ đa cấp – Một sự trừu tượng hóa các tập tin để ẩn đi các chi tiết của cách thức và nơi mà tập tin thực sự lưu trữ trên đĩa
Một thể hiện DFS ẩn các vị trí nơi trên mạng lưới các tập tin được lưu trữ
Đối với một tập tin đang được replicated trong một số trang web, các lập bản đồ sẽ đem lại một bộ các địa điểm của tập tin này của bản; cả sự tồn tại của nhiều bản sao và vị trí của họ đang ẩn
![Page 7: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/7.jpg)
Đặt tên các cấu trúc
Vị trí minh bạch - tên tập tin, không cần chỉ rõ vị trí lưu trữ vật lý của tập tin
Vị trí độc lập - tên tập tin không cần phải được thay đổi khi các tập tin của thiết bị lưu trữ thay đổi
![Page 8: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/8.jpg)
Cấu trúc tên - Ba phương pháp tiếp cận chính
Tên tập tin được tạo thành bằng cách kết hợp giữa tên của máy chủ và tên cục bộ; đảm bảo một tên duy nhất trên cả hệ thống
Đính kèm thư mục xa để thư mục địa phương, việc xuất hiện của một cây thư mục coherent; chỉ gắn kết trước đó xa thư mục có thể được truy cập minh bạch
Tổng hợp của thành phần hệ thống tập tin
Một tên duy toàn cầu cơ cấu rộng tất cả các tệp tin trong hệ thống
Nếu một máy chủ không có sẵn, một số arbitrary bộ thư mục khác nhau trên máy cũng trở nên không có sẵn
![Page 9: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/9.jpg)
Truy cập tập tin từ xa
Cơ chế phục vụ từ xa là một trong những phương pháp chuyển giao
Làm giảm lưu lượng truy cập mạng bằng cách lưu lại những dữ liệu vừa được xử lý ở trong cache, vậy nên việc truy nhập lại các thông tin này được nhanh chóng hơn
-Nếu dữ liệu cần chưa được lưu trữ, một bản sao của dữ liệu được đưa từ các máy phục vụ đến người sử dụng
-Truy cập được thực hiện trên các bản sao lưu trữ
![Page 10: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/10.jpg)
Truy cập tập tin từ xa
-Các tập tin định danh với một bản sao gốc tại máy chủ, nhưng các bản sao của các tập tin nằm rải rác ở các cache khác nhau
-Cache-Vấn đề khó khăn - giữ các bản sao lưu trữ, phù hợp với những tập tin gốc
+Có thể gọi là bộ nhớ ảo mạng
![Page 11: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/11.jpg)
Cache cục bộ-Đĩa-Bộ nhớ chính Ưu điểm của bộ nhớ cache:
Chi tiết đáng tin cậy
Lưu trữ dữ liệu lưu giữ trên đĩa của bạn vẫn có phục hồi trong thời gian và không cần phải tải xuống một lần nữa
Ưu điểm của bộ nhớ chính - caches:
Cho phép các máy trạm không cần có đĩa
Dữ liệu có thể được truy cập nhanh hơn
![Page 12: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/12.jpg)
Cache cục bộ-Đĩa-Bộ nhớ chính
Ưu điểm của bộ nhớ chính - caches:
Speedup hiệu suất lớn hơn trong ký ức
Server caches (được sử dụng để tăng tốc độ đĩa I / O) đang có trong bộ nhớ chính bất kể nơi mà người dùng đang nằm caches; bằng cách sử dụng chính-bộ nhớ caches trên máy cho phép người sử dụng một bộ nhớ đệm, cơ chế cho máy chủ và người dùng
![Page 13: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/13.jpg)
Cachefs and its Use of Caching
![Page 14: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/14.jpg)
Các cách cập nhật cache Viết đè - viết dữ liệu vào đĩa ngay sau khi chúng được đặt
trên bất kỳ bộ nhớ cache
Đáng tin cậy, nhưng hoạt động kém hiệu quả
Viết định kỳ- để sửa đổi, bổ sung bằng văn bản của bộ nhớ cache và sau đó bằng văn bản để thông qua các máy chủ sau
Độ tin cậy thấp; dữ liệu chưa được lưu sẽ bị mất khi máy của người sử dụng bị treo
Viết truy cập nhanh chóng hoàn thành, một số có thể được ghi đè dữ liệu trước khi ghi lại, và như vậy không bao giờ cần phải được viết ở tất cả các
![Page 15: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/15.jpg)
Các cách cập nhật cache
Biến thể - viết-on-gần, ghi dữ liệu trở lại máy chủ khi các tập tin chỉ, đóng cửa
Dao động - quét bộ nhớ cache theo chu kỳ bình thường và tuôn ra khối đã được sửa đổi kể từ cuối cùng quét
Tốt nhất cho các tập tin được mở cho dài thời gian và thường xuyên sửa đổi
![Page 16: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/16.jpg)
Consistency Khởi xướng cách tiếp cận máy khách
Là địa phương lưu trữ bản sao của dữ liệu, phù hợp với những bậc thầy bản sao?
Khôûi ñaàu khách hàng là một kiểm tra hiệu lực
Phục vụ hồ sơ, cho mỗi khách hàng, các (phần của) file nó caches
Khi phát hiện một vụ tiềm năng inconsistency, nó phải phản ứng
Server-khởi xướng cách tiếp cận
Server kiểm tra xem dữ liệu của người dân địa phương đang có, phù hợp với những bậc thầy sao chép
![Page 17: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/17.jpg)
So sánh cache và truy nhập từ xa Máy chủ đang có số chỉ thỉnh thoảng trong bộ nhớ đệm (hơn là cho
mỗi truy cập)
Bộ nhớ đệm trong, nhiều truy cập từ xa bằng cách xử lý hiệu quả bộ nhớ cache của địa phương; truy cập từ xa nhất sẽ được phục vụ như nhanh như những địa phương
Tăng cường tiềm năng cho các quy mô
Giảm tải máy chủ và mạng lưới giao thông
Xa phục vụ phương pháp xử lý mọi truy cập từ xa trên toàn mạng; bị phạt trong lưu lượng truy cập mạng, máy chủ tải, và hiệu suất
Tổng số chi phí trong mạng lưới truyền chunks lớn của dữ liệu (trong bộ nhớ đệm) là thấp hơn một loạt các câu trả lời cho các yêu cầu cụ thể (xa-dịch vụ)
![Page 18: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/18.jpg)
Caching and Remote Service (Cont.) Bộ nhớ đệm là các truy cập trong các mẫu với Infrequent viết
Được hưởng lợi từ bộ nhớ đệm khi thực hiện thực hiện trên máy với đĩa hoặc địa phương hay chính lớn kỷ niệm
Với thường xuyên viết, số lượng đáng kể chi phí phát sinh để khắc phục vấn đề bộ nhớ cache-quán
Xa truy cập vào đĩa, bộ nhớ nhỏ--công suất máy móc nên được thực hiện thông qua các phương pháp xa-dịch vụ
Trong bộ nhớ đệm, càng thấp intermachine giao diện là hình thức khác nhau trên giao diện người sử dụng
Trong xa-dịch vụ, các giao diện intermachine đối xứng với địa phương, người sử dụng hệ thống tập tin giao diện
![Page 19: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/19.jpg)
Stateful File Service Cơ chế
Máy khách sẽ mở ra một tập tin
Server thu thập thông tin về tập tin từ các đĩa, các cửa hàng của nó trong bộ nhớ, và cung cấp cho khách hàng kết nối một định danh duy nhất cho các khách hàng và mở tập tin
Định danh được sử dụng cho các truy cập cho đến khi kết thúc phiên
Tăng hiệu suất
Server phải khai hoang chính-bộ nhớ không gian được sử dụng bởi các khách hàng đang có những người không còn hoạt động
Stateful máy chủ biết, nếu một tập tin đã được mở ra cho sequential truy cập và như vậy có thể đọc trước kế tiếp khối
Ít hơn đĩa truy cập
![Page 20: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/20.jpg)
Stateless File Server Tất cả các yêu cầu xác định các tập tin và vị trí trong tập
tin
Tránh tình trạng thông tin bằng cách làm cho mỗi yêu cầu tự-chứa
Không cần phải chấm dứt và thiết lập một kết nối bằng cách mở và đóng hoạt động
![Page 21: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/21.jpg)
Sự khác biệt giữa Stateful & Stateless Service Phục hồi thất bại
Bại stateful A tất cả các máy chủ của nó bay hơi của tiểu bang trong một vụ đụng xe
Khôi phục nhà nước do phục hồi giao thức dựa trên một hộp thoại với khách hàng, hủy bỏ hoặc hoạt động đã được tiến hành khi xảy ra vụ đụng xe
Để phục vụ nhu cầu của khách hàng được nhận thức thất bại trong không gian để khai hoang giao cho các hồ sơ nhà nước của khách hàng quá trình hỏng (orphan phát hiện và loại bỏ)
Stateless với máy chủ, các tác động của máy chủ thất bại cát phục hồi được hầu hết các unnoticeable
Một reincarnated máy chủ mới có thể đáp ứng một tự-chứa yêu cầu mà không có bất kỳ khó khăn
![Page 22: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/22.jpg)
Distinctions (Cont.) Hình phạt bằng cách sử dụng cho các dịch vụ stateless mạnh mẽ:
còn tin nhắn yêu cầu
bổ sung áp khó khăn về thiết kế Cửa hàng miễn thuế DFS
Một số môi trường stateful yêu cầu dịch vụ
chậm xử lý yêu cầu
UNIX sử dụng các tập tin và descriptors offsets chính là inherently stateful; máy chủ phải duy trì bảng để đồ tập tin descriptors để inodes, và lưu trữ hiện nay bù đắp trong vòng một tập tin
Một máy chủ bắt đầu sử dụng máy chủ-cache xác nhận không thể cung cấp dịch vụ stateless, vì nó duy trì một bản ghi trong đó có các tập tin được lưu trữ do đó các khách hàng
![Page 23: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/23.jpg)
File Replication Cải thiện tính khả dụng và dịch vụ có thể rút ngắn thời gian
Bản của cùng một tập tin nằm trên thất bại-độc lập, máy móc
Tồn tại của bản nên được cấp độ cao hơn để vô
Bản phải được phân biệt một từ khác do khác nhau ở cấp thấp hơn tên
Tin cập nhật - bản của một tập tin biểu trong cùng một tổ chức hợp lý, và như vậy, một cập nhật cho bất kỳ replica phải được phản ánh trên tất cả các bản
Đặt tên một chương trình có bản đồ replicated tên tập tin cho một replica
Nhu cầu rộng - đọc một nonlocal replica gây ra nó sẽ được lưu trữ địa phương, do đó tạo ra một nonprimary replica mới.
![Page 24: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/24.jpg)
Ví dụ: AFS
Một môi trường tính toán phân tán (Andrew), phát triển từ năm 1983 tại Đại học Carnegie-Mellon, mua do IBM và phát hành như Transarc DFS, bây giờ mở sourced như OpenAFS
AFS cố gắng để giải quyết các vấn đề phức tạp như mặc đồng phục không gian tên, địa điểm-độc lập chia sẻ tập tin, khách hàng, bên trong bộ nhớ đệm (cache với sự), xác thực an toàn (qua Kerberos)
Cũng bao gồm máy chủ-bên trong bộ nhớ đệm (thông qua bản), cao sẵn có phòng
Có thể chiều dài 5.000 công đoạn
![Page 25: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/25.jpg)
ANDREW (tiếp)
Máy khách được trình bày với một không gian partitioned của tên tập tin: không gian tên cục bộ và không gian tên chia sẻ
Tận tâm phục vụ, gọi là Vice, hiện nay các chia sẻ không gian tên cho các khách hàng như là một đồng, giống hệt nhau, minh bạch và vị trí tập tin Hierarchy
Tên của người dân địa phương không gian là hệ thống tập tin gốc của một công đoạn, mà từ đó các chia sẻ không gian tên descends
Công đoạn chạy các chất đạo đức giao thức để liên lạc với Vice và được yêu cầu phải có đĩa cục bộ, nơi chúng lưu trữ không gian tên cục bộ
Máy chủ gọi chung là chịu trách nhiệm về quản lý lưu trữ và chia sẻ của các không gian tên
![Page 26: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/26.jpg)
ANDREW (tiếp) Máy khách và máy chủ được tổ chức trong nhóm liên kết
bởi một hệ thống mạng LAN
Một nhóm bao gồm một tập hợp các công đoạn và một nhóm máy chủ và được kết nối với hệ thống bởi một router
Một chìa khóa cơ chế lựa chọn cho các hoạt động tập tin từ xa là toàn bộ tập tin trong bộ nhớ đệm
Mở ra một tập tin gây ra nó sẽ được lưu trữ, trong toàn bộ của nó, trên đĩa cục bộ
![Page 27: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/27.jpg)
ANDREW: chia sẻ không gian tên Andrew's là khối tin, các đơn vị thành phần nhỏ được liên kết với
các tập tin của một khách hàng
Một fid xác định một Phó tệp tin hoặc thư mục - Một fid là 96 bit dài và có ba thành phần bằng-chiều dài:
Số lượng
vnode số - chỉ mục vào một mảng có chứa các inodes của tác phẩm trong một khối lượng
Fids đang có vị trí minh bạch, do vậy, phong trào tập tin từ server để phục vụ không vô hiệu lưu trữ thư mục nội dung
Vị trí thông tin được lưu giữ trên một khối lượng cơ sở, và các thông tin này được replicated trên mỗi máy chủ
uniquifier - cho phép tái sử dụng của vnode số điện thoại, do đó vẫn giữ một số cấu trúc dữ liệu, gọn
![Page 28: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/28.jpg)
ANDREW: Các thao tác tập tin Andrew caches toàn bộ file mẫu máy chủ
Một khách hàng với các công đoạn tương Phó máy chủ chỉ trong thời gian mở và đóng của các tập tin
Venus - caches file Phó từ khi chúng được mở ra, và các cửa hàng sửa đổi bản sao của tác phẩm trở lại khi họ đang đóng cửa
Venus caches nội dung của thư mục, và Biểu tượng liên kết, cho tên đường dẫn-dịch thuật
Đọc và viết một byte của tập tin được thực hiện bởi các hạt nhân mà không có Venus can thiệp vào lưu trữ bản sao
Trường hợp ngoại lệ cho các chính sách trong bộ nhớ đệm được sửa đổi, bổ sung cho các thư mục được thực hiện trực tiếp trên máy chủ chịu trách nhiệm cho rằng thư mục
![Page 29: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/29.jpg)
ANDREW :Thực thi Quá trình xử lí của máy khách được gửi đến một máy chủ UNIX bằng
một tập các lời gọi hệ thống
Venus thực hiện đường dẫn-Tên dịch thành phần bằng cách thành phần
Các tập tin hệ thống UNIX được sử dụng như một hệ thống lưu trữ cấp thấp cho cả máy khách và máy chủ
Các khách hàng địa phương, bộ nhớ cache là một thư mục trên đĩa của máy trạm
Cả Venus và máy chủ UNIX quá trình truy cập file trực tiếp do các inodes để tránh những tốn kém tên đường dẫn-to-inode dịch thường lệ
![Page 30: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/30.jpg)
ANDREW: Thực thi (tiếp) Venus quản lý hai caches riêng:
Một cho tình trạng
Một cho dữ liệu
Thuật toán LRU được sử dụng để giữ cho mỗi người trong số họ bounded trong kích thước
Trạng thái bộ nhớ cache được lưu giữ trong bộ nhớ ảo cho phép nhanh chóng phục vụ của stat (tập tin trạng thái trả lại) lời gọi hệ thống
Dữ liệu cache được lưu trên đĩa cục bộ, nhưng cơ chế vùng đệm xuất/nhập của UNIX có lưu các block đĩa trong bộ nhớ để chuyển đến Venus
![Page 31: Chương 17 Hệ Thống Tập Tin Phân Tán](https://reader035.fdocument.pub/reader035/viewer/2022062322/56814607550346895db31764/html5/thumbnails/31.jpg)
Kết Thúc Chương 17