Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters...
Transcript of Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters...
![Page 1: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/1.jpg)
Revisão geral
CG 07/08
![Page 2: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/2.jpg)
Introdução
Plataformas de processamento paralelo e distribuído
Clusters Gerenciadores de recursos
NQESGECondor
Definições de grid
![Page 3: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/3.jpg)
Condor
Escalonamento oportunista Matchmaking Classads Arquitetura e processo principais Comandos principais Checkpointing DAGMan Master-worker Flocking
![Page 4: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/4.jpg)
gLite Aspectos administrativos de
desenvolvimento do middleware Arquitetura: serviços Job workflow Segurança
AutenticaçãoAutorizaçãoProxiesOrganizações virtuais (VO e VOMS)
![Page 5: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/5.jpg)
gLite
Sistema de informaçãoR-gma
AccountingApelDgas
Storage elements Gestão de jobs
![Page 6: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/6.jpg)
EGEE
Overview do projetoObjetivosAplicaçõesProjetos relacionadosSustentabilidade
![Page 7: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/7.jpg)
Arquitetura de grids e Globus
Desafios History and Evolution of Grid Introduction to Grid Architecture Key Components - Resource infrastructure Services in the Web and the Grid Technology: Globus
![Page 8: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/8.jpg)
Arquitetura de grids e Globus
Modelo da ampulheta (hourglass model)AplicaçõesCollective servicesCoreFabric
![Page 9: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/9.jpg)
Arquitetura de grids e Globus
Web services Grid services OGSA/OGSI Globus
Serviços limitações
![Page 10: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/10.jpg)
Application Description Languages
Script-like Workflow-based Xml-based
![Page 11: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/11.jpg)
Languages
DAGMan VDL GXML AGWL XPWSL GEL GRID-ADL
![Page 12: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/12.jpg)
gLite Autenticação e autorização Chaves públicas e privadas Certificados Formas de criptografia Segurança no gLite
X.509 PKI Organizações virtuais IGTF Certificate authorities e registration authorities CRLs CNs e DNs Renovação de certificado Login to the grid, delegation
![Page 13: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/13.jpg)
Grid Systems and Scheduling Taxonomia (segundo Foster):
Computacionais Data grids Service grids
Taxonomia de aplicações Distributed supercomputing
High-Throughput Computing
On-Demand Computing
Data-Intensive Computing
Collaborative Computing
![Page 14: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/14.jpg)
Grid Systems and Scheduling (cont.)
Alternative classification: IndependentLoosely-coupledTightly-coupled
Application managementPartitioningMappingallocation
![Page 15: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/15.jpg)
Grid Systems and Scheduling (cont.)
Particionamento e aglomeração de grafos de aplicação
Heurísticas de particionamento:Graph collapsingDominant edgeMachine cutzeroing
![Page 16: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/16.jpg)
Grid Systems and Scheduling (cont.)
Survey de estratégias de escalonamentoKwok & AhmadCasavant & KhulList scheduling family
Dominance sequence clustering (DSC)Kumar & Biswas
MinimaxZomaya et al.: Muliple queues with duplicationReinforcement learning
![Page 17: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/17.jpg)
Grid Systems and Scheduling (cont.)
Resource managementWhen to transferWhich taskWhich node
Sender-initiated Receiver-initiated Simmetrically-initiated
When to collect info
![Page 18: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/18.jpg)
Scheduling mechanisms for grids(according to Berman and reviewed by Kayser)
Application Job Resource Meta-scheduler
![Page 19: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/19.jpg)
Scheduling mechanisms for grids
Legion Globus MyGrid/OurGrid GrADS EasyGrid Nimrod/G AppLeS GRAnD/AppMan
![Page 20: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/20.jpg)
Grid Systems and Scheduling (cont.)
Grid operating systems
![Page 21: Revisão geral CG 07/08. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos NQE SGE Condor Definições.](https://reader036.fdocument.pub/reader036/viewer/2022062512/552fc15e497959413d8e5a0e/html5/thumbnails/21.jpg)
gLite: WMS & DMS
Workload Management systemFeaturesAPI
Data Management SystemFeaturesAPI