SegHidro Walfredo Cirne Francisco Brasileiro Eliane Araújo Enio Souza Carlos Galvão Universidade...
Transcript of SegHidro Walfredo Cirne Francisco Brasileiro Eliane Araújo Enio Souza Carlos Galvão Universidade...
SegHidro
Walfredo CirneFrancisco Brasileiro
Eliane AraújoEnio Souza
Carlos Galvão
Universidade Federal de Campina Grande
Projeto SegHidro:Visão, Resultados e
Perspectivas
SegHidroContextualização
• A gestão de recursos hídricos é multidisciplinar e requer especialistas de diversas áreas− meteorologistas, hidrólogos, agrônomos,
economistas, ...
• Grupos se beneficiariam muito de ter acesso aos dados uns dos outros, tanto em pesquisa, quando em produção
• Computação de alto desempenho é demandada por modelos de simulação e otimização e para caracterizar risco e incerteza
• Há membros da rede de cooperação carentes de recursos computacionais
SegHidroA Visão SegHidro
• Qualquer grupo trabalhando em gestão de recursos hídricos (seja produção ou pesquisa) deveria ter acesso (de forma simples e rápida) aos dados públicos de qualquer outro grupo trabalhando na área− Note que o compartilhamento de dados implica no
compartilhamento da expertise do gerador do dado
• Nenhum procedimento ou estudo deveria deixar de ser feito (ou reduzido em escopo) devido a falta de poder computacional
SegHidroO Projeto SegHidro
• Implantar uma grade computacional que forneça infra-estrutura para computação de alto desempenho e compartilhamento de dados e expertise
• Desenvolver aplicações sobre esta grade computacional que efetivamente demonstrem a utilidade da infra-estrutura− Fundamental para quebrar a inércia da adoção de
uma nova tecnologia, iniciando assim o circulo virtuoso de expansão-e-uso
SegHidroParticipantes do Projeto
• UFCG: Informática, Meteorologia e Recursos Hídricos
• INPE/CPTEC: Centro de Previsão de Tempo e Estudos Climáticos
• FUNCEME: Fundação Cearense de Meteorologia e Recursos Hídricos
• ITEP/LAMEPE: Lab. de Meteorologia de Pernambuco
• Embrapa: Informática Agropecuária e Tabuleiros Costeiros
• AAGISA, SEMARH AESA: Agência de Águas da Paraíba
• SAIA/EMATER: Empresa de Extensão Rural da Paraíba
• Hewlett Packard
SegHidroInfra-estrutura do Projeto
• Computadores adquiridos pelo projeto SegHidro para o desenvolvimento do software − 12 desktops e 2 notebooks
• Computadores e clusters adquiridos no projeto COPAD (CT-Infra Laboratórios Multiusuários)− 2 clusters com 20 processadores cada – UFCG Meteor. e AESA-PB− 40 desktops dispersos geograficamente em grade
• Infra-estrutura da comunidade OurGrid− 300 processadores
• O sistema operacional é o LINUX• Todo software desenvolvido é de código aberto, assim
como toda a plataforma utilizada (Linux, OPeNDAP e OurGrid)
SegHidroMetas: Infra-estrutura de grade
• Implantar o OurGrid como infra-estrutura de computação de alto desempenho para os participantes do projeto
• Implantar a tecnologia OPeNDAP como mecanismo de compartilhamento de dados
• Refinar e adaptar OurGrid e OPeNDAP para melhor servir a comunidade SegHidro− Suporte a clusters com MPI como unidade de
processamento
• Estas tecnologias encontram-se no estado-da-arte da tecnologia de grades
SegHidro
Compartilhamento de recursos computacionais: o OurGrid
• É uma solução grid para execução de Aplicações Bag-of-Tasks (tarefas paralelas e independentes)− Uma tarefa pode ser ela mesma uma aplicação
paralela
• Um peer (ou site) é um domínio administrativo dentro da grade
• Peers são completamente autônomos e independentes− A grade é uma federação
• Jobs locais sempre têm prioridade sobre jobs remotos
• Jobs remotos são priorizados por reciprocidade
SegHidroArquitetura OurGrid
1, ... ,
n
Interface com Usuário
Escalonamento
Interface com Usuário
Escalonamento
Gerente do Site
Rede de Favores
Gerente do Site
Rede de Favores
SWAN
SandboxingSandboxingMyGri
d
SWAN
SegHidroUm Portal no OurGrid
1, ... ,
n
Interface com Usuário
Interface com Usuário
Gerente do SiteRede de FavoresGerente do SiteRede de Favores
SWAN
SandboxingSandboxingMyGri
d
SWAN
Portal
Escalonamento
Escalonamento
SegHidro
A questão da segurança na grade [1]
• Os recursos são protegidos através da utilização de tecnologia de sandboxing. Nossa implemntação chamada de SWAN (Sandbox Without A Name) se baseia no uso da máquina virtual Xen. SWAN garante segurança à máquina hospedeira da computação. Extensões de SWAN permitem o acesso a um serviço seguro de armazenamento de dados compartilhado e à criação de uma rede de comunicação privada para as tarefas de uma aplicação particular, mesmo quando essas executam em domínios administrativos distintos.
SegHidro
A questão da segurança na grade [2]
• Em relação à segurança da aplicação, ou seja, a confiabilidade do processamento executado e a privacidade dos dados de entrada e saída, o OurGrid deixa isso a cargo da aplicação. No caso do SegHidro, os dados processados são públicos e a questão de provacidade não é relevante. Em relação à confiabilidade da execução, técnicas de marca-d’água podem ser facilmente utilizadas.
SegHidro
Interoperabilidade do OurGrid com outros sistemas
• Estamos trabalhando na definição de um modelo de interoperabilidade do OurGrid com outros softwares de grid estabelecidos, como o Globus e o gLite.
• A continuidade desta ação ainda dependente de novos recursos financeiros.
SegHidro
Compartilhamento de dados: OPeNDAP
• Provê facilidade na interoperabilidade de dados• Dados matriciais disponíveis através de
servidores• As consultas à estes dados permitem extrair uma
fatia dos dados− Dados desnecessários não são transmitidos− Grande diferencial para aplicações de ciências
ambientais
• O usuário não precisa se preocupar com o formato no qual está armazenado os dados− Mas precisa se preocupar com a semântica dos dados!!!
• Detalhes e servidores em www.opendap.org
SegHidroArquitetura OPeNDAP
SegHidro
• Os dados produzidos pelo SegHidro− uma nova simulação não precisa ser re-
executada se o resultado já existe
• As previsões de tempo e clima produzidas pelos centros operacionais
• Dados de monitoramento ambiental produzidos pelas agências governamentais− Úteis para validação, análise comparativa, etc
Dados compartilhados
SegHidroMetas: Aplicações [1]
• Modelos Atmosféricos Regionais− Disponibilização de dados do modelo global do
CPTEC− Adaptação de dois modelos regionais às
condições de contorno do modelo global− Disponibilização de resultados de um terceiro
modelo regional− Ampliação, de 6 para 15 dias, da simulação de
um modelo atmosférico regional− Aumento da resolução, para 20 e 5 km, de um
modelo atmosférico regional
• Gestão de Reservatórios− Adaptação de dois modelos hidrológicos− Desenvolvimento de um modelos de simulação
de reservatórios
SegHidroMetas: Aplicações [2]
• Gestão de Aqüíferos Aluviais− Adaptação de um modelo hidrogeológico− Desenvolvimento de um modelo de recarga do
aqüífero
• Planejamento Agrícola− Disponibilização de resultados de modelos
atmosféricos ao Agritempo− Desenvolvimento de um modelo de balanço hídrico
agrícola
• Portal e toolkit para execução das aplicações− Viabilizam o cadastro, compartilhamento e
acoplamento de modelos através da execução de workflows
− Permitem a análise de vários cenários em paralelo de forma eficiente
SegHidro
Globais: todo o planeta, resolução de 100-300 km
Regionais: área limitada, resolução de 20-60 km
Modelos atmosféricos globais e regionais
SegHidro
Modelos atmosféricos regionais e refinamento da resolução
Global Regional Regional
SegHidro
Modelagem atmosférica nos centros estaduais de meteorologia
• Desafio
− Disponibilizar as previsões aos usuários finais (hidrólogos, agrônomos, gestores, …)
• Dificuldades
− Acesso limitado aos resultados dos modelos globais, que rodam nos grandes centros de previsão climática
− Acesso limitado aos modelos regionais e a recursos computacionais para executá-los
− Conhecimento limitado sobre os próprios modelos atmosféricos e os formatos de saída de dados, de modo a poder analisá-los e convertê-los aos formatos de entrada dos modelos hidrológicos e de gestão
− Integração entre meteorologistas, hidrólogos e gestores para trabalhar em conjunto
SegHidro
na Grade
A solução SegHidro: Execução de cascata de modelos
no Super: CPTEC e outros centros
SegHidro
Modelo Atm. Global
O SegHidro automaticamente traz as previsões e condições de contorno do modelo global, que roda em supercomputador
Execução de cascata de modelos no SegHidro
SegHidro
Previsões dos modelos globais são melhoradas usando modelos regionais,
que podem ser executados por outras instituições (pequenos centros de previsão),
através da grade computacional.
Modelo Atm. Global
Modelo Atm. Regional
Execução de cascata de modelos no SegHidro
SegHidro
Modelo Atm. Global
Modelo Atm. Regional
Conjunto de previsões de
chuva
Conjunto de previsões de
chuva
Previsões de chuva tornam-se acessíveis aos outros modelos na cascata
Execução de cascata de modelos no SegHidro
SegHidro
As previsões integradas podem ser avaliadas colaborativamente pelos especialistas, usuários e tomadores de decisão
Modelo Atm. Global
Conjunto de previsões de
chuva
Conjunto de previsões de
chuva
Modelos hidrológicos, agrícolas e de
gestão
Modelo Atm. Regional
Previsões integradas
Execução de cascata de modelos no SegHidro
SegHidro
Acoplamento: troca de dados e interoperabilidade entre modelos
M1 M2 M... M1 M2 M...
Hy dr o log i c
Reservoir Management
Stored Volumes
PMH text file
PHR text file
Wrapper
Wrapper
Arquivo texto PMH
Arquivo texto PHR
Volumes futuros
Modelo Hidrológico
Modelo de Reservatório
SegHidro
Mantendo simplicidade: Interfaces entre os modelos
Lat Lon Altitude Data Hora Precip Temp
-35.0639 -8.2786 1000 1971-01-01 00:00:00 20.2 25.1-35.0639 -8.2786 1000 1971-01-02 00:00:00 40.9 25.0-35.0639 -8.2786 1000 1971-01-03 00:00:00 32.1 24.8-35.0639 -8.2786 1000 1971-01-04 00:00:00 19.8 24.8-35.3799 -8.1410 1000 1971-01-01 00:00:00 18.7 25.0
PMH
Data Vazão (m3/s)01/01/1963 9.00001/01/1963 9,000 02/01/1963 0,000 03/01/1963 13,58004/01/1963 0,00005/01/1963 0,000 06/01/1963 0,000
PHR
SegHidroUsando SegHidro
• Como fornecer uma forma simples de usar SegHidro, e ao mesmo tempo dar total liberdade para seu uso?− Provendo duas formas de se usar o SegHidro!!!
• O Portal SegHidro fornece acesso Web, sendo muito simples de usar− Ideal para quem faz tarefas rotineiras no SegHidro
• O Toolkit SegHidro oferece acesso programável− Ideal para quem está fazendo pesquisa ou quer
automatizar a execução de aplicações
SegHidro
Portal SegHidrohttp://portalseghidro.dca.ufcg.edu.br/
• Execução de fluxo dos modelos• Anotação dos resultados• Permite o upload/cadastro de modelos
• Baseado no Jetspeed
SegHidroPortal SegHidro
SegHidroExecuções de Produção
SegHidroCriando um Fluxo de Modelos
SegHidroSegHidro Toolkit
• Certos usuários precisam de mais flexibilidade do que o portal oferece
• O Toolkit SegHidro fornece acesso a todas as abstrações SegHidro via comando de linha, no Linux− Scripts para automação de tarefas complexas
podem ser facilmente criados
• Suporte ágil à pesquisa e a usuários avançados fecha o ciclo de pesquisaavaliaçãoprodução, fomentando a contínua melhoria do sistema
SegHidro
• Processa e gera informações meteorológicas e agrometeorológicas de todos os municípios e estados brasileiros
• Disponibiliza o zoneamento agrícola nacional• Disponibiliza boletins agroclimatológicos e
mapas temáticos• www.agritempo.gov.br
• Com o SegHidro, a AESA-PB e a UFCG-Meteorologia disponibilizam ao Agritempo previsões de tempo com 15 dias de antecedência
Aplicação Agrícola: O Agritempo da EMBRAPA
SegHidro
Membros da previsão
meteorológica
Aplicação Agrícola: previsão de déficit hídrico
SegHidroEMATER - PBPortal para apoio à gestão agrícola
Disponibilização de Previsões
de Chuva, Temperatura,
Umidade e Vento
Rodadas do Modelo de
Balanço Hídrico a partir da Previsão
Disponibilizada
SegHidro
Gestão de Reservatórios – Açudes: previsão do volume armazenado
0
50
100
150
200
250
300
350
400
450
500
jan2000
mar mai jul set nov jan2001
volu
me
arm
azen
ado
(milh
ões
m3 )
SegHidro
Aqüíferos Aluviais eBarragens Subterrâneas
Níveis da água no final do período seco
Níveis da água no final do período chuvoso
Níveis da água nos poços
82
83
84
85
86
87
88
89
JulJunMaiAbrMarFevJanNovSet Out DezAgo
Período Seco Período Chuvoso
Niv
el F
reát
ico
(m)
Tempo (meses)
P87 P84 P57 P65 P73 P52 P51 P47 P46
SegHidroStatus do Projeto [1]
• Todas as metas atingidas• SegHidro está plenamente funcional, tanto na
infra-estrutura, quanto nas aplicações piloto• Desenvolvimento concluído em julho 2006,
quando houve a reunião final do projeto• Atualmente em manutenção e transferência a
usuários, através de reuniões e eventos de capacitação previstos no projeto com este fim
• O SegHidro tem sido divulgado em vários eventos técnico-científicos nas áreas fins
SegHidroStatus do Projeto [2]
• Testes e homologação das tecnologias desenvolvidas− O OurGrid já está em produção desde dezembro
de 2004.− O portal SegHidro está em produção gradual
desde maio de 2005.− Nosso processo de desenvolvimento de software é
fortemente baseado em testes. − Em 2007 iremos implementar no LSD um modelo
de qualificação de software que será executado antes da liberação pública de todo software produzido no LSD, incluindo novas versões do OurGrid e, havendo continuidade, novas versões do SegHidro.
SegHidro
Disponibilização do conteúdo:A Rede SegHidro [1]
• O site do projeto − contém todo o software (código) desenvolvido no
projeto, com livre acesso− contém documentação detalhada em língua
portuguesa, tanto da infra-estrutura de grade como das aplicações
− contém tutoriais, exemplos e dados para referência dos usuários e desenvolvedores (também no portal)
− é um Wiki, que permite que todos compartilhem informações
• http://seghidro.lsd.ufcg.edu.br
SegHidro
Provedores de dados
• CPTEC: modelos atmosféricos global e regionais
• UFCG Meteorologia: modelo atmosférico regional
• FUNCEME: modelos atmosféricos regionais
• AESA-PB: modelo atmosférico regional
• EPAGRI-SC: modelo atmosférico regional
Disponibilização do conteúdo:A Rede SegHidro [2]
SegHidro
Provedores de serviço
• Portal UFCG Meteorologia− http://portalseghidro.dca.ufcg.edu.br/
• Portal Ifá (UFCG Recursos Hídricos)− http://www.hidro.ufcg.edu.br/ifa/
• Portal AESA-PB− http://150.165.79.6:9000/portalseghidro/
• Portal EMATER-PB− http://www.hidro.ufcg.edu.br/emater/
• Portal EPAGRI-SC− http://200.18.5.94/portalseghidro/
Disponibilização do conteúdo:A Rede SegHidro [3]
SegHidroImpactos do Projeto [1]
O SegHidro
• É uma plataforma de compartilhamento de expertise, dados e poder computacional
• É uma alternativa ao modelo centralizado de (poucos) produtores e (vários) consumidores de informação
• Permite que cientistas e usuários integrem, validem e refinem os seus modelos
• Permite que os tomadores de decisão tenham acesso a um grande número de modelos viabilizando a simulação de múltiplos cenários
• Aumenta a qualidade da informação para a tomada de decisão
SegHidroImpactos do Projeto [2]
O SegHidro
• Viabiliza acesso a processamento, modelos e dados aos pequenos centros operacionais e a grupos de pesquisa emergentes, realizando inclusão digital e científica
• Reduz a demanda por novos equipamentos, particularmente de alto desempenho (clusters)
• Evita a sobreposição de ações das equipes de TI dos centros operacionais na integração de modelos e dados
• Oferece, quando da implementação nos centros operacionais, oportunidade de atualização técnica das equipes de TI locais
SegHidroDesafios Futuros [1]
• Consolidação do SegHidro em produção nos centros operacionais do Nordeste− Continuidade do suporte e treinamento, de forma
mais dedicada− Integração efetiva com os grupos de pesquisa− Desenvolvimento, no portal, de ferramentas para
comunicação e colaboração entre os centros entre si, os grupos de pesquisa e o CPTEC
− Este desafio requer capital humano especializado nas áreas de grade e das aplicações
− Fundamental para que a tecnologia SegHidro sobreviva ao fim do projeto
SegHidroDesafios Futuros [2]
• Adesão de novos membros à comunidade− Núcleo de Modelagem Climática e Ambiental do
MCT/INPA− Centro de Informações e Recursos Ambientais de SC
(Ciram/EPAGRI)− EMBRAPA Algodão− Agência Nacional de Águas (ANA) e o Sistema
Nacional de Informações em Recursos Hídricos− Redes cooperativas de pesquisa, em grande parte
fomentadas pelos fundos setoriais− …
SegHidroDesafios Futuros [3]
• Desenvolvimento de novas aplicações− Risco de desabastecimento de cisternas rurais –
ABCMAC, P1MC e MDS− Bioinformática – EMBRAPA Informática Agropecuária− Potencial eólico – FUNCEME− Previsão de níveis do rio Negro em Manaus – CPRM− Simulação de redes de abastecimento de água –
companhias de abastecimento de água− …
SegHidroDesafios Futuros [4]
• Tecnologia de Grade− Resolver a questão de consenso na terminologia dos
dados− Interoperabilidade com outros padrões de dados (por
ex, do Sistema Nacional de Informações em Recursos Hídricos)
− Interoperabilidade do OurGrid com outros softwares de grade, como o Globus e o gLite
− Atender a novos desafios técnicos das ciências ambientais
− Buscador de dados OPeNDAP• Busca em paralelo em vários servidores OPeNDAP
SegHidro
Executores e
Parceiros
Financiador
LMRS/AESA
EMATERInformática Agropecuária
Tabuleiros Costeiros
MCT CT-INFO
CPTEC
http://seghidro.lsd.ufcg.edu.br