Post on 02-Nov-2014
description
1
Utilização de Big Data para Computação de Alto Desempenho
Sérgio MafraLíder Inovação TI
“Scotty, We Need More Power”
O ONS
3
Escopo de atuação do ONS
O Operador Nacional do Sistema Elétrico (ONS) é o órgão responsável pela coordenação e controle da operação das
instalações de geração e transmissão de energia elétrica no Sistema Interligado Nacional (SIN), sob a fiscalização e regulação da Agência Nacional de Energia Elétrica (Aneel).
Para o exercício de suas atribuições legais e o cumprimento de sua missão institucional, o ONS desenvolve uma série de estudos e ações a serem exercidas sobre o sistema e
seus agentes para manejar o estoque de energia de forma a garantir a segurança do suprimento contínuo em todo o país.
4
Num. de empregados: 745
• 596 com grau universitário
• 405 engenheiros
NorteIsolado
BrasiliaCNOSCOSR-NCO
RecifeNúcleo N/NECOSR-NE
Rio de JaneiroEscritório
CentralCOSR-SE
FlorianópolisNúcleo SulCOSR-S
Instalações do ONS
5
O SIN atende 98% do consumo de eletricidade
do Brasil.
SIN - Sistema Elétrico Brasileiro
Sistemas IsoladosAmazônia Legal2% do Mercado
Predominantemente Térmico+ 300 localidades isoladas-
Modelo predominantementehidroelétrico com grandes
reservatórios egrandes interligações.
6
SIN - Sistema Elétrico Brasileiro
7
Área de atuação do ONS
O que é Big Data?
9
Conceitos
Big Data
Volume
Variedade
Velocidade
10
Origem dos Dados
Transações
Interações
Observações
Big Data
11
O que é “Big Data”?
Variedade e Complexidade dos Dados
ERP e CRM
Web
Big DataPB
TB
GB
MB
Geographic Information System (GIS)
Sensores
Modelos Matemáticos
Meteorologia
Logs
Recomendações
Colaboração
Mobile Web
Business Intelligence
SAGER/SAAT
Medição Fasorial (SMF)
12
O uso da informação está evoluindo...
Level of Business Impact
Why Did It Happen?
What Happened?
Data MiningReporting,
Dashboards
Transactional, Lagging Information
Reporting Centric
Predictability
Level of Business Impact
What Is Likely to Happen?
Why Did It Happen?
What Happened?
Data Mining
Skill Impact
Reporting, Dashboards
What Is Happening?
Real-Time Analytics
Transactional Unstructured
Reporting-Centric Pattern RecognitionPattern-Matching
Modeling by quants Modeling for the masses
13
Processo de Big Data
Coleta
• Armazenar• Limpeza de
Dados• Distribuir
Processamento
• Selecionar• Agregar• Exportar
Análise
• Modelos• Minerar Dados• Análise de
Dados
Sistema de Medição Sincronizada de Fasores (SMSF)
15
Sistema de Medição Sincronizada de Fasores - SMSF
PDC
16
Processo do SMSF
Coletar (PMU)• Tensão• Corrente• Frequência• Tempo (GPS)
Transmitir (Telecom)• UDP/IP• C37.118
Concentrar (PDC)• Concentrar dados• Diferentes fontes• Múltiplos formatosProtocolos
17
Desafios
• SCADA possui resolução de ms (mili)– Não serve para medir ângulos elétricos– Medidas não são síncronas
• É necessário uma fonte temporal de alta precisão– GPS fornece precisão de 14 ns (nano)– 60 coletas por segundo de cada grandeza
18
Benefícios
• Melhoria da qualidade dos dados observados para a operação em Tempo Real e para o Planejamento
• Avaliação com maior precisão em situações de distúrbios
• Recomposição mais rápida dos sistemas interligados• Estimação de estado em zonas não cobertas
19
Armazenamento Anual do SMSF
2013• 8,5 TB
2015• 70 TB
2018• 120 TB
2022• 312 TB
Big Data
Data
Coleta estimada para apenas 7 grandezas de medida
Volume total do Storage do Data Center (RJ) em
2013
20
Limitações do Modelo Atual
• Não é possível explorar os dados originais• Mover grandes quantidades de dados para
DataWarehouses torna-se um problema acima de 2 terabytes
• Dados arquivados = apagar os dados• Log de Aplicações• Dados de Telemetria de qualquer natureza
Novas Soluções
22
• Coletor de informações dos PMU• Análise simplificada da situação • Geração de arquivo histórico• Integração com hadoop
Projeto Piloto
23
• Sistema de Arquivos Distribuído (HDFS) em conjunto com o S3 (AWS)
• Processamento Distribuído (Map Reduce) em ambiente clusterizado
• Utilização de Hive para análise de dados
Projeto Piloto
24
Projeto Piloto
Histórico
1 Tb
Cluster Hadoop
OpenPDC
Coletor
Master
Nó 1
Nó 3
Nó N
Nó 2
HDFS
HDFS
HDFS
HDFS
S3
Armazenador
Glacier
Historiador
Glacier
Glacier
Glacier
Glacier
Análise
PMUs
Processamento
25
Obrigado !!!
smafra@ons.org.br@smafra
“Scotty, We STILL Need More Power”