Post on 17-Dec-2014
description
Big Data e NoSQL: buzzwords da
teoria à prática
Fabíola Souza Fernandes Pereira
Mas antes…
Um pouco da minha história…
2005t
Um pouco da minha história…
2005t
2007
Um pouco da minha história…
2005t
2007 2009
Um pouco da minha história…
2005t
2007 2009 2011
Um pouco da minha história…
2005t
2007 2009 2011 2013
Motivação…
Motivação…
Motivação…
1. Big Data
2. NoSQL
3. Na prática: ferramentas e exemplos
4. Cases do mundo
5. Case Algar Telecom
6. Conclusão
A cada dia…
2,5 exabytes
de informação são produzidos pela
humanidade
375 megabytes
de dados são acumulados por
cada família
24 petabytes
são processados pelo site do
43 petabytes
de dados são trocados por smartphones e
tablets conectados à internet
10 petabytes
correspondem aos e-mails enviados
Fonte: Revista Veja, 15/05/2013
Fonte: Revista Veja, 15/05/2013
Bit
Byte
Kilobyte (1 000 Bytes)
Megabyte (1 000 000 de Bytes)
Gigabyte (1 000 000 000 de Bytes)
Terabyte (1 000 000 000 000 de Bytes)
Petabyte (1 000 000 000 000 000 de Bytes)
Exabyte (1 000 000 000 000 000 000 de Bytes)
Zetabyte (1 000 000 000 000 000 000 000 de Bytes)
Yottabyte (1 000 000 000 000 000 000 000 000 de Bytes)
Você
es
tá a
qui
O que é Big Data?
“Manipulação de
grande massa de
dados”
Volume
Variedade
Velocidade
Veracidade
Big Data
Volume
VelocidadeVariedade
Veracidade
Os 4 pilares do Big Data (4 V’s)
Coleta Processamento
Armazenamento Análise Ação
Manipulando Big Data
Quem está usando…
Big data aumentará receita de operadoras em US$ 4 bi por anohttp://exame.abril.com.br/tecnologia/noticias/big-data-aumentara-receita-de-operadoras-em-us-4-bi-por-ano
5 cidades que usam big data para melhorar vida dos moradoreshttp://exame.abril.com.br/tecnologia/noticias/5-cidades-que-usam-big-data-para-melhorar-vida-dos-moradores#5
Big Data ajudou Obama a ganhar as eleiçõeshttp://info.abril.com.br/noticias/ti/big-data-ajudou-obama-a-ganhar-eleicoes-15012013-25.shl
IBM vai analisar tweets dos brasileiros durante os jogos e enviar percepções para o técnico da seleçãohttp://olhardigital.uol.com.br/noticia/big-data-pode-ajudar-felipao-na-copa-das-confederacoes/35218
Profissões “quentes”
Estatística Matemática
Oportunidades
Profissionais de Tecnologia para Big
Data• NoSQL• Hadoop• Mineração de Dados
Vamos pensar…
2. NoSQL
No to SQL
Not Only SQL
Por que NoSQL agora?
Fonte: http://www.slideshare.net/thobe/nosql-for-dummies
1. Dimensão
Por que NoSQL agora?
Fonte: http://www.slideshare.net/thobe/nosql-for-dummies
2. Conexão
Por que NoSQL agora?
Fonte: http://www.slideshare.net/thobe/nosql-for-dummies
3. Semi/Não-estruturado
Por que NoSQL agora?
Fonte: http://www.slideshare.net/thobe/nosql-for-dummies
Aplicação
DB
Aplicação
DB
Aplicação
DB
4. Arquitetura
Resumindo…
Escalabilidade horizontal
Processamento distribuído
Maior throughput (taxa de transferência)
Baixo custo
A C I DAtomicidade Isolamento DurabilidadeConsistência
Teorema CAP
CONSISTENCY
AVAILABILITY
PARTITIONTOLERANCE
Teorema CAP
CONSISTENCY
AVAILABILITY
PARTITIONTOLERANCE
Todos os clientes têm
sempre a MESMA
VISÃO do sistema
(commits atômicos)
Teorema CAP
CONSISTENCY
AVAILABILITY
PARTITIONTOLERANCE
O cliente pode
SEMPRE ler e
escrever
Teorema CAP
CONSISTENCY
AVAILABILITY
PARTITIONTOLERANCE
O sistema SEMPRE
FUNCIONA mesmo que
haja “partições” – quebra
de comunicação entre nós
Teorema CAP
CONSISTENCY
AVAILABILITY
PARTITIONTOLERANCE
Teorema CAP
Escolha duas!
Teorema CAP
CA
P
PC
A
AP
C
B A S EBasically Soft
stateEventuallyconsistent
Available
Modelo de Dados
RelacionalChave-valor
GrafoOrientado a Coluna/Tabular
Orientado a
Documento
Modelo de Dados
Relacional
Chave-valor
Grafo
Orientado a Coluna/Tabular
Orientado a
Documento
Complexidade dos Dados
Vo
lum
e
NoSQL = Não-relacional? Relacional = SQL?
Não é possível estabelecer essas
relações!
NoSQL e SQL referem-se a
linguagens de consulta
Relacional e Não-relacional referem-
se a modelo de dados
Persistência poliglota
SQL && NoSQL
Fonte: http://www.slideshare.net/thobe/nosql-for-dummies
3. Na prática: ferramentas e exemplos
BDs NoSQL
Twissandra
Twissandra
Twissandra
User = { 'hermes': {
'password': '****', (other properties),
},}
Tweet = { '7561a442-24e2-11df-8924-001ff3591711': { 'username': 'hermes', 'body': 'Trying out Twissandra. This is awesome!', },
}
Twissandra
Followers = { 'hermes': { #friend id: timestamp of when the followership was added 'larry': '1267413962580791', 'curly': '1267413990076949', 'moe' : '1267414008133277', },
}
Friends = { 'hermes': { # friend id: timestamp of when the friendship was added
'larry': '1267413962580791', 'curly': '1267413990076949', 'moe' : '1267414008133277',
}, }
Twissandra – NoSQL queries
GET tweet[utf8(‘hermes')];
GET tweet[utf8(‘hermes')][body];
Ferramentas Big Data
Spam ou Não-Spam??
4. Cases do mundo
IBM Big Data Platform
Oracle Big Data Platform
Microsoft Big Data Platform
Facebook data flow
5. Case Algar Telecom
“Uma plataforma de criação de aplicativos que você pode usar na
sua vida e no seu negócio.”
Armazenamento de Dados no COREO
Case Algar Telecom
6. Conclusão
“O petróleo só terá valor se transformado em combustível e
energia. Na mesma linha, os dados só terão valor se analisados e
utilizados”
Fonte: The world use of big data: http://public.dhe.ibm.com/common/ssi/ecm/en/gbe03519usen/GBE03519USEN.PDf
Obrigada
fabiolas@algartelecom.com.br@fabiolas
Fabíola Fernandes
fabiola.fernandes.334