globo.comUso de anycast para balanceamento de carga na Globo.com

Uso de Anycast para balanceamento de carga

na Globo.com Marcus Vinícius G. Cesário

marcus.vinicius@corp.globo.com

SBRC 2012 - 01/05/2012

Agenda‣ Caracterização do tráfego

‣ Análise das soluções

‣ Estrutura Anycast

1 Caracterização do tráfego

0

0.30

0.60

0.90

1.20

1.50

1.80

2.10

2.40

2.70

3.00

dezembro/2011

Páginas Vistas

bilh

ões

Globo.com G1 Globoesporte.comEgo. Receitas.com TechTudoFutpedia Novelas 18:00 Novelas 19:00Novelas 21:00

Demanda

fonte: Google Analytics

Demanda

Demanda

Demanda‣ Momentos de alta demanda

‣ ex: BBB com até 510 mil votos/min

0

150

300

450

600

26/03/2010 27/03/2010 28/03/2010 29/03/2010 30/03/2010 31/03/2010 01/04/2010

Votos por Minuto

Comportamento dos clientes

‣ Média de 4 a 8 conexões simultâneas

‣ 147 / 6 = 25

RTT do servidor (ms)

Tempo total (ms)

7 175

25 625

50 1250

150 3750

Premissas‣ Entrega de Conteúdo com grande consumo de

banda

‣ Percepção da Internet como um serviço 24/7/365

‣ necessidade de manutenções preventivas e corretivas

‣ Distribuição de carga e tolerância a falhas

‣ Operação pelo Datacenter no RJ ‣ Operação e monitoração pela estrutura de NOC do Rio de Janeiro

Solução escalável, com garantia de qualidade para o usuário e baixo custo?

2 Diferenças entre soluções

Esquemas de roteamento

Esquemas de roteamento

Esquemas de roteamento

Esquemas de roteamento

Site 2Site 1

1.1.1.1 2.2.2.2DNS Server

1.1.1.1 2.2.2.2

Região A Região B

Global Server Load Balancing

Site 2Site 1

1.1.1.1 2.2.2.2DNS Server

1.1.1.1 2.2.2.2

Região A Região B

Global Server Load Balancing

X

X

Content Delivery Network‣ Tecnologia dependente de Operadoras

‣ IP’s para cada localidade = mais suscetível a ataques

‣ Dimensionada para picos de acesso?

‣ Sistema de gerência dos pontos físicos

dig www.akamai.com

@Server Answer Avg RTT

201.7.183.120200.182.35.144200.182.35.163

10.564

8.8.8.8(google)

72.246.216.4272.246.216.33

157.753 +1493%

208.67.222.222(opendns.org)

23.67.53.10723.67.53.144

153.44 +1452%

4.2.2.1(level 3)

69.31.72.11569.31.72.129

152.381 +1442%

20/04/2012 - 15:00 as 15:10

Impacto da localidade

Impacto da localidade

Client subnet in DNS requests

‣ Opção EDNS0

‣ RFC2671 Agosto/1999

‣ Internet-draft 25/04/12

‣ Intended status: Experimental

Anycast

Site 2Site 1

1.1.1.1 1.1.1.1DNS Server

1.1.1.1 1.1.1.1

Região A Região B

Anycast

Site 2Site 1

1.1.1.1 1.1.1.1DNS Server

1.1.1.1 1.1.1.1

Região A Região B

X

Uso comum do Anycast‣ DNS

‣ Multicast Rendezvous Points (RP)

‣ Syslog

‣ Exportação de fluxos (flow)

‣ IPv4/IPv6 relay routers

‣ Sink hole networks

3 Estrutura Anycast

Estrutura Anycast‣ PoP’s conectados aos principais provedores de

serviço Internet - fixo / móvel / PTT Metro

‣ proximidade com o usuário

‣ Sessões BGP com anúncios simultâneos

‣ Possibilidade de crescimento em outros pontos físicos sem alterações no projeto

‣ Facilidade de manutenção

Estrutura Anycast

Perfil de tráfego

Perfil de tráfego‣ 97.65% Brasil

Perfil de tráfego‣ 81.34% do tráfego a 1 AS HOP de distancia

“Pop Switch?”

“Pop Switch?”

‣ “Never heard of it”

Anycast‣ Solução testada e confiável com TCP

‣ Barato e “Vendor Agnostic”

‣ Gerência simplificada

‣ Tolerância a falhas

‣ Melhor performance na entrega do conteúdo

Dúvidas?marcus.vinicius@corp.globo.com