Aspera Transferência de Arquivos em Alta Velocidade
-
Upload
paulo-lacerda -
Category
Software
-
view
271 -
download
2
Transcript of Aspera Transferência de Arquivos em Alta Velocidade
© IBM Corporation 1
Apresentado por:
Aspera Transferência de Arquivos em Alta Velocidade
Paulo Lacerda IBM Cloud Software Tech Sales
© IBM Corporation 2
text
Agenda
– Introdução – Tecnologia Aspera – Cenários de Uso
© IBM Corporation 3 © IBM Corporation 3
Introdução
© IBM Corporation 4
text
Missão
Criar a próxima geração de tecnologias que movem os ativos digitais
do mundo em velocidade máxima, independente de tamanho,
distância e condições de rede.
© IBM Corporation 5
text
Por que Aspera?
Desde 2004, desenvolvendo tecnologia para transferência de arquivos em alta velocidade
Protocolo FASP™ – Tecnologia inovadora patenteada, altamente eficiente para transferência de dados em massa. – Componente chave de toda a suite Aspera de transferência de arquivos de alto desempenho. – Supera soluções de software e hardware para aceleração de WAN – Em primeiro lugar em todos benchmarks de transferência de arquivos via WANs
Segmentos de Mercado – Mídia e Entretenimento, Governo, Ciências da Vida, Saúde, Computação em Nuvem, Games,
Serviços Financeiros, Engenharia, Telecomunicações, Provedores de Serviços, Arquitetura e Design, entre outros.
© IBM Corporation 6
text
Alguns Clientes Aspera Studios 20th Century Fox DreamWorks Disney Lucas Film Paramount Pixar Sony Pictures Sony Imageworks Universal Warner Bros. & GDMX
Broadcasters ABC ABS-CBN AFP Andrita Studio CBS CBC CNN CSTV Discovery ESPN Fox Foxtel HBO ITN MLB NBC NBA Network NFL Network Nova MTV Networks Outdoor Channel Rainbow Media Red Bee Media SBS Scripps Networks Showtime Networks Sky Germany Sky Italia Starz Entertainment Travel Chanel TV Guide TVN Turner Univision
Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google YouTube Hulu Joost Microsoft Studios Netflix Synccast (Technicolor) Universal Music Sony BMG
Post Production Ascent Media Cinesite CINRAM Cryptography Rsch Inst. Deluxe Framestore eFilm Lightstorm Entertainment Modern Video Film Moving Picture Company ParkRoads Post Logic Postworks NY Reelz Channel
Cable/MSO’s and IPTV ATT British Telecom Comcast Crawford
Communications DirecTV EchoStar & Dish Network Rogers Wireless & Cable Shaw Telstra Time Warner Cable Verizon
Content Distribution Alcatel-Lucent / Velocix Edgecast iBAHN Level3 Limelight Networks Move Networks
Integrated & Cloud Accenture DETE Artesia Acresso SubscribeNet Ceiton EMC Documentum Epk.TV GLOBALedit &
FileSociety IBM Media Hub Microsoft IMM MIT NorthPlains TeleScope Omneon Ooyala thePlatform Tandberg MediaPath
Games Activision Disney Interactive Studios Eidos Interactive Electronic Arts Microsoft XBOX Nintendo Sega Sony Computer Entertainment Sony Connect Take-Two Interactive Ubisoft
Life Sciences Applied BioSystems Biomedical Systems BGI Broad Institute Duke University EBI Fred Hutchinson Genome Research Ltd. Johns Hopkins NIH / NCBI Translational Genomics University of Maryland
Publishing Dow Jones Online Hougton Mifflin Harcourt New York Times Pearson Random House RR Donnelley Thomson Reuters Time, Inc. Sports Illustrated
Engineering, R&D Apple Computer Autodesk CGG Veritas European Space Agency General Dynamics Global Foundries HP PSG LSI NetApp Nokia Samsung Software AG
Federal Government, DOD DIA NASA US Army, Navy, Air Force USDOJ FBI NSA NGA US JFCOM SOCOM INSCOM State Department DISA, SPAWAR MIT Lincoln Labs HHS/NIH Armed Forces Network
Financial Services Bank of America Dow Jones Gloucester Research Metlife Morgan Stanley TD Bank
Global Enterprise Abercrombie and Fitch Adidas Coca Cola Codan Greenpeace Iron Mountain Mary Kay Cosmetics Milwaukee Bucks Johnson & Johnson RCDB
Legal, eDiscovery Fios, Inc Greenberg and Traurig IPRO Corp IT.COM King and Spalding Mccarter & English Ricoh Stroz Friedberg
Pharma Abbott Laboratories Glenmark Generics Merck Pfizer
© IBM Corporation 7
“… uma virada de jogo na indústria”
65th EMMY AWARDS
© IBM Corporation 8 © IBM Corporation 8
Tecnologia Aspera
© IBM Corporation 9
text
Tendências
Explosão do Big Data • 90% dos dados hoje são baseados em arquivos ou não estruturados • Mix de tamanhos de arquivos — mas a norma são arquivos cada vez maiores
Diversidades de redes IP — Mídia, Banda e Condições • Larguras de bandas variáveis (desde as mais lentas até as super rápidas) • Diversidade das mídias de rede (terrestre, satélite, wireless) • Condições diversas — todas as redes propensas a degradação em longa distância
Workflows Globais — movendo Big Data sobre WANs • Equipes distribuidas geograficamente • Em longa distância, as condições de rede degradam • Soluções de aceleração de TCP não são projetadas para transferência de big data
Crescimento de Cloud Computing • Mais opções: SoftLayer, AWS, Microsoft Azure, OpenStack, HP Cloud • Não é mais um nicho – Netflix (transcodificação), MTV (distribuição de vídeo
global), BGI (sequênciamento genômico).
© IBM Corporation 10
text
O Diferencial Aspera
! Distância degrada as condições em todas as redes – Latência (ou round trip time) aumenta – Perda de pacote aumenta
! Redes rápidas também estão sujeitas a degradação – Performance do TCP degrada com a distância – O gargalo da taxa de transferência se torna mais severo
com o aumento da latência e perda de pacotes.
! TCP não escala com a largura de banda – TCP foi projetado para largura de banda pequena – Aumento na largura de banda não aumenta a velocidade
! Velocidade Máxima nas Transferências – Desempenho das transferências escala com a banda
independente da distância e é resiliente a perda de pacotes ! Prevenção de Congestionamento e Políticas de Transferência
– Utilização integral da banda disponível – Priorização on-the-fly e alocação de banda
! Segurança e Confiabilidade – Autenticação segura dos usuários – Criptografia AES-128 em trânsito e at-rest
! Resultando em – Transferências até cem vezes mais rápidas que FTP – Tempos de transferência precisos e previsíveis – Escalabilidade ao extremo (cocorrência e throughtput)
TCP FASP
1
2
© IBM Corporation 11
text
FASP – Performance
11
TCP transfer times limited by packet loss, delay (network distance) NOT BANDWIDTH Aspera transfer times shorten linearly with bandwidth Independent of packet loss, delay (network distance) Cross US – Add 1% to 5% Intercontinental – Add 1% to 10%
Across US US – Europe US – ASIA
10 GB 100 GB 10 GB 100 GB 10 GB 100 GB
FTP
10 Mbps
10-20 Hrs Impractical 15-20 Hrs Impractical Impractical Impractical100 Mbps
1 Gbps
10 Gbps
Aspera FASP™
10 Mbps 140 Min 23.3 140 Min 23.3 140 Min 23.3
100 Mbps 14 Min 2.3 Hrs 14 Min 2.3 Hrs 14 Min 2.3 Hrs
1 Gbps 1.4 Min 14 Min 1.4 Min 14 Min 1.4 Min 14 Min
10 Gbps 8.4 Sec 1.4 Min 8.4 Sec 1.4 Min 8.4 Sec 1.4 Min
SPEED PREDICTABILITY SCALE
© IBM Corporation 12
text
FASP™ – Gerenciamento com Controle Adaptivo de Taxa de Transferência
Extraordinary bandwidth control • Automatic, full utilization of available bandwidth • Protection of other network traffic with “fair” policy • Allows “bursts” in TCP traffic and reclaims
unused bandwidth as it as it becomes available
Real-time prioritization of transfers • Highly-concurrent transfer stacking • On-the-fly, per flow, user and job prioritization • Concurrent transfers adjust bandwidth
consumption on the fly, allocating available bandwidth based on transfer priority
System-wide monitoring and reporting • Real-time progress and performance analysis • Real-time bandwidth utilization • Detailed transfer history, logging and manifest
© IBM Corporation 13
text
Visão Geral do Portfolio
FASP™ PATENTED HIGH-‐SPEED TRANSPORT
Web, Desktop, Email, Mobile, Embedded
Private On Premise
Distribu9on, sharing, collabora9on and exchange
Transfer management, monitoring and automa9on
Scalable, high-‐performance synchroniza9on and replica9on
TRANSFER CLIENTS WEB APPLICATIONS MANAGEMENT & AUTOMATION
SYNCHRONIZATION
TRANSFER SERVERS
Any Data Size, Any Distance, Any Network Condi9ons Any Infrastructure: Block, Object, On Premise, Cloud
Public and Private Cloud Hybrid
© IBM Corporation 14
text
Exemplo de Topologia
© IBM Corporation 15 © IBM Corporation 15
Cenários de Uso
© IBM Corporation 16
text
Compartilhamento de Arquivos Exemplos de Requisitos • A empresa quer um portal web para os empregados compartilharem grandes ativos digitais.
• Os ativos digitais estão em apenas um data center da empresa.
• Connect Server • Console
Connect Browser Plug-In
Connect Browser Plug-In
Connect Browser Plug-In
Connect Browser Plug-In
…
© IBM Corporation 17
text
Distribuição de Conteúdo Exemplos de Requisitos • Hub and Spoke: replicação automática do conteúdo em servidores distribuídos em localidades diferentes
• Distribuição contínua do conteúdo de um local central para outros locais
• Aspera Sync • Enterprise Server • Console
Desktop Client
• Aspera Sync • P2P Client
• Aspera Sync • P2P Client
• Aspera Sync • P2P Client
© IBM Corporation 18
text
Transferência de Arquivos entre Escritórios Distribuídos
Exemplos de Requisitos • A empresa precisa transferir arquivos entre escritórios distribuídos (ex: matriz e filial). • As transferências podem ser iniciadas tanto da matriz quanto da filial. • Cada transferência tem em média de 5GB a 10GB. • Todas as transferências são monitoradas e controladas.
• Aspera Enterprise Server* • Aspera Console
…Aspera Enterprise Server*
Aspera Enterprise Server*
* Caso um nó apresente no máximo uma sessão de transferência simultânea, pode ser utilizado o Aspera P2P Client.
© IBM Corporation 19
text
Transferência de Arquivos na Agencia de Inteligência Geoespacial
Desafio • NGA precisava transferir dados de monitoração obtidos a partir de sensores em suas
bases militares distribuídas no mundo para os Estados Unidos. • As distâncias eram tão grandes que soluções baseadas em FTP e TCP não conseguiam
atender a demanda e os dados tinham que ser enviados através de um avião de carga C-130 para Europa e Estados Unidos.
Solução • ES155 em 2 localidades, com crescimento para Console e ES1G em 6 localidades.
Resultados: • A solução Aspera permitiu a Agência utilizar a banda toda, permitindo a transferência
completa dos arquivos. O projeto foi tão bem sucedido que evoluiu para a utilização de múltiplos circuitos OC3.
© IBM Corporation 20
text
Troca de Arquivos entre Colaboradores Exemplos de Requisitos
• A empresa necessita enviar e receber grandes pacotes de dados para terceiros (fornecedores, auditores, etc). • É necessário um disponibilizar um “dropbox” para os usuários enviarem arquivos. • A empresa não quer criar uma aplicação customizada para esta finalidade. • Por motivos de segurança drives em núvem pública não são uma opção. • Atualmente os dados são enviados via Sedex.
• Faspex • Connect Server • Console
Connect Browser Plug-In Connect
Browser Plug-In
Connect Browser Plug-In
Connect Browser Plug-In
…
© IBM Corporation 21
text
Troca de Arquivos em Alta Velocidade na Universal Pictures
Desafio • Processo complexo de pós produção envolvendo várias entidades tanto
dentro quanto fora do estúdio. • Troca colaborativa de mídia de alta resolução ao redor do mundo. • Excessivas configurações e necessidades de treinamento para cada projeto. • Requisitos de segurança e auditoria para proteger capital intelectual.
Solução • Aspera Faspex utilizado como uma forma segura de enviar, receber e
compartilhar ativos digitais globalmente entre instalações de produção, pós-produção e parceiros de efeitos visuais.
Nas Palavras Deles • “nosso padrão aprovado para transferência de conteúdo ao redor do mundo” • “interface e configurações intuitivas, novos usuários simplesmente entram em
uma página web, clicam, arrastam e soltam. Não poderia ser mais fácil.”
• Redução nos tempos de
configuração de 2-3 semanas para
2-3 horas
• Tamanhos de arquivos até 30GB
© IBM Corporation 22
text
Compartilhamento de Arquivos Exemplos de Requisitos • A empresa quer um portal web para os empregados compartilharem grandes ativos digitais.
• Os ativos digitais estão em 3 data centers da empresa: São Paulo, Fortaleza e Rio.
• Shares • Connect Server • Console
Connect Browser Plug-In
Connect Browser Plug-In
Connect Browser Plug-In
Connect Browser Plug-In
…
Connect Server Connect Server
© IBM Corporation 23
text
Compartilhamento de Conteúdo de Cinema em Alta Velocidade com Aspera
Desafio • Distribuição de conteúdo para os cinemas na região Asia-Pacific. • Originalmente possível apenas através de dispositivos físicos.
Solução • Solução baseada no Aspera Shares rodando em nuvem para receber inúmeros
arquivos de vídeo de uma rede de parceiros globais e distribuir eles para os cinemas clientes na região Asia-Pacific.
Resultados • O uso da tecnologia FASP viabilizou o recebimento e distribuição de conteúdo do
Reino Unido e Estados Unidos e distribuição na região Asia-Pacific através da rede. • O uso combinado de infraestrutura de nuvem com a tecnologia Aspera permite a
CinemaCloud obter escalabilidade da capacidade de transferência on demand.
“Choosing Aspera as the transport
foundation for our service makes cloud-based video hosting
and distribution technologically
feasible and cost effective.”
Tony Laughton, CEO
© IBM Corporation 24
text
Replicação de Dados Exemplos de Requisitos • Replicar dados críticos da empresa para um site de contingência/disaster recovery.
• Aspera Sync • P2P Client • Console
• Aspera Sync • P2P Client
Disaster Recovery Site
© IBM Corporation 25
text
Aplicação Web Customizada Exemplos de Requisitos • A empresa quer construir uma aplicação web customizada que usa o protocolo FASP para acelerar a entrega de dados.
• Os clientes da empresa irão acessar a aplicação web para fazer download dos arquivos.
• Connect Server • Aspera Developer Network/SDK • Console
Connect Browser Plug-In
Connect Browser Plug-In
Connect Browser Plug-In
Connect Browser Plug-In
…
© IBM Corporation 26 © IBM Corporation 26
Obrigado! [email protected]
© IBM Corporation 27
text
Transferência de Arquivos entre dois Pontos
Exemplos de Requisitos • A empresa precisa de uma ferramenta para transferir com segurança arquivos entre dois locais. • Um único usuário transfere alguns GB por dia entre os dois sites uma transferência por vez.
Aspera Point-to-Point Client* Aspera Point-to-Point Client*
* Caso as transferências sejam sempre iniciadas a partir de um mesmo local, este pode utilizar o Aspera Desktop Client.
© IBM Corporation 28
text
Aplicação Desktop Customizada Exemplos de Requisitos • A empresa quer construir uma aplicação desktop Java que usa o protocolo FASP para acelerar a entrega de dados.
• Os clientes da empresa irão acessar a aplicação desktop para fazer download e upload de arquivos.
• Enterprise Server • Aspera Developer Network/SDK • Embedded Client Add-On • Console
Aplicação Java customizada utilizando bibliotecas Aspera
© IBM Corporation 29
text
Desafios com TCP e tecnologias alternativas
Distância degrada as condições em todas as redes • Latência (ou round trip time) aumenta • Perda de pacote aumenta • Redes rápidas também estão sujeitas a degradação
Performance do TCP degrada com a distância • O gargalo da taxa de transferência se torna mais severo com
o aumento da latência e perda de pacotes.
TCP não escala com a largura de banda • TCP projetado para largura de banda pequena • Aumento na largura de banda não aumenta a velocidade
Tecnologias Alternativas • TCP-based – Latência de rede e perda de pacotes tem que ser baixas • UDP traffic blasters – Ineficiente e desperdício de banda • Data caching – Inadequado para muitos arquivos grandes • TCP Modificado – Melhora na performance do TCP mas insuficiente para redes rápidas • Compressão de dados – Demorado e impraticável para certos tipos de arquivos • CDNs – Alto overhead e caros de escalar
© IBM Corporation 30
text
FASP™: Transporte de Alto Desempenho
Velocidade Máxima para as Transferências • Máxima eficiência de transferência ponto-a-ponto • Desempenho das transferências escalam com a banda
independente da distância e resiliente a perda de pacotes
Prevenção de Congestionamento e Políticas de Transferência • Utilização automática da banda disponível • Priorização on-the-fly e alocação de banda
Segurança e Confiabilidade • Autenticação segura dos usuários • Criptografia AES-128 em trânsito e at-rest
Gerenciamento, Monitoração e Controle Escaláveis • Visibilidade em tempo-real do progresso, desempenho e utilização
de banda • Histórico detalhado das transferências
Baixo Overhead • Menos que 0.1% de overhead com 30% de perda de pacotes • Alto desempenho com arquivos grandes ou grandes conjuntos de
pequenos arquivos
© IBM Corporation 31
text
Netflix depends on Aspera for media delivery to the cloud
Challenge • Strategic shift to leverage the cloud for transcoding • Eliminate large upfront CapEx in infrastructure and reduce OpEx • Accelerate turn around times to bring content to` subscribers sooner
Solution • Aspera On Demand with Direct-to-S3 technology to move the content into AWS
S3 storage for transcoding and streaming out to its customers
In their words • “…ingest of the video was the bottleneck…” • “…large video files from the studios now land directly in the Amazon cloud…” • “…when it touches down it is encrypted, secure, durable…”
• Transfer rate improvements of up to 10x
• Averaging 100TB content inbound per month