Cloud Computing Och Testning FöR DataföReningen 2010 02 24 Final

CLOUD COMPUTINGOCH TESTNINGDATAFÖRENINGEN– 24 FEB – 18.00

Jens Riboe

[email protected] 24 Februari

2010

Cloud Computing och Testning 24 februari 2010, för Dataföreningen2

Jens RiboeRibomation

För diverse kunder

1990 1995 2000 2005 2010

KTH Ribomation ERA

London

GoyadaWily (San Francisco)

VzB

OW RMSICS


Problem/Prestanda analys


Agenda

Varför

Vad

Hur

Vart

Vem

Vilka

Bakgrund och terminologi Användningsområden Molntyper AWS Tjänster för utvecklare Testning i EC2

Spara frågorna tills efter

presentationen

Elastic ComputingCloud ComputingSoftware as a Service

Bakgrund och Terminologi


Mellan försäljningstopparna

”Vad använder man sina servrar till

när det inte är toppbelastning såsom Xmas, Valentine’s Day?”

— undrade en av världens största detaljhandelskedjor


Det korta och oglamorösa svaret Cloud Computing är en ny paradigm

för driftsättning av applikationer Använder virtualisering i massiv

skala


Cloud Computing = V + C + A + P

Virtualization (Xen) + DataCenter (Amazon)

+ PublicAccess (SSH/X.509)

+ PricingModel ($0.08/h)


Software-as-a-Service (SaaS) Webbaserad tjänst Snabbt växande affärs område Har ingen direkt koppling till Cloud

Computing Man kan driva en SaaS tjänst från en

skrivbordsdator Prestanda blir förvisso lidande

Många stora SaaS tjänster drivs från egna servrar Ordet myntades av SalesForce


Relationen SaaS vs. CC

Consumer Provider

SaaS Cloud Computing


XaaS

Det finns många varianter av Something-aaS

Component-as-a-Service Specialiserade tjänster för webb-

applikationer Platform-as-a-Service

Applikations-exekverings-miljö Infrastructure-as-a-Service

Virtuella resurser såsom, servrar, hårddiskar, köhanterare, datalagring, IP-adresser

Extra datakraftEnkel driftsättningSkalbara applikationerStora databehandlingar

Användningsområden


(1) Extra datakraft

Projekt servrar Test servrar Last generatorer . . .

Slit & släng åldern för

servrar


(2) Enkel driftsättning

Vad behöver man en driftsättningsavdelning till, när man kan sköta jobbet självt med några klick? 5 min


(3) Skalbara applikationer

Exempel: animoto.com

1

2

3

4/11/08 4/12/08 4/13/08 4/14/08 4/15/08 4/16/08 4/17/08 4/18/08 4/19/080

500

1000

1500

2000

2500

3000

3500

4000

Från 10 till 3500 servrar på en vecka

Users:Monday: 25K UsersTuesday: 50K UsersWednesday: 100K UsersThursday: 250K Users

Platform:EC2SQSS3RightScaleRuby on Rails


(4) Stora data behandlingar

Batch körningar Analys av transaktionsloggar Stora konverteringsarbeten

Används av Google Yahoo LastFM Facebook . . .

Källor: http://www.slideshare.net/acarlos1000/hadoop-basics-presentation/28http://open.blogs.nytimes.com/2007/11/01/self-service-prorated-super-computing-fun/

InfrastruktursmolnApplikationsmolnDatabehandlingsmoln

Molntyper


Infrastruktursmoln

Hosting, men i massiv skala Fokus på servrar och datalagring Elastic computing – virtuella servrar Elastic storage – virtuella hårddiskar Lagringstjänster – SAN Kö-tjänster – job/task queue Statiska IP adresser


Några aktörer

Amazon Web Services (AWS) Först, störst och bäst

Hosting företag myCityCloud Rackspace GoGrid …


Eget privat moln

Eucaluptus Open source version av AWS API kompatibelt med ECS/EBS/S3 Standard i Ubuntu Server 9.x

Enomaly Det system som AWS själva kör


Applikationsmoln

Distribuerad plattform för applikationer

Google App Engine (GAE) Java/Python, BigTable

Salesforce Force.com Eget scriptspråk, Oracle, enterprise grade

Windows Azure .NET


Databehandlingsmoln

Storskalig extraktion/aggregering av information

Apache/Yahoo Hadoop Exekvering över 100-tals noder

Yahoo har ett Hadoop kluster på 20000+ noder

Java open-source implementation HDFS (idé från Google FileSystem GFS) MapReduce (idé från Google map-reduce) Hive (idé från Google BigTable)


Det ”mänskliga” molnet

Många människor som utför repetitiva uppgifter

Den mekaniska turken (Automaton Chess Player) [1770-1854] lanserades som en schackspelande maskin. Emellertid, så satt det faktiskt en människa inuti, som utförde schackdragen.

AWS – Amazon Web Services


EC2 / EBS / S3 / AMI / EIA / SQS

DNS

EBS

EC2

EIA

static IP

putget

SAN

HTTP

SSH & RDP22 & 3389

Security Group

AMI

HTTP80

S3

SQS

Inget är åtkomligt om man inte först öppnar en port i brandväggen.

SDB

RDBMySQ

L


EC2 Instance Types

Name Cores Compute

Units

Bits RAM [GB]

Disk [GB]

$/h

Small 1 1 32 1.7 160 0.085

Large 2 4 64 7.5 850 0.34

X-Large 4 8 64 15 1690 0.68

High CPU

Medium 2 5 32 1.7 350 0.17

X-Large 8 20 64 7 1690 0.68

High Memory

X-Large 2 6.5 64 17.1 420 0.50

XX-Large 4 13 64 34.2 850 1.20

XXXX-Large

8 26 64 68.4 1690 2.40

One EC2 Compute Unit (ECU) provides the equivalent CPU capacity of a 1.0-1.2 GHz 2007 Opteron or 2007 Xeon processor.


Operativ System

Det går att med lite Linux händighet bygga en AMI från en tom diskblock fil

Många färdiga konfigurationer


Global driftsättning

En region består av en eller flera zoner US-East (North Virginia) US-West (North California) EU (Ireland) ASIA (Singapore) - planned

En zone utgör ett logiskt data center Ett logiskt data center är resursmässigt helt fristående

US

EURegions


Priser


AWS Ekonomi

As you go USD 0,085/h (EC2 Small)

Reserved Instance USD 0,03/h + 227/yr USD 0,03/h + 350/3yr

Spot Bidding


CloudWatch

Övervakning av EC2 servrar


Auto-Scaling

Automatisk uppstartning och nedtagning av servrar beroende på aktuell last

Bygger på CloudWatch


Load Balancing

Automatisk fördelning av last över olika Servrar Zoner Regioner


CloudFront

World-wide distributed cache for static content

Caching av statisk data i S3

S3


AWS EC2

Exempel på utvecklartjänster


Versionshantering++

Hantering av källkod Versionshantering Tickets Milestones Wiki Blog RSS . . .


Component-as-a-Service

Specialiserade SaaS tjänster för webb applikations utveckling


Test @ EC2

Driftsätt målsystemet temporärt i molnet Använd en lastgenereringstjänst Används en prestanda-monitorerings-tjänst Terminera servrarna och iterera

Nästa konfigureringsuppsättning

Kan köra godtyckligt många testsviter parallellt


Lasttestningstjänster

Generering av massiv trafik Geografiskt spridd


Monitoreringstjänster

Produktionsövervakning De som erbjuder lasttestning har även

övervakning Men det finns också specialister

Många open-source tools, för egen drift i EC2 Munin, Cacti, Nagios, Ganglia, …


LoadStorm

Lätt att komma igång Gratis för ”funktionstest” Två olika prismodeller

Per månad Per test


Testning med LoadStorm

ArkitekturPåverkanFörändring

Utvecklingen


Arkitektur

I stället för några få men sofistikerade och dyra servrar

Har man ett stort antal små men enkla och billiga servrar

Fördelar Skalbarhet Feltolerans Flexibilitet Billigare


Påverkar

Design av nya applikationer Skalbara och feltoleranta från början

Val av open-source Löser licens frågan

Testning av dessa applikationer Mer omfattande testning på kortare tid

Driftsättning av dessa applikationer Enklare och lättare att prova sig fram och

förändra


Förändrar

Drift avdelningen Kan rulla ut ny konfig på en timme

Programmerings avdelningen Kan skapa en mashup på en timme

Test avdelningen Kan köra hela testsviten på en timme

Affärsdrivande avdelningar Kan dra igång eget projekt på en timme

Sammanfattning


Fördelar med Cloud Computing Tekniska fördelar

Capacity on demand Scale Up & Scale Down Fault Tolerant Simple Architecture

Ekonomiska fördelar No Up-Front Capital Investment Pay as you go Start Small & Pay as You Grow


I korthet

Användningsområden Extra servrar Bekväm driftsättning Skalbara

applikationer Stora

databehandlingar Molntyper

Infrastruktur Applikation Databehandling

Förändrar Applikationer Ekonomi Organisationer

Termer Elastic Computing Cloud Computing Software-as-a-Service Component-aaS Infrastructure-aaS Platform-aaS


Frågor

Jens Riboe+46 (0)730-314040

[email protected]

Cloud Computing Och Testning FöR DataföReningen 2010 02 24 Final

Technology

Transcript of Cloud Computing Och Testning FöR DataföReningen 2010 02 24 Final