Grafikkprosessering på sky

Grafikkprosessering

• Grafikkprosessering = Render• Lage bilder ved hjelp av datamaskiner• Animasjon krever massiv datakraft

Renderfarm

• Nettverk av maskiner

• Klynge = Cluster

• Parallell prosessering

• Virtualisering

Amazon EC2

• Introduseres i 2006

• XEN plattform

• Skalerbar infrastruktur

Amazon EC2

• Leie per time• EC2 sone

Instanstype USA East USA WEST EU WEST APAC

C1.xlarge $ 0.68 per time $ 0.76 per time $ 0.76 per time $ 0.76 per time

Er det mulig å skape en renderfarm på sky?

Prosjekt Ymer

Problemstillingen

1. Utvikle en grafikkprosesseringsprototype• Basert på åpen kildekode• Som kan sendes ut på en nettsky

2. Undersøkelser i forhold til• Ytelse• Forutsigbarhet• Kvalitet• Kostnadsmessige aspektene• økonomisk lønnsom for små og mellomstore bedrifter

Prosjektets kompleksitet

• Ingen tidligere dokumentasjon

• Mye å sette seg inn i

• Amazon Ec2 – gir mulighetene, ikke verktøyene

Utgangspunktet…

Metode og design

• Vitenskapelig undersøkelsesmetode

• Dokumentasjon Prosjektdesign Hva? Hvorfor? Hvordan?

Konseptuel modell av Prototype Implementering av prototype (Ymer) Testbok Analyse og resultat

Implementering av Ymer

Ymers plattform

• Debian Linux• Xen Hypervisor• MLN• Administrasjon går via

dom 0• Ymer vil ligge på dom U

i flere versjoner

Mester og slavenode

• Linux Image for mesternode (DrQueue, NFS)• Linux Image for slavenode (DrQueue, NFS, Blender)

Hvordan starte opp en renderfarm på et annet nettverk?

• Enhver virtuell maskin som startes på Amazon EC2 tildeles dynamisk IP

• Vi vet ikke hva denne IP-adressen blir på forhånd

• Hvordan skal vi kunne koble de virtuelle maskinene sammen?

• Hvordan skal vi kunne konfigurere programvaren som krever en kjent IP?

Dynamisk DNS• www.dyndns.com

• Dynamisk DNS ”sporer” IP-adresser

• Man registrerer en IP-adresse med et navn

• For eksempel, så kan 128.39.73.232 bli renderfarm.dyndns.com

• Dette gjør det mulig å nå noden uten å kjenne den faktisk IP-adressen

Integrering av verktøy

• Nødvendig fordi nodene er ”blinde” i det de starter opp på EC2

• Sørger for at slavenodene finner mesternoden og kobler seg til den

• Sørger for nødvendige konfigurasjoner

• DrQueue startes på alle noder

Arkitektur

DrQman

Testene

Testene1. Måle tiden og døgnvariasjon på en grafikkprosesseringsoppgave på EC2, sone US, instanstype

c1.small

2. Måle tiden og døgnvariasjon på en grafikkprosesseringsoppgave på EC2, sone EU, instanstype c1.small

3. Måle tiden det tar å bygge, sende, starte og pinge et renderfarmprosjekt ut på en nettsky

4. Grafikkprosessering av en stor fil, med økt antall noder. Er det samsvar mellom økt antall noder og kraft brukt i forhold til tid? (proporsjonalt / uproporsjonalt?)

5. Måle nedlastningstid av iso-fil fra sky, til server over 24 timer.

6. Måling av pakke og bytestrøm under grafikkprosessering

7. Tid det tar å starte et prosjekt til Amazon har allokert minne til alle noder

8. Lokal grafikkprosessering med en slavenode

9. Kostnader (undersøkelser og vurderinger rundt kostnadsaspektet)

Gjennomføring av testene

Innhenting av testresultater:• Manuelt:

– Gjennomføring av grafikkprosessering og notering av resultat: tidsbruk og bildetap

• Måleverktøy:– Testscript for måling av tidsbruk og nettrafikk

OmfangetVariasjoner:• Døgnvariasjoner• Variasjoner på filstørrelse• Variasjoner på instanstype• Variasjoner på antall slavenoder

Repetisjoner og tilleggstester:• Mange repetisjoner• Tilleggstester ved interessante funn

Resultater av tekniske tester

Test 1 Test 2 Test 3 Test 400:00:00

00:02:52

00:05:45

00:08:38

00:11:31

00:14:24

00:17:16

Tiden det tar å grafikkprosessere en fil med 3000 bilder

2 slavenoder4 slavenoder8 slavenoder16 slavenoder

Testomgang

Tid

Ytelse og kvalitet

Test 1Test 2

Test 3Test 4

0

5

10

15

20

25

30

35

40

45

2 slavenoder

4 slavenoder

8 slavenoder

16 slavenoder

Bildetap

Bildetap ved grafikkprosessering av fil med 3000 bilder

• Bildetapet øker dramatisk ved bruk av 16 slavenoder

• Hva kan være årsaken?

Begrensninger i programvaren?

00:0500:15

00:2500:35

00:4500:55

01:0501:15

01:2501:35

01:4501:55

02:0502:15

02:2502:35

02:4502:55

03:0503:15

03:2503:35

03:4503:55

04:0504:15

04:2504:35

04:4504:55

0

200000

400000

600000

800000

1000000

1200000

1400000

1600000

1800000

DrQueue - Bytes - 8 og 16 slaver

Bytes INPUT (16xl)

Bytes OUTPUT (16xl)

Bytes INPUT (8xl)

Bytes OUTPUT (8xl)

Tid

Bytes

Bytestrøm ved bruk av 8 og 16 slavenoder

2 4 8 1600:00:00

00:02:52

00:05:45

00:08:38

00:11:31

00:14:24

00:17:16

0

5

10

15

20

25

30

Sammenheng mellom antall slavenoder, grafikkprosesseringstid og bildetap

Grafikkprosesseringstid

BildetapAntall slavenoder

Grafikkprosesseringstid Antall bildetap

1 2 4 8 160

2

4

6

8

10

12

14

16

18

Tap av ytelse

Ytelses økning

Optimal ytelses øking

Antall slavenoder

Ytelse

Slavenoder Gjennomsnittstid i sekunder Slavenoder Optimal tid i sekunder

1 1800 1 18002 916 2 9004 469 4 4508 265 8 22516 189 16 112,5

Sammenligning av Ymers tid med optimal tid

EC2 sonene

• Sone EU er en nærmere destinasjon enn US

• Sone EU har lavere og jevnere tidsbruk

Hvilken sone gir best ytelse?

• Sone EU gir bedre ytelse enn US• Hvorfor?• Da burde man vel velge sone EU?

12:0013:00

14:0015:00

16:0017:00

18:0019:00

20:0021:00

22:0023:00

00:00:00

00:01:26

00:02:52

00:04:19

00:05:45

00:07:12

00:08:38

Sammenligning av grafikkprosseseringstid , Sone EU og US

2 slavenoder, Sone US

2 slavenoder, Sone EU

4 slavenoder, Sone US

4 slavenoder, Sone EU

Tidspunkt

Tid

Kostnadsdimensjonen

Innkjøpskostnad sammenlignet med antall innleide arbeidstimer

Total kostnad første år sammenlignet med antall innleide arbeidstimer

Innkjøp og drift 8 XL Noder

Ymers Proporsjonalitet

Konklusjon

Er problemstillingen besvart?

• Alle mål er nådd

• Ytelse?

• Forutsigbarhet?

• Kvalitet?

• Kostnad?

Veien videre• Ymer åpner for muligheter

- løsningen er tilgjengelig for alle

• Skaper interesse- Vi planlegger å skrive en artikkel for Norsk

informatikkonferanse (NIK)- Prosjekt Ymer får en egen prosjektside med veiledning på

hjemmesiden for MLN

• Videre utvikling– Flere brukerområder?

– Brukergrensesnitt?

– Optimalisering av løsningen?

Spørsmål?