Post on 04-Jun-2015
April 12, 2023Hogeschool voor Wetenschap &
Kunst 1
ing. Stefan VerbruggenNetwerk- en systeembeheerder
Hogeschool voor Wetenschap & Kunst
Agenda1. Inleiding: Novell Xen
2. Waarom Novell Xen voor W&K ?
3. W&K: Oude situatie => einddoel
4. Beheer Xen-omgeving
5. Beperkingen xen => oplossingen
6. Suspend / save / migration / live migration
7. W&K: live migration
8. W&K: volgende stap
9. PlateSpin: P2V, V2P, P2P, V2V
10. Vragen
04/12/23Hogeschool voor Wetenschap &
Kunst 2
April 12, 2023Hogeschool voor Wetenschap &
Kunst 3
1. Novell - SuSE - Xen Virtualisatie geïntegreerd in een volwaardige linux
distributie.
Para- en full-virtualization.
Xen = hypervisor die rechtstreeks runt op de serverhardware
Novell YES Certified™ program, Novell Ready Application Compatibility Logo Program, SUPPORTED compatibility logo)
April 12, 2023Hogeschool voor Wetenschap &
Kunst 4
Xen: componentenA Virtual Machine Host runs:
Xen Hypervisor The Xen hypervisor, sometimes referred to generically as a virtual machine monitor, is an
opensource software program that coordinates the low-level interaction between virtual machines and physical hardware.
Host desktop environment: domain 0 SLES provides GUI and CLI to manage the virtualization environment Xend (xen daemon): stores configuration info, controls how virtual machines are created and
managed. Modified version of QEMU: emulates a full computer system (full virtualization only)
Xen virtual machines: domain1,2,3, ... A virtual machine contains: At least one virtual disk (with bootable operating system). Can be based on a file (W&K),
partition, logical volume or any type of block device. Virtual machine configuration information, which can be modified by exporting a xml-based
configuration file from xend or through Virtual Machine Manager.
Management tools, commands en configuration files There are a combination of GUI tools, commands, and configuration files to help you manage
and customize your virtualization environment.
Xen: componenten
April 12, 2023Hogeschool voor Wetenschap &
Kunst 6
Full Virtualization
Guest operating systems are hosted on virtual machines in either full virtualization mode or paravirtual mode. Each virtualization mode has advantages and disadvantages.
FULL VIRTUALIZATION MODE lets virtual machines run unmodified operating systems, such as Debian Linux, RedHat 8-9, Windows* Server 2003-2008, Windows XP and Vista, but requires the computer running as the virtual machine host to support hardware-assisted virtualization technology, such as AMD* Virtualization or Intel* Virtualization Technology.
Some guest operating systems hosted in full virtualization mode, can be configured to run SUSE Linux Enterprise Virtual Machine Drivers instead of operating-system-specific drivers. Running virtual machine drivers improves performance dramatically in guest operating systems, such as Windows XP-Vista and Windows Server 2000-2003-2008 (32 or 64-bit).
April 12, 2023Hogeschool voor Wetenschap &
Kunst 7
Para Virtualization
PARAVIRTUAL MODE does not require the host computer to support hardware-assisted virtualization technology but does require its operating system to be modified for the virtualization environment.
Typically, operating systems running in paravirtual mode enjoy better performance than those requiring full virtualization mode.
Operating systems currently modified to run in paravirtual mode are referred to as paravirtualized operating systems and include SUSE Linux Enterprise Server 10, 11 and NetWare® 6.5 SP7.
April 12, 2023Hogeschool voor Wetenschap &
Kunst 8
Para & Full Virtualization
April 12, 2023Hogeschool voor Wetenschap &
Kunst 9
Limieten
VM=Virtual Machine - PV=Para Virtualization – FV=Full Virtualization
April 12, 2023Hogeschool voor Wetenschap &
Kunst 10
April 12, 2023Hogeschool voor Wetenschap &
Kunst 11
April 12, 2023Hogeschool voor Wetenschap &
Kunst 12
2. Waarom Novell-Xen ? Geen extra softwarekost voor W&K:
W&K heeft een ALA met Novell waarin SLES is opgenomen.
unix = stabiel, performant, geen overhead.
Xen = stabiel, eenvoudig in beheer. VM = disk-image(s) + xml-configuratiebestand
Eigen ontwikkelingen/uitbreidingen zijn relatief snel en eenvoudig te realiseren op een unix-host (sh, perl, c++).
April 12, 2023Hogeschool voor Wetenschap &
Kunst 13
PrijzenSUSE LINUX ENTERPRISE SERVER 11 SLES 1 year - Basic (only updates & patches) : 290 € / jaar SLES 1 year - Standard Support (office hours) : 660 € / jaar SLES 1 year - Priority Support (24/7) : 1240 € / jaar
VIRTUAL MACHINE DRIVER PACK VM driver pack - 1 year - up to 4 VMs : 248 € / jaar VM driver pack - 1 year - unlimited VMs : 580 € / jaar
Gratis alternatief: OpenSuse ftp://ftp.belnet.be/mirror/ftp.opensuse.org/distribution/11.2/iso/
April 12, 2023Hogeschool voor Wetenschap &
Kunst 14
3. Oude situatie 30 fysieke toestellen:
eBib, dns, ldap, idp, webmail, webmail2, anti-spam, mail-relay, sws, www2, www3, dho, listserv, ibamaflex, etopia(ftp)
Informatsql, amosasql, syllabussql, transaccount, ts1, ts2, ts3, gwmail1, dnsmrtg, u-schijf, intranet1, intranet2, studnetmon, winxpadm, m0n0wall, sniffer
Verschillende operating systemen: RedHat 8, SLES 9.3, SLES10.x, OpenSuse 10.x
Debian, BSD, Windows 2000-2003-2008-XP
April 12, 2023Hogeschool voor Wetenschap &
Kunst 15
April 12, 2023Hogeschool voor Wetenschap &
Kunst 16
Virtualisatie: status Eerste virtualisatie-ronde
+ 6 Xenhosts aangeschaft over een periode van 2 jaar eerste toestel in maart 2008 laatste november 2009
-20 fysieke servers
Voorlopig resultaat 17 fysische servers: 11 dedicated + 6 Xenhosts 21 virtuele machines (19 live, 2 in test)
Beoogd eindresultaat 28 virtuele machines gespreid over 6 Xenhosts 2 fysieke toestellen: sniffer + m0n0wall
April 12, 2023Hogeschool voor Wetenschap &
Kunst 17
UPS1: - 500 Watt
UPS2: - 250 Watt
UPS3: - 200 Watt
UPS4: - 50 Watt
April 12, 2023Hogeschool voor Wetenschap &
Kunst 18
Evolutie stroomverbruik servers
April 12, 2023Hogeschool voor Wetenschap &
Kunst 19
HardwareMinimale config (2~3 guests) HP DL360~380 ML350~370
Min 6 GB RAM Min 2 NICs Min één Quad Core Intel CPU
met VT technologie1
of Min één AMD-Opteron Quad
Core CPU met AMD-V technology
Voldoende diskruimte
W&K Config (tot 7 guests) HP DL380G5(G6) Prijs ~5000 € incl. 5Y 4H
support business hours 16 GB RAM 6 (8) NICs + iLO 2 x Quad Core Intel CPU met
VT technology1
~540 GB SAS 10Krpm SAN (15Krpm)
1 Intel VT en AMD-V zijn noodzakelijk om MS Windows OS virtueel te kunnen runnen.
April 12, 2023Hogeschool voor Wetenschap &
Kunst 20
Software: nodige (free) tools Putty http://www.putty.org/
WinSCP http://winscp.net
RealVNC http://www.realvnc.com
MagicISO http://www.magiciso.com/tutorials/miso-magicdisc-overview.htm
April 12, 2023Hogeschool voor Wetenschap &
Kunst 21
4. Beheer Xen-omgeving Via GUI: “virt-manager”
Via CLI: “xm” commando
April 12, 2023Hogeschool voor Wetenschap &
Kunst 22
virt-manager (X-Windows)
April 12, 2023Hogeschool voor Wetenschap &
Kunst 23
virt-manager: VM console
April 12, 2023Hogeschool voor Wetenschap &
Kunst 24
CLI: commando “xm”
April 12, 2023Hogeschool voor Wetenschap &
Kunst 25
CLI: commando xm en brctl
April 12, 2023Hogeschool voor Wetenschap &
Kunst 26
CLI: commando xentop
April 12, 2023Hogeschool voor Wetenschap &
Kunst 27
CLI: xm list –l <VM>
April 12, 2023Hogeschool voor Wetenschap &
Kunst 28
5. Beperkingen: console Console VM overnemen kan via virt-manager.
Nadeel: X-Windows. Verbinden met xenhost via VNC, starten virt-manager, openen console.
VNC-verbinding met console van VM vanaf een werkstation (MS-Windows) is omslachtig: Standaard: vnc-poort wordt dynamisch toegekend bij starten VM. Vnc-poort fixed maken kan, maar is een manuele ingreep.
Oplossing Ontwikkeling client-tool die dynamisch de VNC poorten (en andere
nuttige gegevens) opvraagt van alle actieve VMs op de xenhosts. Ontwikkelomgeving Visual Studio, C++ en scripting op xenhosts.
April 12, 2023Hogeschool voor Wetenschap &
Kunst 29
Oplossing: console
April 12, 2023Hogeschool voor Wetenschap &
Kunst 30
Oplossing: console
April 12, 2023Hogeschool voor Wetenschap &
Kunst 31
Oplossing: console
April 12, 2023Hogeschool voor Wetenschap &
Kunst 32
Parallel, serial en usb devices ? Onder Xen-3.2.0 NIET ondersteund. Work-around via usb-server for linux (free) en usb-
redirector voor windows (betalend). http://www.usb-server.com/product.html http://incentivespro.com/usb-redirector.html
April 12, 2023Hogeschool voor Wetenschap &
Kunst 33
6. pause, suspend, save
xm pause – xm resume a paused session will be lost if the host system is rebooted. Also, be
aware that a paused system continues to reside in memory.
xm suspend – xm resume the current status of the guest operating system is written to disk and
removed from system memory. A suspended system may subsequently be restored at any time (including after a host system reboot).
xm save – xm restore similar to suspending with the exception that the file used to contain the
suspended operating system memory image can be specified by the user (and can be copied to another system).
April 12, 2023Hogeschool voor Wetenschap &
Kunst 34
regular migration
Shared storage is required for any migration (SAN)
Regular migration: xm migrate <vm-name> destination host Execution of the VM is paused Memory and process information is transferred from the source host to
the destination. Execution of the VM is resumed on the destination server. DRAWBACK: loss of network connections.
April 12, 2023Hogeschool voor Wetenschap &
Kunst 35
live migration
Live migration: xm migrate –live <vm-name> destination host Suitable for applications where your business cannot tolerate any
downtime. The VM is migrated while in operation, no network connections are lost.
Requires: Two xenhosts correctly configured for migration. A fast stable network connection between these two servers. Both
servers must be on the same layer 2 network and IP subnet. This allows for the migration of network connections to the virtual machine.
Shared storage accessible to both host servers (SAN). The same version of XEN on both hosts.
April 12, 2023Hogeschool voor Wetenschap &
Kunst 36
7. W&K: live migration Xenhosts
5 x HP Proliant DL380G5 + 1 x DL380G6 3 clusters SLES 10.2 64-bit OCFS2 (Oracle Clustered Filesystem 2)
POSIX-compliant symmetric shared-disk cluster file system for Linux, capable of providing both high performance and high availability.
http://oss.oracle.com/projects/ocfs2/ o2cb heartbeat
Netwerk Cisco Catalyst 3560G-48TS-S
Shared storage SAN: 2 x HP MSA 2312fc
April 12, 2023Hogeschool voor Wetenschap &
Kunst 37
W&K: live migration
HPStorageWorks
MSA2000
Model 2212fc
MSA2312fc SAN112 x 450 GB SAS 15Krpm
RAID 6 => 450*10 GB = 4,5 TB
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
73625140 15111410139128 2319221821172016HP StorageWorks 8/24 SAN Switch
HPProLiant
DL380G5
UID 1 2
1 2 3 4 5 6 7 8
DIMMS
PCIRISERCAGE
FANS
PROCPROC
PP
M
PP
M
INTERLOCK
OVERTEMP
MIRROR
ONLINESPARE
POWERSUPPLY
POWERSUPPLY
XENSERV3 DL380G5serial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GB
HPProLiant
DL380G5
UID 1 2
1 2 3 4 5 6 7 8
DIMMS
PCIRISERCAGE
FANS
PROCPROC
PP
M
PP
M
INTERLOCK
OVERTEMP
MIRROR
ONLINESPARE
POWERSUPPLY
POWERSUPPLY
XENSERV6 DL380G5serial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GB
O2CB cluster XEN35 “GREEN”
HPProLiant
DL380 G6
FANS
PROC
1
PROC
2
POWERSUPPLY
2POWERSUPPLY
1 OVERTEMP
POWERCAP
1 2 3 4
9
8
7
6
5
4
3
2
1 1
2
3
4
5
6
7
8
9
ONLINESPARE
MIRROR
UID
2
1
4
3
6
5
8
76 5 4 3 2 1
XENSERV5 DL380G6
HPProLiant
DL380G5
UID 1 2
1 2 3 4 5 6 7 8
DIMMS
PCIRISERCAGE
FANS
PROCPROC
PP
M
PP
M
INTERLOCK
OVERTEMP
MIRROR
ONLINESPARE
POWERSUPPLY
POWERSUPPLY
XENSERV4 DL380G5serial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GB
O2CB cluster XEN46 “BLUE”
HPProLiant
DL380G5
UID 1 2
1 2 3 4 5 6 7 8
DIMMS
PCIRISERCAGE
FANS
PROCPROC
PP
M
PP
M
INTERLOCK
OVERTEMP
MIRROR
ONLINESPARE
POWERSUPPLY
POWERSUPPLY
XENSERV2 DL380G5serial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GB
HPProLiant
DL380G5
UID 1 2
1 2 3 4 5 6 7 8
DIMMS
PCIRISERCAGE
FANS
PROCPROC
PP
M
PP
M
INTERLOCK
OVERTEMP
MIRROR
ONLINESPARE
POWERSUPPLY
POWERSUPPLY
XENSERV1 DL380G5serial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GBserial scsi1 port 10k
146 GB
O2CB cluster XEN12 “RED”
serial scsi
1 po
rt 10k
14
6 G
B
serial scsi
1 po
rt 10k
14
6 G
B
serial scsi
1 po
rt 10k
14
6 G
Bseria
l scsi1
port 10
k
14
6 G
Bseria
l scsi1
port 10
k
14
6 G
B
serial scsi
1 po
rt 10k
14
6 G
Bseria
l scsi1
port 10
k
14
6 G
Bseria
l scsi1
port 10
k
14
6 G
B
HPStorageWorks
MSA2000
Model 2212fc
MSA2312fc SAN112 x 450 GB SAS 15Krpm
RAID 6 => 450*10 GB = 4,5 TB
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
450
GB
Du
al P
ort
15
kS
eri
al S
CS
I
73625140 15111410139128 2319221821172016HP StorageWorks 8/24 SAN Switch
Fiber 4Gbit
Catalyst 3560 SERIES
SYST
MODE
SPEEDDUPLX
POE
STAT
RPS
1X
18X
17X
16X2X
15X 31X
32X 34X
33X 47X
48X
11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 481 2 3 4 5 6 7 8 9 10
1
PoE-48
3
2 4
Backbone switch
6 x Gbit
8 x Gbit
6 x GBit
6 x Gbit
1 x Gbit
1 x Gbit
Catalyst 3560 SERIES
SYST
MODE
SPEEDDUPLX
POE
STAT
RPS
1X
2X
PoE-24
1 2
12X
11X
11 121 2 3 4 5 6 7 8 9 10
14X
13X 23X
24X
13 14 15 16 17 18 19 20 21 22 23 24
DMZ SWITCH
5 x Gbit
5 x Gbit
April 12, 2023Hogeschool voor Wetenschap &
Kunst 38
W&K: live migratie
Één cluster in test
Werkt voor para en full virtualized hosts, linux en windows, 32 en 64 bit.
Migratie in minder dan 1 minuut.
Zonder verlies bestaande netwerk-verbindingen.
April 12, 2023Hogeschool voor Wetenschap &
Kunst 39
8. W&K: volgende stappen
Andere clusters activeren.
SAN: snapshotting
Verdere virtualisatie serverpark
Migratie naar SLES 11
…
Platespin PowerConvert (overname Novell) Workload migration:
Live migration:
Ook bruikbaar met andere virtualisatie-omgevingen.
Vb. prijs P2V: ~175€ per migratie (steeds 2 nodig) => ~350€
April 12, 2023Hogeschool voor Wetenschap &
Kunst 40
9. PlateSpin: P2V, V2V, V2P, P2P
April 12, 2023Hogeschool voor Wetenschap &
Kunst 41
Vragen ?