INFRASTRUCTURE ZFS DANS L'OSU PYTHÉAS

INFRASTRUCTURE ZFS DANS L’OSU PYTHÉAS

Julien Lecubin Adrien Malgoyre

Journée CESAR VVT 2015

Sommaire

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Sommaire

•  Introduc@on •  L’ancienne infrastructure •  Constat •  Pourquoi choisir ZFS ? •  L’infrastructure en 2015 •  Proxmox ZFS dans le détail •  Freenas ZFS dans le détail •  Performance ZFS •  Premiers retours en produc@on •  Perspec@ves d’évolu@on

2/17 Julien Lecubin – Adrien Malgoyre – Journée VVT 2015

Introduction

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Introduction

•  Virtualisa@on OpenVZ avec la solu@on Proxmox depuis la v1

•  Containeurs linux Debian, CentOS et KVM

•  Architecture système similaire sur plusieurs sites

•  Modèle de virtualisa@on type « Ac@f-‐Backup »

•  Stockage hétérogène (OpenE, EMC, Netapp, Freenas) selon le type de données: Systèmes, Backup, Archives, Calcul

à Recyclage NAS OpenE au profit de FreeNas en 2013 à Augmenta=on exp. des volumes (mais pas des budgets)


Ancienne infrastructure

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Ancienne Infrastructure

•  RAID Matériel (Raid6) •  Système de fichier EXT4 •  Disques SATA •  U@lisa@on Freenas ZFS « basique » •  Backups/Secours avec Rsync •  Rdiff Backup occasionnellement


01/07/15

VM OpenVZ

App

eth0 eth1 eth2

VM OpenVZ

App

VM OpenVZ

App VM

OpenVZ

App

eth0 eth1 eth2

VM OpenVZ

App

VM OpenVZ

App

WAN

LACP 3x1Gbps

Bond0 Bond0 vlan2 vlanX vlan1 vlan1 vlan2 vlanX

Proxmox 2 -‐ Produc@on Proxmox 2 -‐ Secours

LACP 3x1Gbps

LACP 3x1Gbps LACP 3x1Gbps

Bond0 Bond0

Ancienne infrastructure

Infrastructure ZFS dans l’OSU Pythéas > Ancienne Infrastructure

RSYNC /H

VM OpenVZ

App

VM OpenVZ

App

VM OpenVZ

App VM

OpenVZ

App

VM OpenVZ

App

VM OpenVZ

App

Copie Dataset ZFS par rsync 1/J Freenas -‐ Produc@on Freenas -‐ Backup

Constat

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Constat

•  Solu@on globalement sa@sfaisante pour nos besoins •  ZFS sur FreeNas: Robuste •  PRA sa@sfaisant (Vms sur proxmox spare) •  Restaura@on Vms (vzrestore) J-‐1

•  Charge des Proxmox (achat nouvelles machines prévue 2015) •  Limita@on du système de fichier ext4 sur Proxmox (fsck) •  Pas de solu*on pour restaurer finement et rapidement

•  Au niveau d’un fichier du système dans une VM ou sur l’hôte (Restaura*on via nœud secours ou tar.gz de la VM)

•  Sur une donnée stockée dans un NAS (via baie de backup J-‐1)

Cela tombe bien, ZFS vient de sor@r sur proxmox 3.4…. ( 02/2015)


Pourquoi le choix de ZFS

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Pourquoi le choix de ZFS

•  S'adapte à tout type de matériels •  Adapté pour la ges@on des grosses volumétries •  Plus de Fsck au boot! (Scrubbing) •  Sécurité (RAID-‐Z) en lieu et place du raid matériel •  Performances •  Snapshots •  Réplica@on ZFS Send/Receive


01/07/15

VM OpenVZ

App

eth0 eth1 eth2

VM OpenVZ

App

VM OpenVZ

App VM

OpenVZ

App

eth0 eth1 eth2

VM OpenVZ

App

VM OpenVZ

App

WAN

LACP 3x1Gbps

Bond0 Bond0 vlan2 vlanX vlan1 vlan1 vlan2 vlanX

Proxmox 2 -‐ Produc@on Proxmox 2 -‐ Secours

LACP 3x1Gbps

LACP 3x1Gbps LACP 3x1Gbps

Bond0 Bond0

Nouvelle infrastructure

Infrastructure ZFS dans l’OSU Pythéas > Infrastructure Actuelle

VM OpenVZ

App

VM OpenVZ

RSYNC /H

App

VM OpenVZ

App VM

OpenVZ

App

VM OpenVZ

App

VM OpenVZ

App

Copie Dataset ZFS rsync 1/J

Sauvegarde VM vzdum

p NFS 1/J

Freenas -‐ Produc@on Freenas -‐ Backup

eth3 eth3

eth3 eth3

Snap ZFS 1/h

Snap ZFS 1/h

10Gbps 10Gbps

10Gbps 10Gbps

Volumétries ZFS dans l’OSU Pythéas

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Volumétries ZFS

•  4 serveurs Proxmox ZFS répar@s sur 2 sites •  10 baies FreeNAS ZFS •  ZFS = 500 To u@le :

300 To de données sciences 50 To de données diverses: home_dir, public_html, upload, Hp, samba, ... 150 To de sauvegarde

Augmenta@on de la volumétrie sous ZFS dans les mois à venir


Proxmox ZFS

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Proxmox ZFS

Site 1 : 2 serveurs (Transtec – 2 procs 32 coeurs – 64 Go RAM) Proxmox 3.4 6 disques SSD (classe entreprise Samsung) ZFS → RAIDZ-‐3 (triple parité) > 70 Vms openVZ + 1 KVM (BSD)

Site 2 : 2 serveurs (Transtec – 2 procs 24 coeurs – 64 Go RAM) Proxmox 3.4 6 disques SATA (classe entreprise WesternDigital) ZFS → RAIDZ-‐2 (double parité) > 45 Vms openVZ + 3 KVMs (BSD, Windows)


Snapshots ZFS Proxmox

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Snapshots ZFS Proxmox

Possibilité de restaurer à H-‐1 → H-‐24 (sur le nœud physique Proxmox comme sur la VM)

Granularité au niveau fichier. Exemples : -‐ 1 fichier de config dans le nœud physique Proxmox -‐ 1 fichier de config dans la VM -‐ 1 base de données, 1 table … dans une VM


Listing des Snapshots

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Snapshots ZFS Proxmox


Volume Total

Vol. Snapshot

Modèle de sauvegardes

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Modèle de sauvegardes

•  Volumétrie des machines virtuelles : Site 1 : 400 Go (ZFS) Site 2 : 190 Go (ZFS) •  Sauvegarde de nuit (vzdump) depuis le nœud de secours* *secours = copie conforme nœud de produc=on (H-‐1 max)

Backup des VMs sur FreeNAS via montage NFS, VMs éteintes •  Temps de sauvegarde : Format tar.gz Format tar.lzo Site 1 : ~ 9h Site 1: ~ 7h Site 2 : ~ 6h (Ext4) Site 2: ~ 5h30 •  Facteur limitant :

Calcul de l'archive et non le lien réseau 13/17 Julien Lecubin – Adrien Malgoyre – Journée VVT 2015

Utilisation de FREENAS

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Utilisation de Freenas

Versions 9.2.1.5 → 9.3 ~ 10 filers (12/24/36 disques) Config type : OS sur clé USB (1 spare / machine) RAID-‐Z2 (groupes de 8 disques) Disques SATA 7200 Tr/mn Contrôleur RAID HBA (LSI 9006-‐8i ou LSI 9207-‐8i ou LSI 9207-‐4i4e) 64 Go RAM (ECC) – ZFS couteux en RAM ! 3 interfaces Giga en bonding LACP + Interfaces 10 Gb/s Conven@on : 1 besoin = 1 dataset (quota, compression …) CIFS (samba) pour les usagers avec authen@fica@on LDAP (stable) NFS monté par l’hôte proxmox dans la VM (stable)


Performance ZFS

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Performance ZFS

Protocole de test : Copie via rsync d’un jeux de données vers un filer FreeNAS : •  Taille moyenne des fichiers : ~150 Mo. •  Une Interface FreeNas 10Gbps. •  Plusieurs machines clientes en 10Gbps. •  Toutes sur le même switch 10Gbps et même réseau IP.

rsync -‐-‐progress -‐av -‐e "ssh -‐c arcfour -‐o Compression=no » Résultats des copies : 1 rsync = 1 Gb/s 5 rsync = 3,2 Gb/s en moyenne (3,7 Gb/s max)


Performance ZFS



Premiers retours en production



•  Même système de fichier sur Stockage et Virtualisa@on •  S’adapte au matériel du moment •  Virtualisa@on :

•  Restaura@on très simple de H-‐1 à H-‐24 •  Supervision avec open-‐source simple à déployer

•  Stockage : •  OS sur clé USB (PRA simple) •  WebUI avec l’essen@el (quelques bugs graphiques) •  Un vrai shell Unix •  Monitoring MRTG •  Snapshot fonc@onnels avec Windows (u@lisateur autonome) •  Compression possible au niveau système de fichiers

•  Virtualisa@on : •  VZDump via cron + ZFS + VM démarrée = erreurs aléatoires •  Rsync de EXT4 à ZFS = quelques soucis (corrup@on BDD Pgsql/MySQL)

•  FreeNas + Dedup

Perspectives d’évolution

01/07/15 Infrastructure ZFS dans l’OSU Pythéas > Perspectives d’évolution

•  Commuta@on 10 Gb entre Proxmox et FreeNAS •  Diagnos@quer nos problèmes de déduplica@on (Hard? So~?) •  Copie ZFS send/receive entre volumes NAS et/ou Proxmox •  Haute disponibilité Proxmox •  Freenas : Bascule automa@que du DD hotspare*

*Implémenté uniquement sur version payante « TrueNas » •  SAMBA / LDAP sous FreeNAS 9.3 → à tester •  Nouveautés à venir FreeNAS 10 / Proxmox 4


INFRASTRUCTURE ZFS DANS L'OSU PYTHÉAS

Documents

Transcript of INFRASTRUCTURE ZFS DANS L'OSU PYTHÉAS