Implementazione DAOS in ambienti enterprise
-
Upload
luca-arcara -
Category
Technology
-
view
171 -
download
3
Transcript of Implementazione DAOS in ambienti enterprise
Implementazione DAOS Implementazione DAOS in ambienti Enterprisein ambienti Enterprise
Luca ArcaraSenior Consultant
it.linkedin.com/in/arcaraluca/
Obiettivi del progettoObiettivi del progettoAbilitare la de-duplica degli allegati a circa
4700 caselle di utenze TOP in ambiente Enterprise
◦ Livello ODS di partenza 43◦ Attività non schedulabile od eseguibile tramite batch o attività notturne (anche presidiate)
◦ Minima interruzione dei servizi
DescrizioneDescrizioneLe caselle delle utenze TOP sono ferme al
livello ODS43 ed occupano circa 5.7 TerByte di storage rendendo complesse sia le attività di manutenzione ordinaria (e straordinario) che le attività di backup
800 caselle hanno dimensioni superiore al GB, con 20 TopUser che hanno database da oltre 10Gb
DescrizioneDescrizioneIl tasso di crescita delle caselle è di circa
5Gb al giorno con 40.000 messaggi ricevuto al giorno.
L’accesso alle caselle è multiplo, con utenti collegati indistintamente (ed in contemporanea) tramite protocolli POP3, WebMail, Imap e da dispositivi mobili, con tempi di refresh variabili da 3 a 5 minuti.
Descrizione dell’environmentDescrizione dell’environmentLotus Domino 8.5.3 FP3 su SOLARIS 4700 Caselle5.7 Terabyte suddivisi su 22 mountTempi di conversione:
◦ Conversione ODS43 - ODS51 => 170 Mb/min◦ DAOS e compattazione => 360 Mb/min
Numero max di processi di compact/update contemporanei: 5
Descrizione dell’environmentDescrizione dell’environmentDurante la conversione delle caselle le
utenze non possono accedere◦ Casella da 150Mb => 3 min di downtime OK◦ Casella da 1Gb => 10 min di downtime !!!!◦ Casella da 10 Gb => 100 min di downtime !!!!
E’ necessario monitorare l'accesso alla casella in modo da poter identificare i momenti in cui poter lanciare da console i comandi di conversione
Attività e PianificazioneAttività e Pianificazione Procedure per produrre di caselle con evidenza di Utente,
ODS, Path, Dimensione per suddividere le utenze in gruppi di downtime:◦ < 3 minuti ( 150 / 200 Mb )◦ Tra 3 e 10 minuti ( fino a 1 Gb)◦ > 10 minuti
Utilizzo dei file “.ind” per poter eseguire le procedure di compact su elenchi definiti di utenze
Monitoring del console.out per l’identificazione in tempo reale dello stato delle compattazioni e di eventuali errori
Identificazione delle caselleIdentificazione delle caselle3 modalità:
◦ Copia / Incolla da Domino Administrator ◦ Show dir –xml + procedura di analisi del file xml◦ Procedura Lotus/Script ad hoc* (richiede comunque
l’esecuzione dello show dire con console remote perché al momento le informazioni sul DAOS non sono esposte tramite lotus script)
Non è possibile utilizzare i comandi unix perché non riportano né ODS né la dimensione logica del DAOS
Compattazione e indirect fileCompattazione e indirect fileGli indirect file “.ind” possono essere
utilizzati per eseguire i comandi su set definiti di caselle domino ex:.
da_convertire.ind:mail/mail_a/aaaaa1.nsfmail/mail_a/aaaaa4.nsfmail/mail_c/ccccc1.nsf
Viene rispettato l’ordine di inserimento nel file (a differenza dell’esecuzione sulla directory)
Compattazione e indirect fileCompattazione e indirect fileSi possono eseguire task di compact su
thread separati per ogni indirect file: load compact –c –v -n –ZU indirect1.ind load compact –c –v -n –ZU indirect2.ind load compact –c –v -n –ZU mail/mail_b/bruni.nsf
genereranno sul log [13800:00005-00003] 05/09/2013 09:44:29 Compacting /notesdata/mail/mail_r/rossi.nsf (Mario
Rossi), -c -v -n -ZU indirect1.ind[13856:00005-00003] 05/09/2013 09:48:15 Compacting /notesdata/mail/mail_b/bianchi.nsf
(Mario Bianchi), -c -v -n -ZU indirect2.ind[13843:00005-00003] 05/09/2013 09:40:36 Compacting mail/mail_b/bruni.nsf (Giorgio Bruni), -c
-v -n -ZU mail/mail_b/gruni.nsf
Verifica esecuzioneVerifica esecuzioneAnnotando il numero del thread è
possibile verificare facilmente lo stato della compattazione:
tail –f console.out | grep "^.NNNNNN:" Oppure, per verificare gli errori
grep -i compact c*.out | grep -i NNNNNN : | cut -c43-160
Compacting /notesdata/mail/aaaaa.nsf (USER), ….Compacted /notesdata/mail/aaaa.nsf, 52736K bytes recovered (20%)Compacting /notesdata/mail/bbbb.nsf (User), ….Compacted /notesdata/mail/bbbb.nsf, 46848K bytes recovered (18%)… Database compactor process shutdown
TIP - Analisi della console. outTIP - Analisi della console. outVerifica di un utente collegato IMAP / POP / NOTES grep -i logged c*.out | grep -i “USERNAME" | wc -lVerifica di un utente collegato WEB grep -i userfile.nsf weblog/access.log | wc –l
Verifica dello stato di un task compact grep -i compact c*.out | grep -i PID: | cut -c43-160
Verifica della dimensione delle sottocartelle DAOS du -hsL DAOS/*
Primi risultati della conversionePrimi risultati della conversione4792 database814 “DAOS Enabled”2.292.702 allegati elaborati800.426 all. unici (35%)494 GB di archivi DAOS
Oltre 1 TeraByte di spazio
risparmiato
Oltre 1,5 TeraByte di riduzione del
backup
Aggiornamento a giugno 2014Aggiornamento a giugno 2014Alcune criticità emerse nel corso dei mesi: Il prune del DAOS è fisso alle 2, in concomitanza con il restart del server.
Si sono utilizzati dei program per il prune e il resync.
Le sottocartelle del DAOS sono già create e montate su dischi separati. Uno script effettua il conteggio giornaliero dei file
#!/bin/bashfor file in $(ls -d ./DAOS/*/)do echo "$file $(ls -1 $file | wc -l)"done
A causa di un bug presente nella 8.5.3 l’encryption degli allegati (abilitata di default) casua dei rallentamenti in fase di recupero degli allegati via IMAP – per file di 5Mb anche di alcuni minuti
DAOS_Encrypt_NLO=0
Analisi dopo 12 MesiAnalisi dopo 12 Mesi
1.946.008 elementi unici gestiti
3 TeraByte di riduzione complessiva dello spazio utilizzato
ContattiContatti
Luca ArcaraSenior Consultat
it.linkedin.com/in/arcaraluca/