Backup et Virtualisation

Présentation

Dans le cadre d’un projet pour l’automatisation des routines d’installation de certaines machines du laboratoire de l’institut, un serveur PXE tournant sous CENTOS (installation en réseau de Linux (ubuntu , centos) et windows (Xp via unattended) virtualisé sous XEN a été mis en place .

Dans ce nouveau projet, on mettra du temps à une stratégie de backup de ce serveur , pour prévoir les désastres. On essaiera de mettre en place deux systèmes de backup basés respectivement sur les outils OpenSource et l’outil de clonage de machines virtuelles qui accompagne XEN.

Un résumé du déroulement du déploiement de ce serveur sera mis en ligne sur le wiki; on se focalisera ensuite sur le choix de l’un des systèmes de backup. Il faudra ici pouvoir définir quel type de backup sera supporter par rapport à l’infrastructure en place…

I.VIRTUALISATION

Déploiement des machines virtuelles à travers "XEN":

XEN est un logiciel de virtualisation « openSource » pour les architectures Intel et PowerPC.
Ce logiciel nous permettra de faire tourner plusieurs systèmes d’exploitation sur un OS hôte. Dans notre cas, l’installation s’est faite sur un « Linux /Centos » .
Le déploiement est assez facile et se résume comme suit :

Se connecter comme "root"

# yum install xen virt-manager kernel-xen
# chkconfig xend on
# reboot

Pour le création ou le clônage de machines virtuelles, on utilisera l'outil graphique:

virt-manager & ( ce signe permet de détacher le processus du terminal)

L'image suivante représente un exemple de création d'une des machines virtuelles via console et montre aussi la fenêtre "virt-manager"
Pour l'installation de l'OS , on s'est servi d'un serveur PXE pré-configuré.

Clickez sur l'image pour agrandir..

Par mesure de prudence,il est préférable de sauvegarder les machines virtuelles dans une partition indépendante; , Ce qui permettrait aussi de faciliter le "backups" ou la migration de ces machines virtuelles. Dans notre cas, on a juste ces différentes machines dans un répertoire "VMS", créé au préalable:

[root@host VMS]#ls
mbour.img
ntinstall.img

[root@host VMS]# xm list
Name                                      ID Mem(MiB) VCPUs State   Time(s)
Domain-0                                   0      996     2 r-----    230.3
mbour                                      1      511     1 -b----      7.9
ntinstall                                  2      511     1 -b----     14.4
NB: C'est sur ces deux "hôtes" que les déploiements automatiques ont été reproduits ...

Dans la mesure où , on aimerait le démarrage des machines virtuelles au démarrage du "Dom0", les ajustements suivants ont été appliqués pour chaque "VM":

ln -s /etc/xen/mbour /etc/xen/auto/

Quant aux différentes options et capacités de cet outil de virtualisation, les liens suivants ont servi de base de travail:¹ ou bien ,²

II.STRATEGIE DE BACKUP

On utilisera un serveur NFS sur le quel deux répertoires "BACKUPS" et "SNAPSHOTS" serviront successivement à récupérer le "root dump" de l'hôte ou tournent les machines virtuelles et les "rsyncs" de ces dernières.

A.Serveur de backups

Serveur "NFS"

On créera le répertoire /exports dans le quel on aura les deux répertoires "BACKUPS" et "SNAPSHOTS" précités.
Pour activer le serveur NFS, il suffira d’éditer le fichier /etc/exports comme suit :

#vi /etc/exports
/exports 192.168.22.0/255.255.255.0(rw,sync)
NB: Cette ligne nous permettra d'exporter tout ce répertoire dans le réseaux local

# vi /etc/hosts.allow

# hosts.allow   This file describes the names of the hosts which are
#               allowed to use the local INET services, as decided
#               by the '/usr/sbin/tcpd' server.
#
portmap: 192.168.22.0/255.255.255.0

Démarrage du service NFS :

# /etc/init.d /nfs star
# /etc/init.d/portmap start
Test :rpcinfo –p

Configuration de l'outil "RSNAPSHOT"

On aura besoin des modules "Perl"³, "rsync"⁴ , OpenSSH⁵ qui sont déjà activés après l'installation de l'hôte et du module pré-compilé "rsnapshot"⁶

—Déroulement

# cd /tmp
# wget http://www.rsnapshot.org/downloads/rsnapshot-1.3.0-1.noarch.rpm
# wget http://www.rsnapshot.org/downloads/rsnapshot-1.3.0-1.noarch.rpm.md5


Vérification de l’intégrité du fichier téléchargé :
# md5sum -c rsnapshot-1.3.0-1.noarch.rpm.md5
Résultat OK :
rsnapshot-1.3.0-1.noarch.rpm: OK

On  installe avec la commande suivante :
# rpm -ivh rsnapshot-1.3.0-1.noarch.rpm

—Authentification
On utilisera openssh pour générer une clé qui sera ensuite copié sur les machines clientes comme suit :

ssh-keygen -t rsa
scp /root/.ssh/id_rsa.pub root@"ip du client":/root/.ssh/authorized_keys2

—Configuration du fichier de base
Le fichier /etc/rsnapshot.conf doit être configuré avec des tabulations entre les éléments.
Les répertoires de stockage ont un syntaxe assez particulier.

+ show block

NB:Des entrées ont étés omises dans ce fichier.
On mettra l'accent sur les clefs importantes mis en gras

1. vi /etc/rsnapshot.conf

config_version 1.2

###########################

1. SNAPSHOT ROOT DIRECTORY #

###########################

1. All snapshots will be stored under this root directory.

#
snapshot_root /exports/SNAPSHOTS/ #Notre répertoire de travail

1. If no_create_root is enabled, rsnapshot will not automatically create the
2. snapshot_root directory. This is particularly useful if you are backing
3. up to removable media, such as a FireWire or USB drive.

#
#no_create_root 1

#################################

1. EXTERNAL PROGRAM DEPENDENCIES #

#################################

1. LINUX USERS: Be sure to uncomment "cmd_cp". This gives you extra features.
2. EVERYONE ELSE: Leave "cmd_cp" commented out for compatibility.

#

1. See the README file or the man page for more details.

cmd_cp /bin/cp #Ceci est le "GNU cp" , donc a activer juste sur les plateforme "Linux", et doit contenir le "PATH" complet pour l'utilisation dans le script "rsnapshot"

1. uncomment this to use the rm program instead of the built-in perl routine.

#
cmd_rm /bin/rm #On utilisera la commande "rm", pour nettoyer les "anciens backups" , définis dans la partie "Backups Intervals"

1. rsync must be enabled for anything to work. This is the only command that
2. must be enabled.

#
cmd_rsync /usr/bin/rsync

1. Uncomment this to enable remote ssh backups over rsync.

#
cmd_ssh /usr/bin/ssh

1. Comment this out to disable syslog support.

#
cmd_logger /usr/bin/logger

1. Uncomment this to specify the path to "du" for disk usage checks.
2. If you have an older version of "du", you may also want to check the
3. "du_args" parameter below.

#
cmd_du /usr/bin/du

1. Uncomment this to specify the path to rsnapshot-diff.

#
cmd_rsnapshot_diff /usr/bin/rsnapshot-diff
#########################################

1. BACKUP INTERVALS #
2. Must be unique and in ascending order #
3. i.e. hourly, daily, weekly, etc. #

#########################################

#interval hourly 6
#interval daily 7
interval weekly 3 #Cette ligne nous permettra de garder 3 "backups" hebdomadaires
#interval monthly 3

###############################
### BACKUP POINTS / SCRIPTS ###
###############################

1. LOCALHOST

backup /home/ localhost/
backup /etc/ localhost/
backup /usr/local/ localhost/

1. INFO.LOCAL

backup root@"ip machine cliente":/VMS/ "ip machine cliente"/ exclude=core #Sur cette entrée, on a un client "notre machine virtuelle" a sauvegarder, en excluant les "cores files" qui peuvent être lourds et sans intérêts , bien sûr , si le serveur fonctionne correctement.

NB:On peut utiliser les commande suivante pour tester notre fichier de configuration:
#rsnapshot configtest

—Automatisation du backup
Pour cette tâche , on servira de l'outil ''crontab" avec l'entrée suivante:

#crontab -e
40 23 * * 6 /usr/bin/rsnapshot weekly
NB:On adaptera cette entrée en fonction des besoins, et surtout en fonction de l'espace de stockage disponible

B.Clients à sauvegarder

A part la copie des clefs "ssh" qui permet au serveur "rsnapshot" d'avoir un accès local sur les clients, la partie majeure de la configuration de "rsnapshot" se déroule sur le serveur même.
Maintenant, on se propose de pouvoir monter le "share NFS" "/exports/BACKUPS" pour prendre un "full-backup" de notre machine virtuelle là-dessus. Et ceci, afin d'avoir au moins deux méthodes de backups.

Client NFS

# vi /etc/fstab
"IP du serveur NFS":/exports/BACKUPS /mnt nfs rw,hard,intr 0 0
# /etc/init.d/portmap start
# mount /mnt

TEST:
[root@pc-de-portable ~]# df -h
Sys. de fich.         Tail. Occ. Disp. %Occ. Monté sur
/dev/mapper/VolGroup00-LogVol00
                      143G   28G  108G  21% /
/dev/sda1              99M   21M   74M  22% /boot
tmpfs                 885M     0  885M   0% /dev/shm
none                  884M   88K  884M   1% /var/lib/xenstored
"IP du serveur NFS":/exports/BACKUPS
                       34G   34G     0 100% /mnt

Script de backup

+ show block

#FOR RESTORE DO #tar xvpfj backup.tar.bz2 -C /
#!/bin/bash
#set -x
BCDIR=/mnt/
LOGS=/home/issa/backuplog.txt
DATE=`date +%Y-%m-%d`
declare -i ERRORS=0

#System Infos

/bin/df -k » $LOGS
/bin/uname -a » $LOGS

/bin/echo "#######################################" » $LOGS

#Making place for next backup

TARS=`find /mnt -name *.bz2 -mtime +0`
for TAR in TARS
do
echo "Deleting old backups" »$LOGS
rm -f $TAR
echo "Old backups deleted" »$LOGS
done

#Need more tests

TEST=/mnt/.mount
if [ -f $TEST ]; then

/bin/echo "OK "NFS SHARE" is monted " » $LOGS

else

/bin/echo "mount nfs not done" » $LOGS
SUBJECT="BACKUP NOT OK: $(hostname): Full filesystem backup"

exit
fi

#Backup to see
/bin/tar cvpjf $BACPDIRbackup-$DATE.tar.bz2 —exclude=/proc —exclude=/lost+found —exclude=$BCDIRbackup-$DATE.tar.bz2 —exclude=$BCDIR —exclude=/sys / » $LOGS 2>&1;ERRORS=ERRORS+$?

sleep 5

/bin/echo "End of full filesystem backup" » $LOGS

#Dump should always work

/bin/echo "Full backup of $(hostname) $DATE" » $LOGS

#Errors checks & notifs

if [ $ERRORS -eq 0 ]
then

#On aura besoin de configurer "postfix, sendmail" pour que les lignes suivantes soient utiles
SUBJECT="BACKUP OK: $(hostname): Full filesystem backup"
/bin/cat $LOGS | /bin/mail -s "$SUBJECT" email-address

else

SUBJECT="BACKUP NOT OK: $(hostname): Full filesystem backup"
/bin/cat $LOGS | /bin/mail -s "$SUBJECT" email-address
fi

NB:Il faudra prévoir un deuxième HDD pour une bonne opération

Issa Kandji

Evolution

inskanj 01 Mar 2010 13:01

La configuration est déjà faite sur le serveur , et une entrée dans le "crontab" a été mis en place.
Faute d'accès au site , la documentation accuse un retard

Aperçu du message:

Fermer l'aperçu

	ou S'identifier comme utilisateur Wikidot
	(ne sera pas publiée)

- +

Aide : Antisèche syntaxe wiki

Footnotes

1. http://fr.wikipedia.org/wiki/Xen

2. http://www.gtrgrenoble.fr/projets/2007/xen/

3. http://www.perl.org/

4. http://rsync.samba.org/

5. http://www.openssh.org/

6. http://www.rsnapshot.org/