Bevor wir jetzt entgültig mit der Entwicklung unseres Cronjob-Scrips beginnen, wollen wir festlegen was unsers Script alles können soll, fangen wir also an und erfinden eine Konfigurationsdatei. /root/backup/backup.conf
Wir bleiben auf alle Fälle bei einem localem Bandlaufwerk mit manuellem Bandwechsel, die 3 Anwender, die einen Wechsler oder eine Jukebox haben und kein Profi-Backupprogramm, mögen mir verzeihen, und wir wollen unseren Cronjob genau einmal am Tag( abends nach Feierabend) starten, und beschränken uns auf Filesystemsicherungen.
Viele Backupkonzepte haben Löcher wie ein Schweizer Käse, und besonders dann, wenn wie bei uns die Bänder vor der automatischen Sicherung per Hand in das Laufwerk müssen. Da kann es schon mal vorkommen, dass eine wichtige Vollsicherung ausfällt, weil einfach vergessen wurde vor dem Feierabend eine Cartridge einzulegen. Dagegen wollen wir was unternehmen und wir wollen auch was dagegen unternehmen, wenn eine Vollsicherung mal ausgefallen sein sollte. Wir wollen unsere zu sichernden Filesysteme einzeln konfigurieren können, da die verschiedenen Filesysteme ja auch unterschiedlich starken Veränderungen unterliegen. Wir wollen Vollsicherungen und Diff-Sicherungen zur letzten Vollsicherung machen. Auch soll berücksichtig werden, dass bestimmte Filesysteme nicht immer gemountet sind. Wir wollen sie mounten, wenn wir sich brauchen. Das Auffinden der richtigen Cartridge für ein spezielles Restore wird ja durch unser Logsystem schon unterstützt, wir wollen das aber noch etwas ausbauen, damit wir schnell für jedes Filesystem die letzte Vollsicherung finden. Unser Script soll mit einer variablen Anzahl von Cartridges umgehen können und uns jederzeit die Möglichkeit einräumen neue Bänder dazu zukonfigurieren bzw. auch Bänder für längere Zeit für die weitere Benutzung zu sperren, damit wir sie zB in den Safe einlagern können. Das Backup soll das jeweils für die bevorstehende Sicherung erforderliche Band selbst bestimmen.
Ich lege mal für unser Demo BAND00 - BAND99 als mögliche Bandnamen fest. Es sollen Bänder erst nach einer mindest einzuhaltenden Sperrfrist wieder benutzt werden dürfen. Und damit wir uns entgültig von den einzeiligen tar-Cronjobs der anderen LINUX-Anwender unterscheiden, wollen wir eine Möglichkeit einbauen, um vor dem Backup ein Script zu starten mit dem wir unseren Rechner beruhigen könnten, also zB. Datenbank herunterfahren, NFS stoppen, Webserver anhalten oä. und natürlich auch nach der Sicherung ein Script zum starten der angehaltenen Services.
Ne ganze Menge, ist aber gar nicht so schlimm, denn durch die strukturierte Programmierung unseres Interaktiven Scriptes haben wir schon einen guten Pool mit den wichtigsten Funktionen, den wir nur noch etwas bearbeiten müssen, damit es in unser Cronjob-Script passt.
Hier jetzt die backup.conf . Ausgelegt ist sie als Includedatei, die dann in unsere Scripte eingebunden werden kann.
die einzelnen Abschnitte sind glaube ich bestens dokumentiert, so dass ich darauf nicht eingehen muss.
Code:
#Konfigurationsdatei für Backup über cronjobs
BACKUPDIR="/root/backup"
LOGFILE="$BACKUPDIR"/backup.log
#Script das zur Beruhigung unseres Rechner vor dem Backup ausgeführt werden soll
PRE_BACKUP_SCRIPT=
#Script das nach dem Backup ausgeführt werden soll
POST_BACKUP_SCRIPT=
#Pattern zum Auffinden der Bänder die für cronjobs freigegeben sind
BANDNAMEPATTERN="BAND??"
#mindest Anzahl der Tage, die ein Band nicht überschrieben werden darf
MINSAVETIME=8
#Filesysteme und die Konfiguration nach der diese gesichert werden sollen
#Die Zuordnung erfolgt über FILESYSTEM[x]
#die ersten 7 Spalten sind die Wochentage von Sonntag bis Samstag
#in diesen Spalten bedeutet:
# V eine Vollsicherung dieses Filesystems
# D bedeutet eine Differenzsicherung zu letzten Vollsicherung
# soweit die letzte Vollsicherung nicht älter als Spalte 8 in Tagen ist
# in diesem Fall Vollsicherung dieses Filesystemes
# N keine Sicherung dieses Filesystems wenn die letzte Vollsicherung nicht
# älter als Spalte 8 ist
#Spalte 8 wieviel Tage eine Vollsicherung maximal alt sein darf, ist die
# letzte Vollsicherung älter dann wird nächsten Sicherung eine Vollsicherung
#SPALTE 9 steht hier ein M dann wird diese Filesystem vorher gemountet und
# nach der Sicherung unmountet. ansonst N ( muss in /etc/fstab eingetragen sein)
#Spalte 10 Flagdatei für dieses Filesystem wird bei Vollsicherung angelegt
# beinhaltet den Bandnamen und der Zeitstempel dieser Datei
# wird zur Erzeugung der Diffsicherung benutzt
#Spalte 11 hier ist der absolute Path des Mountpoint des Filesystem anzugeben
FILESYSTEM[1]="N D D D D V N 7 N .FLAG1 / "
FILESYSTEM[2]="N D N D D V N 7 N .FLAG2 /home "
FILESYSTEM[3]="N V D D V D N 4 N .FLAG3 /usr/sql "
FILESYSTEM[4]="N N D N D N N 7 M .FLAG4 /data1 "
#Maximale Anzahl zu berücksichtigender FILESYSTEME
typeset -i MAXFILESYSTEM
MAXFILESYSTEM=4
Damit wir nun die Bänder in das Laufwerk bekommen brauchen wir noch ein weiteres HilfsScript, denn wir können ja nur noch die Bänder interaktiv mit BANDXX labeln und damit unserem Backup zur Benutzung freigeben, aber nicht mehr selbst bestimmen welches Band heute beschreiben werden soll. Wenn wir dieses Script gekonnt in einen anderem Script mit dem wir täglich arbeiten starten oder zB., so würde es bei mir gut funktionieren, in der .profile von root eintragen, dann wird jedesmal bei su - das script gestartet und jedes mal schaut unserer Script ob heute eine Sicherung gemacht werden muss, und ob schon das richtige Band geladen ist, ansonsten fordert es uns auf das entsprechende Band in das Laufwerk zu laden. Richtig plaziert wird dieses script also so lange nerven, bis die richtige Cartridge für die heutige Sicherung geladen ist.
An Funktionen brauchen wir nicht viel, eine stark zusammengestrichene Form von backup_load, backup-unload zum auswerfen der falschen Cartridge, und backup-readLabel, um den Label auf dem Band zu lesen. Eine Funktion müssen wir jedoch komplett neu erstellen. In ihr müssen wir die backup.conf auswerten und feststellen ob wir heute überhaupt ein Band benötigen. Wir testen also den entsprechenden Wochentag und ob die letzte Vollsicherungen für die einzelnen Filesysteme noch nicht zu alt sind. Dazu untersucht es die Modifikationszeitstempel der .FLAGx Dateien, diese werden vor dem Beginn der entsprechenden Filesystemsicherung jeweils neu gesetzt.
In der Ablaufsteuerung sucht das script dann die Cartridge die am längsten nicht benutzt wurde, dazu untersucht sie die Modifikationszeitstempel der BANDXX.log Dateien, also die Logdateien unserer Bänder. Ist das älteste Band nicht jünger als MINSAVETIME dann wird geprüft ob es schon im Laufwerk ist, ansonsten angefordert. Beim Neu Labeln mit unserem Script wird der Modi-Zeit-Stempel auf 01.01.2000 00.00Uhr gesetzt, damit wird dieses Band zuerst angefordert. Soll ein Band längere Zeit gesperrt bleiben dann können wir den Zeitstempel der BANDXX.log mit touch -t"Zeitstempel" -m BANDXX.log auf einen Termin in die Zukunft setzen, und unser Backup wird dieses Band vorläufig nicht anfordern.
Code:
#!/bin/bash
#Hilfsscript das uns erinnern soll eine Cartridge in das Laufwerk einzulegen
#Das Script prüft die backup.conf und ob alle Abhängigkeiten erfüllt sind
#Dieses Script kann zB in die .profile von root gestartet werden
PROGRAM=
BANDNAME=
LABEL=/tmp/.label_script1.dat
LOAD=0
STATUS=0
BACKUP=0
. /root/backup/backup.conf
###########SICHERUNG notwendig################
function backup_require()
{
typeset -i i
i=1
typeset -i DAY_OF_WEEK
DAY_OF_WEEK=`date +"%w"`
DAY_OF_WEEK=$DAY_OF_WEEK+1
while [ $i -le $MAXFILESYSTEM ]
do
HELPTXT=${FILESYSTEM[$i]}
FLAGFILE=`echo $HELPTXT | cut -f 10 -d " "`
DAYFLAG=`echo $HELPTXT | cut -f $DAY_OF_WEEK -d" "`
if [ $DAYFLAG = "V" -o $DAYFLAG = "D" ] ; then BACKUP=1 ; fi
DIFFLAG=`echo $HELPTXT | cut -f 8 -d" "`
FLAG=`find $BACKUPDIR/$FLAGFILE -mtime -"$DIFFLAG" 2>/dev/null | wc -l`
if [ $FLAG = 0 ] ; then BACKUP=1 ; fi
i=$i+1
done
}
###########auf Band testen#####################
function backup_test()
{
STATUS=`mtst -f /dev/nst0 status | grep ONLINE | wc -l`
if [ $STATUS = 1 ] ; then
mtst -f /dev/nst0 rewind
mtst -f /dev/nst0 setblk 0
fi
}
###########Band entladen######################
function backup_unload()
{
if [ "$STATUS" = 1 ] ; then
mtst -f /dev/nst0 offline
TIME=`date`
echo "$TIME Band entladen" >> $LOGFILE
STATUS=0
LOAD=0
rm $LABEL 2>/dev/null
BANDNAME=
fi
}
###########Label lesen########################
function backup_readLabel()
{
if [ $STATUS = 1 ] ; then
rm $LABEL 2>/dev/null
mtst -f /dev/nst0 rewind
dd if=/dev/nst0 of=$LABEL count=1 2>/dev/null
PROGRAM=`grep PROGRAM $LABEL 2>/dev/null | cut -f2 -d" "`
TIME=`date`
if [ -e "$LABEL" -a "$PROGRAM" = "CPIO" ] ; then
BANDNAME=`grep BANDNAME $LABEL | cut -f2 -d " " `
LOAD=1
else
LOAD=0
rm $LABEL 2>/dev/null
BANDNAME=
fi
fi
}
##############BEGIN###########################
backup_require
if [ $BACKUP = 1 ] ; then
NEUBANDLOG=`ls --sort=time $BACKUPDIR/$BANDNAMEPATTERN.log | tail -1`
SAVETIMETEST=`find $NEUBANDLOG -mtime +$MINSAVETIME | wc -l `
NEUBAND=`basename $NEUBANDLOG .log`
if [ $SAVETIMETEST = 1 ] ; then
backup_test
backup_readLabel
if [ -n "$BANDNAME" -a "$BANDNAME" = "$NEUBAND" ] ; then
echo "richtiges Band für Backup ist schon geladen"
else
if [ $STATUS = 1 ] ; then backup_unload ; fi
echo "bitte Band $NEUBAND für Backup einlegen"
fi
else
echo "kein brauchbares Band für Backup gefunden, bitte eines zur"
echo "Verfügung stellen sonst kann heute kein Backup durchgeführt werden"
fi
fi
Noch ein Wort zu den unterschiedlichen Laufwerkstypen und den möglichen Auswirkungen wenn wir Bänder längere Zeit im Laufwerk geladen lassen. Besonders bei Laufwerkstypen mit Schräg-Spur-Aufzeichnung ist es nicht ganz unkritisch Bänder länger Zeit geladen zu lassen. Es kann zu erhöhtem Verschleiss am Kopf und am Bandmaterial führen, besonders wenn wie es bei einigen älteren Typen ist, das Laufwerk nicht in einen Standby-Modus fährt, wenn es länger Zeit nicht benutzt wird.
Versucht mal folgendes. Band ist geladen:
mtst -f DEVICE lock
mtst -f DEVICE offline
bei einigen Laufwerkstypen wird das Band intern ausgefädelt aber der Entladevorgang nicht vollständig durchgeführt, es kann weder über den Entladeknopf noch über Befehl das Band entladen werden. das Lock wirkt so lange bis es mit unlock oder mit reset des Laufwerkes aufgehoben ist, das Band kann also nicht versehentlich ausgetauscht werden.
mtst -f DEVICE load
würde das Band wieder ins Laufwerk laden und wir könnten ganz normal arbeiten. Zum Schluss aber nicht vergessen
mtst -f DEVICE unlock
Einfach mal ausprobieren, ich kenne einige Laufwerkstypen bei denen funktioniert das einwandfrei. Sollte es funktionieren, dann könnt ihr das in euere Scripte mit aufnehmen, ist jedenfalls sehr schonend für Band und Laufwerk.
robi