RAID1 -- Filesystem zerschossen?!?

mimadeta · 24 Nov. 2008

Hallo Gemeinde,

bin jetzt seit ca. mit 4 Jahren mit Linux beschäftigt, meistens im mc oder yast. (Bitte nicht schimpfen, wollte bald auf konsole überschwenken). Soweit hatte bis jetzt immer geklappt was ich wollte, allerdings seit ich jetzt seit Donnerstag im Rescue System rumarbeiten muss (Serverausfall nach Update) merke ich, dass ich noch einen argen Wissensstand habe... :???:

Zur Zeit stehe ich vor einem Problem, welches ich wirklich keine Lösung mehr weiss, bzw. woch ich aber auch schon längere Zeit (ca. 4 Stunden) im INet suche. Ich denke mal, dass ich durch einen riesengroßen Fehler mein Filesystem auf der Platte zerschossen habe. Nun wäre eine Neuinstallation des ganzen nicht soooo tragisch (vielleicht ein bisschen da ich leider ein paar MySQL Datenbanken noch nicht gesichert habe), ich habe aber beschlossen, da wo ich das System jetzt so vor mir habe, noch ein bischen mehr zu erlernen um in die tolle Welt des Linux einzutauchen. Keine Angst, ich will hier kein Programierer oder ähnliches werden, nein, ich möchte nur mein System ein bisschen besser kennen lernen! (Hatte ich allerdings auf einer VMW vor und nicht am Livesystem... aber egal...)

So, hier nun mal ein paar Auszüge aus Putty vom Resque Modus. Vielleicht kann mir der eine oder andere einen Tip geben, wo ich mich gerne im voraus für Bedanken möchte!

Code:

[b]FEHLER!!! NIE MACHEN wenn man nicht weiss was man macht...!!![/b]

rescue:/etc# lilo -C -q
Fatal: Cannot open: -q
rescue:/etc# cd
rescue:~# fsck /dev/md1
fsck 1.39 (29-May-2006)
e2fsck 1.39 (29-May-2006)
/dev/md1 is mounted.

WARNING!!!  Running e2fsck on a mounted filesystem may cause
SEVERE filesystem damage.

Do you really want to continue (y/n)?

natürlich y eingegeben...  :irre: 
_____________________________________________________________________
[b]Das kommt dann dabei raus... [/b]

rescue:~# fsck.ext3 -y /dev/sdb1
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
e2fsck 1.39 (29-EXT3-fs error (device md1): ext3_find_entry: May-2006)
bad entry in directory #31022: inode out of bounds - offset=11000, inode=32431, rec_len=12, name_len=4
EXT3-fs error (device md1) in ext3_reserve_inode_write: IO failure
fsck.ext3: No such file or directory while trying to open /dev/sdb1

The superblock could not be read or does not describe a correct ext2
filesystem.  If the device is valid and it really contains an ext2
filesystem (and not swap or ufs or something else), then the superblock
is corrupt, and you might try running e2fsck with an alternate superblock:
    e2fsck -b 8193 <device>

____________________________________________________________
[b]NEU EINLOGGEN:[/b]
rescue:~# mount /dev/md1 /mnt; chroot /mnt
VFS: Can't find ext4 filesystem on dev md1.
mount: you must specify the filesystem type
chroot: cannot run command `/bin/bash': No such file or directory

_____________________________________________________________
[b]ABER DIE PARTITIONEN SCHEINEN NOCH VORHANDEN ZU SEIN[/b]
rescue:~# fdisk -l

Disk /dev/sda: 250.0 GB, 250059350016 bytes
255 heads, 63 sectors/track, 30401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1         123      987966   fd  Linux raid autodetect
/dev/sda2             124         367     1959930   82  Linux swap / Solaris
/dev/sda4             368       30401   241248105    5  Extended
/dev/sda5             368         976     4891761   fd  Linux raid autodetect
/dev/sda6             977        1585     4891761   fd  Linux raid autodetect
/dev/sda7            1586        4018    19543041   fd  Linux raid autodetect
/dev/sda8            4019       30401   211921416   fd  Linux raid autodetect

Disk /dev/sdb: 250.0 GB, 250059350016 bytes
255 heads, 63 sectors/track, 30401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1         123      987966   fd  Linux raid autodetect
/dev/sdb2             124         367     1959930   82  Linux swap / Solaris
/dev/sdb4             368       30401   241248105    5  Extended
/dev/sdb5             368         976     4891761   fd  Linux raid autodetect
/dev/sdb6             977        1585     4891761   fd  Linux raid autodetect
/dev/sdb7            1586        4018    19543041   fd  Linux raid autodetect
/dev/sdb8            4019       30401   211921416   fd  Linux raid autodetect

Über Hilfe würde ich mich riesig freuen...

Danke und Grüße,
Michael

spoensche · 24 Nov. 2008

Wie alt ist denn die Festplatte /dev/sdb? Die IO- Fehler (Input / Output- Fehler) könnten darauf schliessen, dass die Platte einen Knacks hat; es kommt jedoch darauf an wie alt die Platten sind.

Wenn du die SMART- Tools drauf hast, teste damit mal deine Festplatte.

josef-wien · 24 Nov. 2008

mimadeta schrieb:
seit ich jetzt seit Donnerstag im Rescue System rumarbeiten muss (Serverausfall nach Update)

Was ist da eigentlich passiert?

Welches Linux verwendest Du?

Deine fdisk-Auflistung schaut nach mehreren RAID1-Verbünden aus. Stimmt das? Aus welchen Partitionen besteht Dein RAID-Verbund der boot- und der root-Partition? Gibt es irgendwelche Besonderheiten bei "mdadm --detail /dev/mdX" (X = boot- bzw. root-Partition, alle X erhältst Du mit "mdadm --detail --scan"). Gibt es signifikante Fehlermeldungen bei "e2fsck -f /dev/mdX" (wobei die Partition NICHT eingehängt sein darf)? Welche mdX sind in Ordnung?

P.S. Erwarte nicht zu viel, mit kaputtem RAID habe ich noch keine Erfahrungen, aber es gibt hier auch exzellente Spezialisten. Du solltest vielleicht RAIDx in den Betreff aufnehmen.

mimadeta · 24 Nov. 2008

Hallo... und danke schon mal für die Antworten!

Die Platte ist funkelnagelneu, der rechgner steht aber nicht bei mir.

Hier mal der Auszug aus dem mdadm:

Code:

rescue:~# mdadm --detail /dev/md1
/dev/md1:
        Version : 00.90.03
  Creation Time : Wed Oct  8 03:08:53 2008
     Raid Level : raid1
     Array Size : 987840 (964.69 MiB 1011.55 MB)
    Device Size : 987840 (964.69 MiB 1011.55 MB)
   Raid Devices : 2
  Total Devices : 2
Preferred Minor : 1
    Persistence : Superblock is persistent

    Update Time : Mon Nov 24 18:07:42 2008
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           UUID : 994ff3bd:cc4c3ce8:3ffcccb1:666c117c
         Events : 0.82

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
rescue:~#

Der Superblock ist wohl defekt so wie es aussieht.

Vielleicht weiss ja einer wie ich da mal rankomm...

DANKE und
Grüße, Michael.

josef-wien · 25 Nov. 2008

mimadeta schrieb:
Der Superblock ist wohl defekt

Wie kommst Du auf diese Idee? Der RAID1-Verbund ist für mdadm völlig in Ordnung. Was sagt "e2fsck -f /dev/md1"?

P.S. Ändere Deinen ersten Beitrag und schreibe dort "RAID1" in den Betreff.

mimadeta · 25 Nov. 2008

hallo,

dieses sagt e2fsck -f /dev/md1 das aus

Code:

rescue login: root
Password:
Last login: Mon Nov 24 21:32:17 2008 on ttyS0
Linux rescue 2.6.27.7-20081121a #1 SMP Fri Nov 21 09:36:56 CET 2008 x86_64 GNU/Linux

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
rescue:~#
rescue:~# e2fsck -f /dev/md1
e2fsck 1.37 (21-Mar-2005)
/dev/md1 is mounted.

WARNING!!!  Running e2fsck on a mounted filesystem may cause
SEVERE filesystem damage.

Do you really want to continue (y/n)? yes

Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/: 5996/123648 files (0.8% non-contiguous), 72424/246960 blocks

und dieses sagt dann dieses aus: mount /dev/md1 /mnt; chroot /mnt

Code:

rescue:~#
rescue:~# mount /dev/md1 /mnt; chroot /mnt
mount: /dev/md1 already mounted or /mnt busy
mount: according to mtab, /dev/md1 is already mounted on /mnt
chroot: cannot run command `/bin/bash': No such file or directory
rescue:~#

hm...

Grüße Michael.

josef-wien · 25 Nov. 2008

Erstens hast Du schon wieder e2fsck bei einem eingehängsten Dateisystem durchgeführt. Wenn Du Dir das nicht schnellstens abgewöhnst, wirst Du bald noch mehr Schwierigkeiten bekommen.

Zweitens ist mir md1 (also sda1 und sdb1) für eine Systempartition zu klein. Daher wundert mich das Fehlen von /bin/bash nicht.

Drittens solltest Du uns endlich verraten, welchen Zweck jeder Deiner fünf RAID-Verbünde hat. Welches ist /? Hast Du ein separates /boot? Was ist der Rest?

Viertens möchte ich meine Fragen vom 24. Nov 2008, 18:00 Uhr, beantwortet haben.

mimadeta · 25 Nov. 2008

josef-wien schrieb:
Erstens hast Du schon wieder e2fsck bei einem eingehängsten Dateisystem durchgeführt. Wenn Du Dir das nicht schnellstens abgewöhnst, wirst Du bald noch mehr Schwierigkeiten bekommen..

?!? Du rätst es mir doch im obigen Beitrag und wolltes wissen was das System sagt. Übrigens sagt das auch der Support vom Betreiber. E-Mail mit Anleitung mit genau den Befehlen...

josef-wien schrieb:
Zweitens ist mir md1 (also sda1 und sdb1) für eine Systempartition zu klein. Daher wundert mich das Fehlen von /bin/bash nicht..

Aber ist md1 denn nicht die Platte? So der Support vom Betreiber...

josef-wien schrieb:
Drittens solltest Du uns endlich verraten, welchen Zweck jeder Deiner fünf RAID-Verbünde hat. Welches ist /? Hast Du ein separates /boot? Was ist der Rest?.

Leider kann ich Dir dazu nicht allzuviel sagen, da es eine fertige Distribution ist. Ich weiss nur eines, die sind viel zu klein die Partitionen und ich hätte diese mit mountpoints vergrößert, wenn das System nicht die Biege gemacht hätte.

josef-wien schrieb:
Viertens möchte ich meine Fragen vom 24. Nov 2008, 18:00 Uhr, beantwortet haben.

Sorry, hatte ich glatt vergessen drauf zu antworten.
a) Über Yast ein Update gemacht und dabei den lilo überschrieben. Leider habe ich das erst später herausgefunden und da war es schon zu spät!
b) Linux Suse 10.X mit Debian Rescue
c) Ich sagte ja, das ist mein erster großer Fehler den ich habe, alles andere habe ich früher wunderbar über mc und yast hinbekommen. Übrigens auch Updates. Nie Probleme gehabt.

Grüße Michael.

josef-wien · 26 Nov. 2008

Nachdem Du so unglaublich wenig über Dein System weißt, werden wir nicht weiterkommen.

e2fsck macht man nicht bei einem eingehängten Dateisystem. Das sagt Dir auch das Programm beim Aufruf (und das ist sehr ernst gemeint), und daher habe ich am 24. November 2008 um 18:00 Uhr geschrieben: "wobei die Partition NICHT eingehängt sein darf"

md1 ist bei Dir ein RAID1-Verbund mit der jeweils ersten Partition jeder Festplatte. Du hast aber noch 5 weitere Partitionen je Festplatte, wovon vier ebenfalls eigene RAID1-Verbünde bilden.

md1 schaut auf Grund von mdadm und e2fsck normal aus. Du kannst jetzt noch die übrigen RAID1-Verbünde überprüfen (siehe meinen oben erwähnten Beitrag). Sinnvoller scheint es mir aber zu sein, den Bootloader wiederherzustellen (denn wie Du jetzt ein bißchen spät verraten hast, dürfte das Dein Problem sein). Dazu startest Du von der openSUSE-DVD und wählst die Reparaturfunktion. Falls Du das "manuell" machen möchtest (wovon ich Dir ganz dringend abrate), mußt Du Dich hier im Wiki bzw. Forum sowie gegebenenfalls auch anderswo schlau machen (von Lilo habe ich keine Ahnung).

Umd damit haben meine Beiträge zu diesem Thema ihr Ende gefunden.

P.S. Eine rhetorische Frage: Verlangt "der Support vom Betreiber" auch noch Geld für seine "Leistungen"?