APT zieht nicht, weil gwdg down

[TheTuxKeeper]

Nicht ktorrent verwenden sondern BitTorrent (rpms sind mit der opensuse.org Seite verlinkt). Ich hatte einen DL von ~100KB/s und über Nacht war alles da.

Ich habe BitTornado benutzt. Zwischendurch hatte ich mal Azureus am laufen, aber bei beiden wie gesagt nicht sehr schnell.

Mit den CD's ging es teilweise auch über 50 KB/s, abere als ich versucht habe die DVD runterzuladen wars aus. Ich hatte nach sechs Stunden eine Shareratio von 0,7 . Man bedenke ich habe mit 8 KB/s hochgeladen ! Das bedeutet ich habe durchschnittlich mit nur 15 KB/s runtergeladen.

 

[emoenke]

jup, ich auch, und zwar dringend. hab meine 9.3 dvd verliehen und ich brauch dringend den xfree86-devel damit ich scribus kompilieren kann weil ich bis montag ne ziemlich umfangreiche hausaufgabe machen muss (sorry for spam )

sorry wenn mein ton etwas autoritär rüberkommt, so mein ichs nicht. will nur der dringlichkeit ausdruck verleihen, aber ich will auch kein stress schieben

Ich habe ftp4 jetzt wieder aufgemacht. Aber spaetestens Montag frueh mache ich ihn wieder zu, und schon vorher, wenn das Erneuern der APT-Repositories nicht mehr innerhalb von 4 Stunden fertig wird.
Dann haettet ihr naemlich neuen Aerger: wenn das Repository fertig ist, sind einige Files schon wieder erneuert und werden dann nicht gefunden.
Das beschaedigt dann echt eure Systeme.

Gruss -e

 

[panamajo]

Die Einführung von bittorrent bringt wohl schon etwas, aber es wird noch nicht von allen genutzt oder "verkehrt" eingesetzt wie so oft bei P2P Programmen (d.h. saugen, fertig, dann close ...)

Wie gesagt, bei mir war der DL recht flott, das lässt darauf schließen dass nicht alle gleich dichtmachen...

Ich meine es wäre sinnvoll einen Server mit apt repositories nicht zusätzlich mit ISO/DVD DL zu belasten, sprich einen dedizierten apt Server zu etablieren. Ich dachte dass ftp4.gwdg.de sowas wäre, aber offensichtlich ist der dicht durch die vielen ISO Downloads...

 

[panamajo]

Ich habe ftp4 jetzt wieder aufgemacht.

Danke danke danke

 

[oc2pus]

...Ich habe ftp4 jetzt wieder aufgemacht....

lol, ok. hier is was los

Eberhard, du bekommst hier einen WICHTIG-Sticky-Thread:

Wichtig: Mitteilung zum apt-mirror gwdg.de
http://www.linux-club.de/viewtopic.php?t=43867

 

[emoenke]

wie der Beitrag von oc2pus schon zeigt hat ftp4.gwdg.de "nur" 1GBit upstream, deswegen kommen da nur sehr wenig dran ran, aber ich hoffe mal das sich das ganze einfach mit der zeit legt weil dann auch der letzte der einfach immer das neue haben muss weils das neue ist SuSE10.0 hat...

"nur 1 GBit" ist gut. Mehr gibt's bisher nicht.
Aber da ist noch viel Luft drin. Der erste Engpass ist immer die I/O-Leistung des Filesystems, weil jeder was anderes will und deshalb die Koepfe mehr hin und her fahren als Daten zu liefern.

In der Praxis kann ich vielleicht 100 DSL-User gleichzeitig fett machen, und das ist viel weniger als 1 GBit.

Gruss -e

 

[emoenke]

...Ich habe ftp4 jetzt wieder aufgemacht....

lol, ok. hier is was los

Eberhard, du bekommst hier einen WICHTIG-Sticky-Thread:

Wichtig: Mitteilung zum apt-mirror gwdg.de
http://www.linux-club.de/viewtopic.php?t=43867

Werde ich dadurch endlich meinen "Newbie"-Status los? ;-))

Gruss -e

 

[}-Tux-{]

lol
komm noch 3 postings dann biste member


cheers }-Tux-{

ps. für mich bist du auch als "Newbie" ein guru

 

[TheTuxKeeper]

@emoenke: An was liegt es, dass einige packman-Pakete (Suse 10.0-i386) nicht auf ftp.gwdg.de sind (habe über ftp reingeschaut)? z.B. kaffeine, faac, gxine und libmpeg0
Liegt das auch an der hohen Belastung des Servers ?

MfG

Daniel

P.S.: Danke für die Info's. Da weiß man wenigstens woran es liegt und dass es nicht so einfach ist die Server flott zu halten.

 

[emoenke]

lol, ok. hier is was los

Eberhard, du bekommst hier einen WICHTIG-Sticky-Thread:

Wichtig: Mitteilung zum apt-mirror gwdg.de
http://www.linux-club.de/viewtopic.php?t=43867

Werde ich dadurch endlich meinen "Newbie"-Status los? ;-))

Gruss -e

lol
komm noch 3 postings dann biste member

OK, das halte ich noch durch. ;-))

Gruss -e

 

[emoenke]

@emoenke: An was liegt es, dass einige packman-Pakete (Suse 10.0-i386) nicht auf ftp.gwdg.de sind (habe über ftp reingeschaut)? z.B. kaffeine, faac, gxine und libmpeg0
Liegt das auch an der hohen Belastung des Servers ?

Ihr wollt mich wohl unbedingt noch heute zum "Member" hieven...

ftp4 erzeugt die Repositories, weil das Erzeugen direkt es im ftp.gwdg.de in Last-Situationen viel zu lange dauern wuerde.
Solche Last-Situationen sind mittlerweile alle paar Wochen. Nicht nur wegen SUSE. Auch Knoppix, FreeBSD, OpenOffice, Mandriva, Debian, Ubuntu undsoweiter.
Durch OpenSUSE ist die bisherige Situation extrem verschaerft worden: in der Beta-Phase jeden Donnerstag 30 GB neues Zeugs, und viele waren dann mit dem Saugen von der Vorwoche noch nicht fertig.
Und dann wird das alles durch SUSE-10.0 noch in den Schatten gestellt wie noch nie.
Ist ja ganz prima, diese Entwicklung, aber ein Auge lacht, und das andere weint.

Weiter im Text: diese Repository-Erzeugung wird alle vier Stunden im ftp4 angestossen (direkt nach dem Abgleich mit einem SUSE-internen Server), und ftp.gwdg.de startet eine Stunde spaeter 17 parallele rsyncs mit ftp4, um die Repositories zu holen (16 Repositories plus Extra-Lauf fuer die AptContents.SuSE*.gz Files "obendrueber".
Erster Schwachpunkt: wenn ftp4 mehr als eine Stunde fuer SUSE-Abgleich plus Repository-Erzeugung braucht, bekommt ftp.gwdg.de nichts neues. Immerhin bleibt das vorherige Repository konsistent.

Aber es gibt noch einen zweiten, ernsteren Schwachpunkt: ftp.gwdg.de muss ja nicht nur die Repositories haben, sondern auch die dazugehoerigen Files.

ftp4 baut die Repositories auf der Basis von seinem eigenen Datenbestand, also muss ftp waehrend des Repository-Rsyncs auch noch sehen, dass er den zugehoerigen Daten-Bestand aktuell kriegt.

Wenn das nicht rechtzeitig klappt, zeigen einige Repository-Links ins Leere, die in ftp4 Treffer waeren.

Wegen der hohen Filesystem-Last in ftp.gwdg.de kann er selbst nur mit geringer Rate in sein eigenes Filesystem schreiben, d.h. seine eigenen rsyncs mit den anderen Servern dauern viel laenger als gedacht, und brechen bloederweise auch oft wegen Timeout ab, wenn der Admin auf der anderen Seite kein Bewusstsein fuer solche Situationen hat.
Meistens setzt man ja ein kurzes Timeout im Server, um nicht lauter Leichen rumliegen zu haben, insofern verstehe ich das auch, aber ich erlebe es halt immer noch viel zu oft.

Der rsyncd in ftp.gwdg.de laeuft mit "timeout=86400", das sind 24 Stunden, aber andere Mirror-Admins sind oft viel rigoroser, und die meisten sehen gar nicht, dass sie mit dem vermeintlichen Selbst-Schutz nicht nur anderen, sondern auch sich selbst mehr Arbeit verschaffen: wenn ein rsync wegen Timeout abbricht, ist die ganze bisherige Database-Berechnerei im Client und die I/O-Roedelei im Server futsch und muss von vorne los gehen. Beim Client _UND_ beim Server.

Mit den "Repository-Gegenstellen" flutscht es in diesem Aspekt inzwischen ganz gut, aber ftp.gwdg.de roedelt insgesamt immer noch jede Menge umsonst im Filesystem rum, weil der Admin der Gegenseite ein zu enges Timeout hat.

Wieder zurueck zum Text: Diese Situation erlebst Du gerade, dass ftp.gwdg.de zwar das Repository aktuell hat, aber noch nicht alle Original-Files, und nicht nur Du, und nicht nur jetzt...

Da gibt es im Moment nur zwei Moeglichkeiten:

1. brav abwarten und spaeter nochmal mit ftp.gwdg.de probieren. Dies ist die sichere Methode.

2. auf ftp4 statt ftp umschalten. Dies hilft sofort, aber Du (nicht wirklich Du, aber 100 * Du vielleicht schon) hast dann die Verantwortung dafuer, dass ftp4 seine naechste Repository-Erzeugung nicht rechtzeitig fertig bekommt oder ftp noch laenger braucht, um die zugehoerigen Files vom ftp4 zu aktualisieren.

Das war waehrend der Woche der Fall, und weil ich diesen Stress nicht mehr mitmachen wollte, hatte ich ftp4 dichtgemacht.
Jetzt ist er wieder offen, bis ich den naechsten derartigen Kollaps sehe.

Das Abhilfe-Konzept steht, kostet aber 15 TEuro:
8 TEuro fuer einen Quad-Opteron-Server (Newisys 4300-E) und 7 Teuro fuer 32 GB RAM. Damit duerfte das bisherige RAID-Array weiterverwendbar sein (hat auch schon 9 Teuro gekostet).
Leider laesst unser Haushalt das nicht zu, auch im naechsten Jahr nicht.

Gruss -e


Gruss -e

 

[Grothesk]

Das Abhilfe-Konzept steht, kostet aber 15 TEuro:

Hm. Wie viele Nutzer hat der LC? Zur Zeit: 19918
Also jeder 'nen Euro an die gwdg überweisen!

Dann können wir wieder schön über APT das System auf dem laufenden halten. Wenn wir uns dann noch mit den Ubuntu-Foren zusammen tun... ;-)

 

[gbolk]

Und wie soll nun die Zukunft aussehen? Ich mein, LinuX wird immer beliebter...ich selbst habe in den vergangenen 3 Wochen SuSE, Kubuntu und Debian auf mehr als 30 Maschinen installiert und eingerichtet. Allein 7 Windows-Jünger konnte ich zu SuSE bewegen und die sind...BEGEISTERT...;-)...war ja auch nicht anders zu erwarten...und dann meine Rechner hier daheim...OK, da zieh ich das ja alles nur einmal...aber ab und an muß ich z.B. an einem meiner Server "etwas" nachinstallieren und dann...tja, muß ich mit dem raus...und auf den Server...

Mir leuchtet, wie jedem anderen hier sicher auch, ein, das es ein unheimlicher Kostenfaktor ist. Wie sehen die Pläne aus? Ausbauen bis Ultimo oder die Auswahl der Distributionen begrenzen...??

Seit ihr den die einzigen, die das APT-Repositorie wiedergeben...??

 

[cero]

Das Abhilfe-Konzept steht, kostet aber 15 TEuro:

Hm. Wie viele Nutzer hat der LC? Zur Zeit: 19918
Also jeder 'nen Euro an die gwdg überweisen!

Dann können wir wieder schön über APT das System auf dem laufenden halten. Wenn wir uns dann noch mit den Ubuntu-Foren zusammen tun... ;-)

Da würde ich sogar mehr spenden!

 

[Divine]

ich würd auch freiwillig was dazugeben!

 

[emoenke]

Und wie soll nun die Zukunft aussehen? Ich mein, LinuX wird immer beliebter...ich selbst habe in den vergangenen 3 Wochen SuSE, Kubuntu und Debian auf mehr als 30 Maschinen installiert und eingerichtet. Allein 7 Windows-Jünger konnte ich zu SuSE bewegen und die sind...BEGEISTERT...;-)...war ja auch nicht anders zu erwarten...und dann meine Rechner hier daheim...OK, da zieh ich das ja alles nur einmal...aber ab und an muß ich z.B. an einem meiner Server "etwas" nachinstallieren und dann...tja, muß ich mit dem raus...und auf den Server...

Mir leuchtet, wie jedem anderen hier sicher auch, ein, das es ein unheimlicher Kostenfaktor ist. Wie sehen die Pläne aus? Ausbauen bis Ultimo oder die Auswahl der Distributionen begrenzen...??

Seit ihr den die einzigen, die das APT-Repositorie wiedergeben...??

Mit Engpaessen in Release-Momenten wird man wohl ewig leben muessen.
Das Stoerendste ist ja eigentlich nur, dass der Server fuer die APT-Repositories erst noch die Metadaten aufbereiten muss.
Das kann erst dann losgehen, wenn die Files schon da sind, also der Server schon mit der Auslieferung zu tun hat, und kann deshalb sehr verzoegert werden.
Deshalb wird das konzeptuell anders werden.

Der Nachfolger von APT wird etwas sein, das "distributed" funktioniert, d.h. mit der Ankunft der Files im Server ist schon alles erledigt.

Derzeit sind schon viele SUSE- und suser-Repositories in dieser Weise autonom. Die Maintainer erzeugen die Metadaten selbst, entweder mit dem SUSE-Mechanismus (YaST-Repository, erkennbar an einer Directory
media.1) oder mit createrepo (Yum-Repository, erkennbar an einer Directory repodata).
YaST kann beides nutzen, APT leider nichts davon.

Derzeit geht der Trend zu smartpm. Das ist insofern der "natuerliche" Nachfolger von aptrpm, als es auch von Gustavo Niemeier stammt, dem Vater unseres aptrpm.

Gruss -e

 

[emoenke]

Da gibt es im Moment nur zwei Moeglichkeiten:

1. brav abwarten und spaeter nochmal mit ftp.gwdg.de probieren. Dies ist die sichere Methode.

2. auf ftp4 statt ftp umschalten. Dies hilft sofort, aber Du (nicht wirklich Du, aber 100 * Du vielleicht schon) hast dann die Verantwortung dafuer, dass ftp4 seine naechste Repository-Erzeugung nicht rechtzeitig fertig bekommt oder ftp noch laenger braucht, um die zugehoerigen Files vom ftp4 zu aktualisieren.

Das war waehrend der Woche der Fall, und weil ich diesen Stress nicht mehr mitmachen wollte, hatte ich ftp4 dichtgemacht.
Jetzt ist er wieder offen, bis ich den naechsten derartigen Kollaps sehe.

Das lief gut gestern, jedenfalls im ftp4.
Deshalb habe ich ihn probeweise heute offen gelassen, und das ging auch gut genug.

Vielleicht normalisiert es sich ja jetzt endlich mal wieder.
Wohl nicht lange - am Donnerstag kommt 10.1-Alpha2.

Aber ich will jetzt sehen, dass ftp4 dauernd offen bleibt.
Sonst quaele ich ja moeglicherweise 18 000 brave User, die alle gern einen Euro reinschmeissen wuerden, wenn dadurch die Maschine wieder laeuft. ;-))

Gruss -e

 

[herbk]

wer OpenSuSE 10.0 auf DVD haben möchte - für 5,-- Euro incl Porto kann die DVD bei mir bestellt werden...
Den Ertrag daraus geb' ich ihn an OpenSuSE weiter.

Bitte per PM an mich und Versionsangabe nichtvergessen.

Gruß Herbert

 

[Pfalzwolf]

An Eberhard zunächst einmal ein ganz herzliches Dankeschön für den prima Service und die in der letzten Zeit damit verbundenen Überstunden und Qualen.

Wie wäre es denn, wenn der Gemeinde ein paar Verhaltensregeln bekannt gegeben würden, damit zunächst auf freiwilliger Basis die Serverbelastung in Release/Update Zeiten nicht so stark anwächst. Meine Meinung ist außerden, wer es sich leisten kann, sollte ruhig die Pakete kaufen oder zumindest, wenn das nicht geht, sich mit anderen zusammen schließen und nur 1x die Images ziehen.

Ich spinne jetzt mal ein wenig herum -
@Eberhard, wäre es möglich, dass Du, aufauend auf dem Vorschlag von Grothesk, eine Aktion anleierst. Alle LC Mitglieder können einen oder beliebig viele virtuelle Anteile z.B. für 5€ pro Stück an dem Serverpark erwerben. Dafür gibt es dann eine schöne Urkunde und/oder einen schönen Sticker. Selbst wenn die 15Teuro nicht ganz zusammen kommen, wäre etwas Hardware drin. Für Überweisungen unter 5€ gäbe es dann halt nur eine Dankes-Info im Forum.

 

[TheTuxKeeper]

Wie wäre es denn, wenn der Gemeinde ein paar Verhaltensregeln bekannt gegeben würden, damit zunächst auf freiwilliger Basis die Serverbelastung in Release/Update Zeiten nicht so stark anwächst. Meine Meinung ist außerden, wer es sich leisten kann, sollte ruhig die Pakete kaufen oder zumindest, wenn das nicht geht, sich mit anderen zusammen schließen und nur 1x die Images ziehen.

Oder man benutzt die torrents. Je mehr Leute das machen würden umso schneller gehen die Downloads und die Mirrors haben noch genügend Ressourcen für Leute, die sich über apt Bugfixes holen wollen.

Ich spinne jetzt mal ein wenig herum -
@Eberhard, wäre es möglich, dass Du, aufauend auf dem Vorschlag von Grothesk, eine Aktion anleierst. Alle LC Mitglieder können einen oder beliebig viele virtuelle Anteile z.B. für 5€ pro Stück an dem Serverpark erwerben. Dafür gibt es dann eine schöne Urkunde und/oder einen schönen Sticker. Selbst wenn die 15Teuro nicht ganz zusammen kommen, wäre etwas Hardware drin. Für Überweisungen unter 5€ gäbe es dann halt nur eine Dankes-Info im Forum.

Das ist imo ein guter Einfall und keine Spinnerei!!!