APT zieht nicht, weil gwdg down

[oc2pus]

Das Problem resultiert daraus, das der Server überlastet ist und nicht "in time" die Indexdaten für das apt-repository generieren kann.

Gibt es Pläne die dazu führen dass sich das in absehbarer Zeit ändert?
Ein vernünftiger Einsatz von apt (z.B. zur Wartung) ist damit ja nicht wirklich gewährleistet...
:shock:

Ein erster Ansatz war am 2.7.2005 die einrichtung von ftp4.

You can try ftp4.gwdg.de instead of ftp.gwdg.de.
Same paths, same services.

The situation at ftp.gwdg.de is as worse as never before and as worse as I
never had thought to happen: this time, a new important release does not
push the total output sum to a new height, but it is even lower than
during the "quiet days" before...
This is due to the size of the 9.3 tree: it is 29 GB, including the new
iso/split/ directory I like to add, and this is far beyond the available
buffer cache (ftp.gwdg.de has "only" 12 GB RAM).
So almost every download is really moving the 15 available disk heads, and
with 1000 to 2500 users at every moment, disk heads are more moving than
reading.

From now on, ftp.gwdg.de will not generate "own" repositories any longer,
but offer those generated at ftp4.gwdg.de.
You are free to fetch them from ftp or ftp4, but if you start to use the
examples files, you will automatically move over to ftp4.gwdg.de with all
your transfers.

This may bring a new hazard to me: I am not allowed to use the whole
1 GBit upstream for my servers, and if it happens, I havw to "organize"
that it does not happen again.
But let's see. I will watch it and - if necessary - restrict access
to ftp4.

Ein zweiter Ansatz war die Verteilung der ISO-Images für SuSE-10 via bittorrent zur Entlastung der Server.

Es tut sich also sehr wohl etwas, leider scheint das Interesse an den Downloads der ISOs aber immer grösser zu werden ...

Du kannst das in der apt4rpm Mailingliste:
https://lists.sourceforge.net/lists/listinfo/apt4rpm-suse
gerne mitlesen und weiterverfolgen

 

[Pfalzwolf]

Hi, ich nutze apt erst seit ein paar Tagen. Daher weiß ich nicht, wie die Situation normalerweise ist. Jedenfalls konnte ich heute den ganzen Tag über nicht mal die Paketinformationen von ftp://ftp4.gwdg.de laden. Bei ftp://mirrors.mathematik.uni-bielefeld.de war der Zugang möglich.
Ist das auch Eure Erfahrung?
Falls ja, bewegen wir uns da nicht auf dünnem Eis und wie mag das zukünftig aussehen?
Hat jemand mehr Detailinfos?

 

[flo41]

wie der Beitrag von oc2pus schon zeigt hat ftp4.gwdg.de "nur" 1GBit upstream, deswegen kommen da nur sehr wenig dran ran, aber ich hoffe mal das sich das ganze einfach mit der zeit legt weil dann auch der letzte der einfach immer das neue haben muss weils das neue ist SuSE10.0 hat...

Ach ja .... ich benutze SuSE9.1 Pro - Kaufversion

 

[Müslifatzke]

Das "neuste vom neusten" beinhaltet BUGFIXES...oder sollen alle mit Fehlern auf ihren Systemen weiterarbeiten, damit der Herr ein Paket nachinsten kann...???

du glaubst doch nicht wirklich dass die mehrheit von denen das update runterlädt damit sie ein fehlerfreies system haben oder? außerdem kann kde doch nicht so voll von fehlern sein dass man es so dringend updaten muss. es LÄUFT zumindest mal, während bei mir manche programme eben überhaupt nicht laufen weil pakete fehlen. und da hilft auch kein direkt-download weils bei dem paket nämlich massig abhängigkeiten gibt.

Wenn es nur EIN Paket ist würde ich eine Alternative wie den DIREKTEN DL vorschlagen...wenn es sich um eine ganze Armee von Paketen handelt die jedoch geupdatet werden sollten, ist apt wohl DAS Medium...meiner bescheidenen Meinung nach...

du hast's erfasst! deshalb benutz ich auch apt.

 

[flo41]

ich verwend (wie gesagt) SuSE 9.1 und ---- ich hab noch nie Probleme wegen Bugs gehabt ...

 

[gbolk]

Ich glaub kaum, das hier IRGENDWER sich auch nur annähernd für den DL der entsprechenden Updates, Pakete oder ganzer ISOs erklären, entschuldigen oder um Verzeihung betteln muß...echt...kann wohl kaum sein.

Wenn es jemanden zu dumm wird kann er ja ein wenig Geld für ne fettere Anbindung lostreten und überweisen...oder soll sich selbst nen Server mit allem basteln... :wtf:

 

[Müslifatzke]

Ich glaub kaum, das hier IRGENDWER sich auch nur annähernd für den DL der entsprechenden Updates, Pakete oder ganzer ISOs erklären, entschuldigen oder um Verzeihung betteln muß...echt...kann wohl kaum sein.

hab ich auch gar nicht verlangt. ich hab den leuten nur die schuld zugeschoben, aber ich hab nix gefordert. und dass diese leute schuld daran sind dass der server überlastet is steht ja wohl außer frage.
aber das mit der fetteren anbindung raff ich nicht ganz, was bringt mir die wenn der server nicht nachkommt?

 

[emoenke]

Kann es sein, das ftp://ftp4.gwdg.de/pub/linux/suse/apt/SuSE/ wieder down ist...???

Ich habe ftp4 "aus dem Verkehr gezogen" (ftp und rsync), damit erstmal die "Tier-1"-Mirrors zum Zuge kommen koennen und wenigstens meine interne APT-Repository-Erzeugung wieder zeitnah klappt.

Folgende Mirrors duerften opensuse jetzt komplett haben (sicherlich noch mehrere, aber von diesen sehe ich es in den Logs von ftp4):

coast.cise.ufl.edu
Drebkau.SBone.tu-cottbus.de
ftcrel3.hp.com
ftp.cs.pu.edu.tw
ftp.jaist.ac.jp
ftp.kddlabs.co.jp
ftp.rrze.uni-erlangen.de
gd.tuwien.ac.at
hslxrsrv5.hs.uni-hamburg.de
klid.dkmandril.creatis.insa-lyon.fr
mirror2.mirrors.tds.net
mirror.ETF.BG.AC.YU
moon.switch.ch
patroklos.noc.ntua.gr
rhlx01.fht-esslingen.de
robtop.informatik.uni-mannheim.de
roxen.integrity.hu
spike.fa.gau.hu
stallman.upc.es
venus.informatik.RWTH-Aachen.DE

In ftp.gwdg.de habe ich die Anzahl der http-Clients auf 1000 begrenzt und die Anzahl der FTP-Clients Mo-Fr tagsueber auf 1000 und nachts+Sa+So auf 2000. rsync ist auf 333 Sessions limitiert.
Je mehr ich reinlasse, desto weniger Bandbreite kriegt jeder einzelne, und auch so noch kriegt wohl derzeit keiner seine DSL-Leitung voll.

Wer an die FTP-Begrenzung stoesst, kriegt einen Error auf die Nase.
Wer an die HTTP-Grenze stoesst, wird etwas sanfter behandelt: er wartet eine Weile und kommt dann dran, wenn nicht vorher ein Timeout zuschlaegt.

Normalerweise geht die Nachfrage samstags zurueck, aber heute ist das wieder nicht so.
Auch nachts ist nicht weniger als tagsueber.
Hoffentlich bleibt am Montag wenigstens der normale Anstieg aus.

Gruss -e

 

[Müslifatzke]

dazu hätt ich mal ne frage: wie kann ich denn statt auf ftp4.gwdg.de auf einen der genannten mirrors zugreifen? muss ich da in meiner sources.list jedes einzelne ftp4.gwdg.de durch den mirror ersetzen? oder gibts da ne elegantere lösung (z.b. suchen und ersetzen)?

 

[Grothesk]

Danke für die Liste, Eberhard.
Hab mein momentanes Update von kde mal von gwdg nach Wien verschoben. Der Server dort geht gut ab.
Wird Zeit, dass der gwdg-Server mal etwas entlastet wird.

@Muslifatzke: Mit 'kate' kann man doch ganz locke 'Suchen und Ersetzen'

 

[emoenke]

dazu hätt ich mal ne frage: wie kann ich denn statt auf ftp4.gwdg.de auf einen der genannten mirrors zugreifen? muss ich da in meiner sources.list jedes einzelne ftp4.gwdg.de durch den mirror ersetzen? oder gibts da ne elegantere lösung (z.b. suchen und ersetzen)?

Das ist noch ein weiteres Dilemma: die meisten Mirrors haben zwar OpenSUSE, aber nicht die APT-Repositories.

Gruss -e

 

[Tux-Manni]

..die meisten Mirrors haben zwar OpenSUSE, aber nicht die APT-Repositories.

Hab ich auch schon gesucht und festgestellt. Weiss jemand, bzw kann man das irgendwo nachlesen, welche Server für apt tauglich sind?
In meinem Fall brauch ich einen für SuSE 9.3.

Danke und Gruß
Manni

 

[Müslifatzke]

jup, ich auch, und zwar dringend. hab meine 9.3 dvd verliehen und ich brauch dringend den xfree86-devel damit ich scribus kompilieren kann weil ich bis montag ne ziemlich umfangreiche hausaufgabe machen muss (sorry for spam )

sorry wenn mein ton etwas autoritär rüberkommt, so mein ichs nicht. will nur der dringlichkeit ausdruck verleihen, aber ich will auch kein stress schieben

 

[panamajo]

Ein erster Ansatz war am 2.7.2005 die einrichtung von ftp4.

...der z.Zt. leider per ftp nicht wirklich erreichbar ist :shock:

Ein zweiter Ansatz war die Verteilung der ISO-Images für SuSE-10 via bittorrent zur Entlastung der Server.

Es tut sich also sehr wohl etwas, leider scheint das Interesse an den Downloads der ISOs aber immer grösser zu werden ...

Das ist das Problem auf das ich ansprechen wollte.
apt ist IMHO nur dann sinnvoll, wenn es auch funktioniert. Wenn apt durch den Release einer neuen Dist lahmgelegt wird, weil den Servern die Puste ausgeht, dann ist es nicht wirklich zuverlässig und damit eigentlich als Tool für Maintainance nicht verwendbar.

Ich habe mir die SUSE10.0 via Bittorrent runtergeladen und als Update installiert. Jetzt habe ich 81 Pakete die noch aus SUSE 9.3 stammen (z.B. packman Pakete) und kann die per apt nicht upgraden :evil:

Und das nur weil viele Leute nicht kapieren wie bittorrent geht oder was ein mirror ist. SUSE10.0 ISOs gibts inzwischen massenhaft, apt Repositorys eben nicht :twisted:

 

[TheTuxKeeper]

@panamajo:

Ich habe ftp4 "aus dem Verkehr gezogen" (ftp und rsync)

Und das nur weil viele Leute nicht kapieren wie bittorrent geht oder was ein mirror ist. SUSE10.0 ISOs gibts inzwischen massenhaft, apt Repositorys eben nicht

Ich hab auch versucht die Iso's über bittorent zu holen, habe aber wegen den Downloadraten von max. 30 KB/s (meist aber unter 10 KB/s) aufgegeben und mit apt alles geholt.
Ich hatte bittorrent aber trotzdem 8 Stunden nebenbei laufen lassen. Die 8 KB/s Upload waren zwar nicht viel, aber ein paar werden sich schon an den 2-3 KB/s gefreut haben.

 

[panamajo]

Ich hatte bittorrent aber trotzdem 8 Stunden nebenbei laufen lassen. Die 8 KB/s Upload waren zwar nicht viel, aber ein paar werden sich schon an den 2-3 KB/s gefreut haben.

Nicht ktorrent verwenden sondern BitTorrent (rpms sind mit der opensuse.org Seite verlinkt). Ich hatte einen DL von ~100KB/s und über Nacht war alles da.

 

[}-Tux-{]

Ich habe mir die SUSE10.0 via Bittorrent runtergeladen und als Update installiert. Jetzt habe ich 81 Pakete die noch aus SUSE 9.3 stammen (z.B. packman Pakete) und kann die per apt nicht upgraden :evil:

naja hast du schonmal http://ftp4.gwdg.de probiert?
Ansonsten kannst du doch auch für packman einen extra packman mirror benutzten und dann alles per y2pmsh installieren


Cheers }-Tux-{

ps. ich habe die iso's auch über bt gezogen (azureus) und hab fast die ganze zeit mit 120kb/s geladen...

 

[flo41]

ftp4.gwdg.de lässt werktags nur maximal 1000 Clients zu => ist fast unmöglich da nen Platz zu bekommen

 

[Tux-Manni]

wegen SuSE 10.0:

Nur zur Info, in der nächsten Ausgabe von Easy Linux soll eine DVD beiliegen. Dann kann man sich diesen Downloadstress auch sparen.

Wegen meiner letzten Anfrage: gibt es keine anderen Server (zB im Ausland), welche auch über apt-repositories für 9.3 verfügen??

Gruß Manni

 

[oc2pus]

@panamajo:
nicht ist schnelllebiger als linux ...

Ich habe Eberhard (emoenke), den admin von gwdg.de, gebeten mal Infos aus erster Hand zu posten. Diesem Wunsch hat er entsprochen und die Fakten in seinem Posting erläutert.

D.h. mein Posting von weiter oben war Kenntnisstand bis heute 12:00 Uhr, das Posting von Eberhard bringt dann neue Fakten ab heute 12:00 Uhr...

Sorry für evtl entstandene Missverständnisse.

Nichtsdestotrotz, die Lage ist momentan echt nicht befriedigend. Aber wir können leider nichts dran ändern. Die Einführung von bittorrent bringt wohl schon etwas, aber es wird noch nicht von allen genutzt oder "verkehrt" eingesetzt wie so oft bei P2P Programmen (d.h. saugen, fertig, dann close ...)