Systemlast ohne das ein prozess was nutzt

[gurumaker]

Hi,

hab hier nen merkwürdigen Fall. Mein Server steht unter last (Load von 5 bis machmal 10 hoch) ohne das irgendein Prozess was nennenswertzes an CPU-Zeit verbraucht:

top - 15:31:53 up 50 days, 20:24, 2 users, load average: 4.16, 4.66, 4.49
Tasks: 88 total, 2 running, 86 sleeping, 0 stopped, 0 zombie
Cpu(s): 99.6% us, 0.2% sy, 0.0% ni, 0.0% id, 0.0% wa, 0.1% hi, 0.2% si
Mem: 8109096k total, 7277836k used, 831260k free, 36352k buffers
Swap: 2931820k total, 256k used, 2931564k free, 1067052k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
32158 root 16 0 9400 1264 9164 R 0.3 0.0 0:00.09 top
1 root 16 0 2576 536 2412 S 0.0 0.0 0:00.31 init
2 root RT 0 0 0 0 S 0.0 0.0 0:00.37 migration/0
3 root 34 19 0 0 0 S 0.0 0.0 0:00.01 ksoftirqd/0
4 root RT 0 0 0 0 S 0.0 0.0 0:00.06 migration/1
5 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/1
6 root RT 0 0 0 0 S 0.0 0.0 0:00.03 migration/2
7 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/2
8 root RT 0 0 0 0 S 0.0 0.0 0:00.01 migration/3
9 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/3
10 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 events/0
11 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 events/1
12 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 events/2
13 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 events/3
14 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 khelper
15 root 15 -10 0 0 0 S 0.0 0.0 0:00.00 kacpid
55 root 5 -10 0 0 0 S 0.0 0.0 0:00.28 kblockd/0
56 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 kblockd/1
57 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 kblockd/2
58 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 kblockd/3
59 root 15 0 0 0 0 S 0.0 0.0 0:00.00 khubd
70 root 20 0 0 0 0 S 0.0 0.0 0:00.00 pdflush
71 root 15 0 0 0 0 S 0.0 0.0 0:28.91 pdflush
72 root 15 0 0 0 0 S 0.0 0.0 0:00.58 kswapd3
73 root 15 0 0 0 0 S 0.0 0.0 0:00.70 kswapd2
75 root 16 0 0 0 0 S 0.0 0.0 0:01.15 kswapd0
74 root 15 0 0 0 0 S 0.0 0.0 0:00.75 kswapd1
76 root 15 -10 0 0 0 S 0.0 0.0 0:00.00 aio/0
77 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 aio/1
78 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 aio/2
79 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 aio/3
214 root 16 0 0 0 0 S 0.0 0.0 0:00.02 kseriod
234 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 ata/0
235 root 7 -10 0 0 0 S 0.0 0.0 0:00.00 ata/1
236 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 ata/2
...

z.zt sind ca. 200 TCP-Verbindungen auf dem Server. Das ganze wird von einem JBoss Application Server verursacht (vermute ich deshalb, weil wenn ich den neu Starte, alles wieder normal ist). Der verbraucht aber angeblich auch nix!

Hat jemand Irgendeine Idee, wie ich herausfinden kann, wo da effektiv die Rechenleistung weg geht?

 

[haveaniceday]

Helfen kann ich nicht, aber etwas Halbwissen beitragen.
Der Load ist nach meinem Wissen die Anzahl der Prozesse, welche
"ready to run" sind. Dabei warten die Prozesse auf irgendwelche Resourcen.

Die Auslastung der Resource "CPU" kann man mit "top" beobachten, Platte mit "vmstat 1".
Die Resource "Netzwerk", z.B. Ethernetkarte oder "interner Netzwerk Stack" kann
aber auch einen Engpass verursachen. Dieses, so würde ich vermuten, sollte auch
bei dem JBOSS der Fall sein.
Ich weiss aber nicht wie man sich diese Last "Netzwerk" anzeigen lassen kann.

Viele Grüße,

Haveaniceday.

PS: Meine Aussage über die Load muss nicht korrekt sein ! Das Halbwissen könnte auch falsches Wissen sein...

 

[gurumaker]

Danke für Dein "Halbwissen" haveaniceday ;-) .

Ich habe jetzt konstant seit 4 Tagen eine Load von 4. Die Anzahl der Verbindungen ist sicher nicht konstant genug um dies zu rechtfertigen, zumal am Wochenende kaum Last auf dem Server hätte sein sollen. Keiner noch eine Idee was man da noch schauen kann? Bin für jeden Hinweis dankbar.

 

[haveaniceday]

sysctl -a fällt mir so zum Drehen and den Kernelparametern ein.
Damit können auch die Netzwerkeigenschaften verändert werden.

Aber mit den Werten dort müßte man mal "googlen" nach tunen oder so.

Ich weiss nicht ob es Sinn macht, aber ich würde mal das Kernelmodul "ipv6.ko"
dem Kernel wegnehmen. Kollegen hatten mal Probleme mit JBOSS und Multicast.
Betraf aber eher den Start.
Evtl. könnte aber auch /etc/sysconfig/network/config USE_IPV6=no dieses ausschalten ?
Mit ipv6 ist aber nur ein absoluter Schuss ins Blaue ! ( Gefühl < 10 %, dass etwas sich ändert..)

Viele Grüße,

Haveaniceday

Edit: Schau mal hier:
- http://www.webhostingtalk.com/archive/thread/257654-1.html
ABER ! Ich weiss nicht ob diese Werte die Sicherheit beeinflussen oder etwas bringen..
http://www.webhostingtalk.com/showthread.php?threadid=257654

 

[gurumaker]

Danke für die Links, auf jeden fall was zum ausprobieren dabei. Jetzt ist zwar nach einem Neustart wieder ruhe, aber kommt garantiert wieder.