Verständnisfrage zu Ceph

Geier0815 · 22 Apr. 2021

Moin Moin,

irgendwie hakt gerade mein Verständnis zu Ceph...

Ich habe drei Rechner mit jeweils einer 3TB-HDD die in zwei logische Laufwerke aufgeteilt ist. 100GB fürs System der Rest für ceph.
Ich habe den ersten Node aufgesetzt, per "cephadm bootstrap" den cluster aufgesetzt und die beiden weiteren Hosts zum Cluster hinzugefügt.
Dann alle drei zu Monitoren gemacht.
Ebenfalls bei allen dreien das große Laufwerk als OSD zum Cluster hinzugefügt
und anschließend per

Code:

ceph fs volume create cluster1

ein cephfs über den gesamten verfügbaren Speicherplatz gespannt, das geschah durch den Befehl automaisch.

Nun möchte ich diesen Speicher per NFS zur Verfügung stellen. Dafür gibt es ja ganesha-nfs. Laut Anleitung

ceph orch apply nfs *<svc_id>* *<pool>* *<namespace>* --placement="*<num-daemons>* [*<host1>* ...]"

For example, to deploy NFS with a service id of foo, that will use the RADOS pool nfs-ganesha and namespace nfs-ns:

ceph orch apply nfs foo nfs-ganesha nfs-ns

Note

Create the nfs-ganesha pool first if it doesn’t exist.

soll ich nun erstmal einen Pool für ganesha-nfs erstellen.

Wenn ich aber per dashboard gucke, sind 2,5TB für cephfs.cluster1.meta und ebensoviel für cephfs.cluster1.data verwendet, bzw diese Pools entsprechend groß.
Wie muß ich nun den Pool für nfs-ganesha aufsetzen? Wird der neben den bereits bestehenden Pools aufgesetzt oder darüber? Wenn zweiteres, werden dann die Metadaten des Clusters auch per NFS frei gegeben, was extrem schwachsinnig wäre? Hätte ich das cephfs gar nicht erst aufsetzen sollen sondern nur den Pool für nfs?

Ihr merkt ich bin etwas verwirrt. In meiner Vorstellung/nach meinem Verständnis gehe ich davon aus das das cephfs im Grunde dem Raid und ein Pool einem logischen Laufwerk bei einem Raid-Controller entspricht... Liege ich damit richtig oder ist das gar nicht vergleichbar?

spoensche · 24 Apr. 2021

Evtl. hilft dir https://documentation.suse.com/de-de/ses/5.5/html/ses-all/cha-ceph-nfsganesha.html weiter.

Geier0815 schrieb:
Ihr merkt ich bin etwas verwirrt. In meiner Vorstellung/nach meinem Verständnis gehe ich davon aus das das cephfs im Grunde dem Raid und ein Pool einem logischen Laufwerk bei einem Raid-Controller entspricht... Liege ich damit richtig oder ist das gar nicht vergleichbar?

Der Pool entspricht nicht dem logischen Laufwerk eines RAID- Controllers. Ein Pool ist eine logische Gruppe.

Siehe: https://docs.ceph.com/en/latest/rados/operations/data-placement/

stka · 25 Apr. 2021

Soll das nur in Testsystem sein um Ceph zu verstehen? Denn 3 TB sind etwas klein um Ceph produktiv zu betreiben. Ich habe zwei Kunden die haben Ceph wieder raus geworfen weil es für 50TB bzw 60TB einfach überdimensioniert ist. Die sind dann auf GlusterFS umgestiegen. Das hat den Vorteil es ist einfach aufzusetzen, benötig nicht so viele Ressourcen und kann genau so schnell erweitert werden. Ich hab hier ein Testsystem laufen gehabt um das Samba VFS-Modul testen zu können. Der Festplattenplatz den du alleine für die Verwaltung benötigst ist bei der kleinen Größe benötigst steht in keinem Verhältnis zum Nutzen.

Geier0815 · 25 Apr. 2021

Oh, doch noch Antworten ;-)

@spoensche,
die Links kannte ich schon, trotzdem fehlt mir "etwas" der Durchblick. Das Problem bei der Doku ist das sie teilweise zu speziell ist. Stell dir vor Du hast nur die ganzen man-pages von Linux zur Verfügung und sollst dann ein System aufsetzen...
Aber inzwischen hab ich noch ein paar ältere Artikel und Links zum Thema gefunden die mir zumindest etwas Licht ans Fahrrad gemacht haben. Das mit dem cephfs war so gesehen ein Fehler, da dieses ja Pools gebildet hat und damit dieser Platz nicht mehr für ganesha zur Verfügung steht. Die Voreinstellung für die automatisch erzeugten Pools liegt bei 100 pgs, ich habe aber in meinem System nur 65 insgesamt. Damit war dann der gesamte Platz belegt.

@stka,
selbstverständlich ist das nur ein Testsystem. Die Anforderung an ein Produktivsystem liegt bei 100TB netto. Im Moment sind wir in der Phase wo wir Preise ermitteln und vergleichen. Storages in dieser Größenordnung liegen bei ca. 100k Euro (redundant, kein single-point-of-failure), zumindest nach den uns vorliegenden Angeboten. Deshalb kam der Gedanke an ein verteiltes System aus einfachen Komponenten auf. Da ich mich vor ca. 5-7 Jahren schon einmal kurz mit dem Thema beschäftigt habe und damals GlusterFS als RedHat-only (incl. teurer Subscription) rüberkam und meine sonstigen Server debian sind, ist Ceph jetzt mein erster Testkandidat geworden. Aber das da ein erheblicher Verlust nur durch die Verwaltung aufkommt ist mir auch schon aufgefallen. Ich werde noch etwas damit spielen, ist ja nie verkehrt etwas zu kennen/können, und danach mal GlusterFS testen.

Danke euch beiden für eure Beiträge!