Written by J. Moellenkamp
on 
Reading time: 1 minute
CEC   German

CEC2006: Building multipetabyte architectures with Thumper

Nun, dritter Tag … die letzten Breakout-Sessions … beginnen wir mal den Tag mit “Building multipetabyte architectures with Thumper”. Nicht wirklich viel los, die meisten Leute sind wohl irgendwie noch in einem Zustand der frühmorgendlichen Pseudostasis. Der Vortrag begann damit, zu erklaeren, warum man ueberhaupt petabyteweise Daten speichen will, sollte und muss. Insbesondere Forschungsinstitute muessen heute grosse Datenmengen speichern. Wenn man bedenkt, das hoechstaufgeloeste Gehirnscans mittlerweile 1.5 Terabyte Speicher pro Bild verbrauchen, kommen diese Terabytes ziemlich schnell zusammen. Eine Lösung um soetwas mit Thumpern darzustellem, ist die Verwendung von Lustre. Lustre ist ein Cluster Filesystem, welches darauf ausgelegt worden ist, mir sehr grossen Filemengen und sehr grossen Bandbreiten umzugehen. Das bestechende an Lustre ist der mögliche Verzicht auf ein SAN. Ich kann trotzdem auf gemeinsam von einem Client auf den Speicher zugreifen. Daszu wird auf dem Server ein Object Storage Server installiert. Die Kommunikation zwischen diesen Server und dem Client geht dann Ethernet, Myrinet oder Infiniband. Damit kann man dann auch Storage horizontal skalieren. Leider gibt es das nur fuer Linux momentan. Da muss der Hersteller von Lustre unbedingt noch nachlegen. Einige interessante Anmerkungen: