Video

Facebook – Ein Blick hinter die Kulissen und in das komplexe System

“A Day in the Life of Facebook Operations” bezeichnete Tom Cook, System Engineer von Facebook seinen Vortrag auf der “Velocity 2010″ Er liefert dabei interessante Einblicke in den Aufbau der Server und Services, auf Open-Source Basis.

Da Facebook mittlerweile mehrere 10.000 Server hinter einem gigantischen Load Balancer System im Einsatz hat, ist es eine große Herausforderung diese alle zu Verwalten und auf den aktuellen Stand (Patches, Security Fixes, …) zu halten. Tom Cook erläutert in seinem ca. 40 minütigen Vortrag den grundlegenden Aufbau von Facebook. Hier einige wichtige Fakten und Komponenten aus der Sicht eines Systemadministrators.

Betriebsystem:

Facebook setzt ausschließlich auf Linux. Verwendet wird eine CentOS 5 Version mit einem modifizierten 2.6er Kernel

Datenbank:

Als Datenbank wird MySQL verwendet.

Caching:

HipHop for Php
ist ein SourceCode Transformer, welcher PHP in einen performanceoptimierten und kompilierten C++ Code verwandelt. Enwickelt wird das System von 3 Facebook Engineers auf Open-Source Basis. Durch die Einführung von HipHop wurde die WebServerlast von Facebook um beachtliche 50% Reduziert.

Memcached
Ist ein Open Source Cache-Server der häufig verwendete Abfragen (insbesondere SELECT Statements) vom Datenbankserver im Arbeitsspeicher abspeichert und dadurch Festplattenzugriffe bzw. Datenkbankzugriffe stark reduziert. Memcached hält für Facebook derzeit über 300+ TB live Daten im RAM.

Configuration Management:

CFengine 2.x.x
ist eine zentrale Configurations Management Software um viele (mehrere 10.000) Systeme auf den gleichen Softwarestand zu bringen und zu aktualisieren. Dieser Vorgang wird alle 15 Minuten für ALLE Server ausgeführt. So können zentral über 100 Policies welche einige 1000 Regeln beinhalten innerhalb von 30 Sekunden bei allen Servern auf den neuesten Stand gebracht werden.

Monitoring:

Hierbei setzt man ebenfalls auf bekanntere System wie Ganglia, Nagios und ODS (Operational Data Store),

WebPush:

Das Verteilen von neuen Inhalten, Features und Patches für Facebook.com wird über einen internen BitTorrent Server realisiert. Es dauert so ungefähr eine Minute bis der neue Code für Facebook.com auf mehreren 10.000 Servern verfügbar ist. Folgende Zyklen werden dabei verwendet

1x pro Woche für neue Features
1x pro Tag für Code Änderungen an der Hauptseite
mehrere male am Tag für Bugfixes und Patches

Kompletter Vortrag von Tom Cook:

Tags: , , , , , , , , , ,

Montag, Juni 28th, 2010 Linux, Virtualization 4 Kommentare

Ohne Worte: Cloud Computing einmal anders

Tags: , , ,

Donnerstag, Juni 10th, 2010 Allgemein, Hardware, Virtualization 1 Kommentar

Die Besten OpenSource Vorträge zur CeBIT 2010 als Streams

Wie der Titel schon sagt, möchte ich kurz die besten Vorträge zum CeBIT Open Source Forum 2010 aus einer langen Liste von Mitschnitten zusammenfassen. Ich selbst konnte dabei einiges lernen und viele neue, spannende Projekte kennenlernen.

Dank des Linux Magazins stehen alle Vorträge des Open Source Forums 2010 der CeBIT Online als Stream zur Verfügung. Die Liste der Vorträge ist ziemlich lang und jeder hat andere Interessen. Ich habe daher die interessantesten Vorträge aus Sicht eines Systemadministrators ausgewählt. Das gesamte Programm und alle Streams sind hier zu finden.

1. Tag – Dienstag

SAMBA in the CLOUD
Vortragender: Dr. Johannes Loxen von SerNet

Überwachung großer IT-Umgebungen mit Nagios und Icinga
Vortragender: Julian Hein von Netways

Das neue Debian GNU/FreeBSD Betriebssystem
Vortragender: Alexander Reichle-Schmehl vom Debian-Team

100 % Open Source – ist das möglich?
Vortragender: Christoph Steinhauer der it-novum GmbH / OSBF

Open Source Identity-Management
Michael Kleinhenz von tarent

2. Tag – Mittwoch

8 Mißverständnisse über Freie Software – (Oder sind es Lügen?)
Matthias Kirschner von der FSFE

Hochverfügbarkeit und Clustering im Zeichen der Virtualisierung
Sebastian Hetze der LIS AG

Icinga – der Nagios-Fork
Bernd Erk von Netways

3. Tag – Donnerstag

All Things Linux
Jim Zemlin der Linux Foundation

The future of innovation in the browser
Chris Hofmann von Mozilla

Disaster Recovery & P2V-Migration mit Rear / mit Open Source
Peer Heinlein von Heinlein Support

Verleihung der Linux New Media Awards in sechs Kategorien
Linux New Media

4. Tag – Freitag

Grid und Cloud Computing
Dr. Rüdiger Berlich

Security-Infrastruktur für WLAN mit Open Source-Mitteln
Thomas Götz von Science + computing

LPI-Online-Training der Linux-Magazin Academy
Klaus Behrla vom Linux Professional Institute

m23 freie Softwareverteilung
Hauke Goos-Habermann vom m23 Projekt

5. Tag – Samstag

leider konnte ich mich für das Programm am Samstag wenig begeistern.

Tags: , , , , , ,

Freitag, März 26th, 2010 Allgemein, Linux Keine Kommentare

Video: Wie reagiert ihr wenn jemand ein Netzwerkkabel eurer Server mit einer Scheere durchschneidet?

Wie würdet ihr reagieren, wenn jemand auf Besuch in eurem Serverraum ist, eine Scheere auspackt und einfach wahllos ein Netzwerkkabel durchschneidet? Genau das hat der Magier und Illusionist Scott Tokar im Auftrag von fiesen Kollegen bei Kiran Bhageshpur, seineszeichen director of engineering von Isilon Systems ausprobiert. Natürlich hat er nicht wirklich das Ethernetkabel durchgeschnitten. Wie er das gemacht hat, seht ihr in der Auflösung des Tricks. Also wenn ihr eurem Serveradmin mal einen Streich spielen wollt dann versucht den Trick nachzumachen. Aber haltet den notwendigen Sicherheitsabstand ein ;)

Tags: , ,

Montag, März 1st, 2010 Allgemein, Hardware 5 Kommentare

Data Center Infrastructure Management mit dcTrack

dcTrack ist eine “Data Center Infrastructure Management” (DCIM) Lösung mit einer Reihe an Tools und Möglichkeiten ein Rechenzentrum und ganze Serverlandschaften zu automatisieren und überwachen.

Raritan hat mit der Software dcTrack wieder eine mächtige Software für die Visualisierung und Wartung von größeren Rechenzentren geschaffen. dcTrack bietet eine Zielgenaue Überwachung des gesamten Rechenzentrums. Von Server über Bladesysteme, Viruellen Maschinen und Applikationen bis hin zum gesamten Netzwerkfluss und der physischen Verkabelung der Systeme. Außerdem gibt es eine Echtzeitkontrolle über Stromverbrauch und Wärmeableitung. Per SNMP können Systeme sogar vollautomatisch in dcTrack integriert werden.

Hier einige Screenshots von dcTrack (zum Vergrößern klicken):

einzelner_server floor_map power_path rack_visualisierung

Die Jungs von datacenterknowledge haben mal wieder ein tolles Interview mit dem Sales Manager von Raritan veröffentlicht, welcher einen kurzen Überblick und eine Demo der mächtigen Software präsentiert.

Tags: , , , , , ,

Donnerstag, November 12th, 2009 Hardware, Virtualization 1 Kommentar

Ohne Worte: The Google Story

(Quelle: googlewatchblog)

Tags: , ,

Dienstag, Oktober 27th, 2009 Allgemein Keine Kommentare

So werden USB-Sticks produziert – Einblick in die Kingston Hallen

Wen es immer schon einmal interessiert hat, wie USB-Sticks hergestellt werden, der sollte sich dieses 8:35 lange Video ansehen. Den Leuten von netbooknews.com wurden diese tiefen Einblicke in die Produktionsstrassen von Kingston gewährt.


(Quelle: netbooknews.com)

Tags: , , , , , ,

Dienstag, September 1st, 2009 Allgemein, Hardware Keine Kommentare
Sysadmin's Life on Facebook
linux server