SYSADMIN'S LIFE » Linux

Facebook – Ein Blick hinter die Kulissen und in das komplexe System

Patrick — Mon, 28 Jun 2010 15:56:34 +0000

“A Day in the Life of Facebook Operations” bezeichnete Tom Cook, System Engineer von Facebook seinen Vortrag auf der “Velocity 2010″ Er liefert dabei interessante Einblicke in den Aufbau der Server und Services, auf Open-Source Basis.

Da Facebook mittlerweile mehrere 10.000 Server hinter einem gigantischen Load Balancer System im Einsatz hat, ist es eine große Herausforderung diese alle zu Verwalten und auf den aktuellen Stand (Patches, Security Fixes, …) zu halten. Tom Cook erläutert in seinem ca. 40 minütigen Vortrag den grundlegenden Aufbau von Facebook. Hier einige wichtige Fakten und Komponenten aus der Sicht eines Systemadministrators.

Betriebsystem:

Facebook setzt ausschließlich auf Linux. Verwendet wird eine CentOS 5 Version mit einem modifizierten 2.6er Kernel

Datenbank:

Als Datenbank wird MySQL verwendet.

Caching:

HipHop for Php
ist ein SourceCode Transformer, welcher PHP in einen performanceoptimierten und kompilierten C++ Code verwandelt. Enwickelt wird das System von 3 Facebook Engineers auf Open-Source Basis. Durch die Einführung von HipHop wurde die WebServerlast von Facebook um beachtliche 50% Reduziert.

Memcached
Ist ein Open Source Cache-Server der häufig verwendete Abfragen (insbesondere SELECT Statements) vom Datenbankserver im Arbeitsspeicher abspeichert und dadurch Festplattenzugriffe bzw. Datenkbankzugriffe stark reduziert. Memcached hält für Facebook derzeit über 300+ TB live Daten im RAM.

Configuration Management:

CFengine 2.x.x
ist eine zentrale Configurations Management Software um viele (mehrere 10.000) Systeme auf den gleichen Softwarestand zu bringen und zu aktualisieren. Dieser Vorgang wird alle 15 Minuten für ALLE Server ausgeführt. So können zentral über 100 Policies welche einige 1000 Regeln beinhalten innerhalb von 30 Sekunden bei allen Servern auf den neuesten Stand gebracht werden.

Monitoring:

Hierbei setzt man ebenfalls auf bekanntere System wie Ganglia, Nagios und ODS (Operational Data Store),

WebPush:

Das Verteilen von neuen Inhalten, Features und Patches für Facebook.com wird über einen internen BitTorrent Server realisiert. Es dauert so ungefähr eine Minute bis der neue Code für Facebook.com auf mehreren 10.000 Servern verfügbar ist. Folgende Zyklen werden dabei verwendet

1x pro Woche für neue Features
1x pro Tag für Code Änderungen an der Hauptseite
mehrere male am Tag für Bugfixes und Patches

Kompletter Vortrag von Tom Cook:

Ähnliche Artikel:

Editor für Crontab – Cronjobs in Debian ändern

Patrick — Mon, 07 Jun 2010 13:19:21 +0000

Wenn man mit verschiedenen Linux Distributionen arbeitet, merkt man sehr schnell das jedes System seine gewissen Eigenheiten hat. So werden auch unterschiedlichste Editoren zum Bearbeiten der Cronjobs (crontab -e) verwendet. Der Editor lässt sich aber ganz einfach ändern.

Hierzu muss lediglich die Umgebungsvariable “EDITOR” angepasst werden

export EDITOR=/usr/bin/vi

Damit diese Änderung dauerhaft und auch nach einem Reboot wirksam ist, kann die oben genannte Codezeile global in der Datei /etc/profile oder auf Userebene in der entsprechenden ~/.bashrc verwendet werden.

Es stehen natürlich neben dem vi auch noch viele andere Editoren zur Verfügung, alle zu nennen wäre jetzt ein bisschen viel, darum hier die wichtigsten (Die Pfade beziehen sich auf Debian und können je nach Distribution abweichen)

export EDITOR=/usr/bin/vim

export EDITOR=/usr/bin/nano

export EDITOR=/usr/bin/pico

export EDITOR=/usr/bin/editor

export EDITOR=/usr/bin/joe

Alternativ zur altbewährten Methode kann mit folgendem Befehl auch ein Editor aus einer Liste ausgewählt werden. (Danke an Toberkel für den Tipp)

update-alternatives --config editor

Ähnliche Artikel:

Ubuntu 10.10 wird Maverick Meerkat – Rebellisches Erdmännchen

Patrick — Fri, 02 Apr 2010 21:48:32 +0000

Mark Shuttlerworth hat in seinem Blogpost bekannt gegeben, dass Ubuntu 10.10 unter dem Codenamen “Maverick Meerkat” erscheinen wird. Übersetzt bedeutet “Maverick Meerkat” soviel wie “Rebellisches Erdmännchen”. Erscheinen soll Ubuntu 10.10 im Oktober 2010.

Ich bin gespannt ob Maverick Meerkat bereits den GNOME Desktop 3.0 beinhalten wird. (vorausgesetzt er wird bis dahin fertiggestellt)

Bis Ende Oktober wird aber noch einige Zeit vergehen und somit blicken wird auf das kommende Release von Ubuntu: Lucid Lynx wird voraussichtlich am 29.04.2010 erscheinen. Alles Infos darüber gibt es hier.

Kurzer Überblick der Ubuntu Versionen:

Warty Warthog (4.10) freigegeben am 10/20/2004.
Hoary Hedgehog (5.04) freigegeben am 04/08/2005.
Breezy Badger (5.10) freigegeben am 10/13/2005.
Dapper Drake (6.06 LTS) freigegeben am 06/01/2006.
Edgy Eft (6.10) freigegeben am 10/26/2006
Feisty Fawn (7.04) freigegeben am 04/19/2007.
Gutsy Gibbon (7.10) freigegeben am 10/18/2007.
Hardy Heron (8.04 LTS) freigegeben am 04/24/2008.
Intrepid Ibex (8.10) freigegeben am 10/30/2008.
Jaunty Jackalope (9.04) freigegeben am 04/23/2009.
Karmic Koala (9.10) freigegeben am 10/29/2009.
Lucid Lynx (10.04 LTS) wird freigegeben am 04/29/2010
Maverick Meerkat (10.10) geplant für ende Oktober 2010
N… N… (11.04)

Video der Ubuntu Release Pläne:

Ähnliche Artikel:

Ohne Worte: Linux Geeks und die Frauen

Patrick — Fri, 02 Apr 2010 11:11:50 +0000

(Quelle: linuxologist)

Ähnliche Artikel:

Die Besten OpenSource Vorträge zur CeBIT 2010 als Streams

Patrick — Fri, 26 Mar 2010 12:25:57 +0000

Wie der Titel schon sagt, möchte ich kurz die besten Vorträge zum CeBIT Open Source Forum 2010 aus einer langen Liste von Mitschnitten zusammenfassen. Ich selbst konnte dabei einiges lernen und viele neue, spannende Projekte kennenlernen.

Dank des Linux Magazins stehen alle Vorträge des Open Source Forums 2010 der CeBIT Online als Stream zur Verfügung. Die Liste der Vorträge ist ziemlich lang und jeder hat andere Interessen. Ich habe daher die interessantesten Vorträge aus Sicht eines Systemadministrators ausgewählt. Das gesamte Programm und alle Streams sind hier zu finden.

1. Tag – Dienstag

SAMBA in the CLOUD
Vortragender: Dr. Johannes Loxen von SerNet

Überwachung großer IT-Umgebungen mit Nagios und Icinga
Vortragender: Julian Hein von Netways

Das neue Debian GNU/FreeBSD Betriebssystem
Vortragender: Alexander Reichle-Schmehl vom Debian-Team

100 % Open Source – ist das möglich?
Vortragender: Christoph Steinhauer der it-novum GmbH / OSBF

Open Source Identity-Management
Michael Kleinhenz von tarent

2. Tag – Mittwoch

8 Mißverständnisse über Freie Software – (Oder sind es Lügen?)
Matthias Kirschner von der FSFE

Hochverfügbarkeit und Clustering im Zeichen der Virtualisierung
Sebastian Hetze der LIS AG

Icinga – der Nagios-Fork
Bernd Erk von Netways

3. Tag – Donnerstag

All Things Linux
Jim Zemlin der Linux Foundation

The future of innovation in the browser
Chris Hofmann von Mozilla

Disaster Recovery & P2V-Migration mit Rear / mit Open Source
Peer Heinlein von Heinlein Support

Verleihung der Linux New Media Awards in sechs Kategorien
Linux New Media

4. Tag – Freitag

Grid und Cloud Computing
Dr. Rüdiger Berlich

Security-Infrastruktur für WLAN mit Open Source-Mitteln
Thomas Götz von Science + computing

LPI-Online-Training der Linux-Magazin Academy
Klaus Behrla vom Linux Professional Institute

m23 freie Softwareverteilung
Hauke Goos-Habermann vom m23 Projekt

5. Tag – Samstag

leider konnte ich mich für das Programm am Samstag wenig begeistern.

Ähnliche Artikel:

OSDC – Open Source Data Center Conference 2010

Patrick — Wed, 17 Mar 2010 19:20:52 +0000

Vom 23. bis 24. Juni 2010 findet zum 2. mal, die von NETWAYS organisierte Open Source Data Center Conference in Nürnberg statt. Der Schwerpunkt liegt im Einsatz von Open Source Software in Rechenzentren und großen IT Umgebungen. Sysadmin’s Life ist live dabei.

Die Agenda gliedert sich in zwei parallele Tracks mit Vorträgen zu den aktuellen Neuheiten und verschiedensten Technologien im Bereich Data Center Solutions von jeweils ca. 45-minütiger Dauer und darauf folgender Diskussionsrunde. Abgerundet wird das Konferenzprogramm mit zusätzlichen Workshops, bei welchen die interaktive Arbeit direkt am Rechner im Vordergrund steht. Zu den Referenten gehören unter anderem Open Source Größen wie Baron Schwartz (Percona), Dr. Michael Schwartzkopff (MultiNET Services GmbH) und Florian Haas (Linbit Information Technologies GmbH).

Da ich die erste Konferenz im Jahr 2009 leider verpasst habe, freue ich mich umso mehr auf der diesjährigen OSDC dabei zu sein. Ich werde natürlich hier im Blog und auf Twitter live aus Nürnberg berichten. Alle Details werden dann die Tage nach dem Event folgen. Vielleicht trifft man ja auch den einen oder anderen Blogleser. TIPP: Wer noch bis 31.03.2010 bucht, gilt als Early Bird und spart sich 100 EUR zu dem gewählten Paket.

Das Programm zur Konferenz befindet sich noch in der Detailplanung. Es wird jedoch ein erster Einblick in die Vorträge und den Vortragenden gewährt

Baron Schwartz: Optimizing MySQL and InnoDB Performance (ENG)
Florian Haas: High Availability and Storagereplication – without limits (ENG)
Dr. Michael Schwartzkopff: Linux-HA: Quo Vadis? (DE)
Wolfgang Stief: Ein Lustre Cluster für wirklich hohen Datendurchsatz (DE)
Erkan Yanar: Containervirtualisierung mit OpenVZ (DE)
Ralph Dehner: Virtualisierung mit KVM (DE)
Jens Link: Einführung in IPv6 (DE)
Rainer Jung: What’s new in Apache 2.4? (DE)
Michael Schlenzka: Delivering New, Powerful Reporting Solutions with Open Source Business Intelligence (ENG)
Jörg Möllenkamp: Insights to (Open)Solaris (DE)

Es werden aber noch weiterhin Referenten zu folgenden Themen gesucht:

Einsatz von DRBD für Shared Nothing Cluster
Aufbau von HA Clustern mit Pacemaker / Openais
Loadbalancing mit Linux Virtual Server
Betrieb von High Performance MySQL Datenbanken
MySQL Proxy zur besseren Lastverteilung in Datenbanken

Alle Informationen zur OSDC gibt es auf der Website von NETWAYS

Ähnliche Artikel:

Ubuntu 10.4 Lucid Lynx Alpha 3 Release

Patrick — Thu, 25 Feb 2010 23:00:24 +0000

Heute am 25. Februar 2010 ist es soweit. Die dritte Alpha Version von Ubuntu 10.4 Lucid Lynx (leuchtender Luchs) wurde soeben von Canonical zum Download freigegeben. Das ist der dritte und somit letzte Alpha Release der kommenden LTS (Long Term Support) Version von Ubuntu.

Es sind wieder eine Vielzahl von Neuerungen und Verbesserungen in das letzte Alpha Release eingeflossen:

Neueste GNOME Version
Standardsuchmaschine von FIREFOX auf Yahoo umgestellt
Linux Kernel 2.6.32-14.20 basierend auf 2.6.32.8
Support zum Entfernen des “hal” Packages – extreme Bootperformance Steigerung
Neue Version 5.4 von likewise-open zur Active Directory
Nouveau – Neuer Open Source Treiber für nVidia Grafikkarten
Das Software Center wurde um einige Funktionen erweitert. Neue PPA Views und eine Featured Kategorie
Social Web Integration – im MeMenu ist eine neue Textbox integriert welche es ermöglicht den Twitter oder Identi.ca Status ohne das öffnen eines Programms upzudaten.

Ich rate weiterhin noch dringlichst von einer Installation des dritten und somit letzten Alpha Releases in einer Live Umgebung ab. Wer Ubuntu 10.4 aber dennoch auf einer Testumgebung ausprobieren möchte, der findet hier den Download von Lucid Lynx, sowie weitere Informationen.

Um direkt aus Karmic Koala 9.10 auf die neue Alpha Version upzugraden könnt ihr auch Alt + F2 drücken und den Befehl “update-manager -d” in die Kommandozeile eingeben. Der Update Manager meldet nun “New distribution release ’10.04′ is available”. Jetzt auf Upgrade klicken und weiteren Instruktionen folgen.

Der gesamte Release Plan bis zur Finalen LTS Version von lucid lynx sieht wie folgt aus:

10. Dezember 2009 – Alpha 1
14. Januar 2010 – Alpha 2
25. Februar 2010 – Alpha 3
18. März 2010 – Beta 1
08. April 2010 – Beta 2
23. April 2010 – Release Candidate
29. April 2010 – Finale Version

Video der Ubuntu Release Pläne:

Ähnliche Artikel:

Icinga und Nagios mit Nabaztag Integration

Patrick — Thu, 25 Feb 2010 21:26:53 +0000

Mittlerweile kennen ja schon viele den Web-Hasen Nabaztag. Das vielseitig einsetzbare WLAN Gadget reagiert mit dem nötigen Skript jetzt auch auf ICINGA und Nagios Notifications.

Hans vom Sperrgebiet Blog hatte die Idee sein ICINGA / NAGIOS Monitoring System mit dem Nabaztag kommunizieren zu lassen. Da er nur ein Perl Skript fand, welches lediglich eine Nachricht an den Hasen sendet, benutzte er seine Kreativität und schrieb seinen eigenen Code um die API des Nabaztag anzusteuern. Somit hat der Hase eine neue Fähigkeit gelernt: ICINGA und Nagios Notifications visuell darzustellen. Blinkende LEDs und bewegliche Ohren geben dem Hasen ein gewisses Etwas.

Das PHP Skript und eine Installationsanleitung + Infos gibts Hier

Hans hat auch ein Video aufgenommen, in dem er den Nabaztag in Aktion zeigt:

Das ist für mich jetzt Grund genug mir auch einen Nabaztag Hasen zu besorgen. Das Ding macht ich im Büro sicher ziemlich gut!

Ähnliche Artikel:

MySQL User Passwort ändern

Patrick — Mon, 08 Feb 2010 18:07:16 +0000

Das Passwort eines MySQL Users in der Kommandozeile zu ändern ist eigentlich ein ziemlich simpler Vorgang. Da ich mir den Befehl aber selber nie merken kann schreibe ich ihn hier auf:

Mit folgenden Befehl auf der MySQL Serverkonsole anmelden

mysql -u root -p

Die Datenbank mysql auswählen

use mysql;

Passwort mit folgendem Befehl ändern (dein-neues-passwort und dein-user durch ein entsprechendes Passwort bzw. Usernamen ersetzten)

update user set password=PASSWORD("dein-neues-passwort") where User='dein-user';

Ähnliche Artikel:

Wallpaper zu Ubuntu 10.04 lucid lynx

Patrick — Wed, 03 Feb 2010 19:56:23 +0000

Saleel Velankar hat vor kurzem dieses wirklich schöne und inspirierende Wallpaper vom leuchtenden Luchs (lucid lynx) in der Ubuntu-art mailinglist veröffentlicht. Diese wirklich gelungene Designarbeit ist hier definitiv einen Eintrag wert.

(Quelle: anotherubuntu blogspot)

Ähnliche Artikel: