Comment cette structure massive dans le désert de l'Orégon permet à Facebook de fonctionner

PRINEVILLE, Minerai. - Il existe de nombreuses façons de s’assurer que vous avez un accès rapide à Internet. Vous pouvez passer à une ville Google Fibre. Vous pouvez sélectionner l'un de nos fournisseurs de services Internet les plus rapides. Vous pouvez également construire votre maison à côté d'un centre de données Facebook.

Prenez le premier centre de données Facebook, par exemple. Ouvert à Prineville, dans l'Oregon, en 2011, il a servi de modèle à tous les centres de données que le géant des médias sociaux a construits depuis, de la Suède à l'Iowa. Il consomme tellement de bande passante qu'il faut plusieurs fournisseurs de services Internet desservant la région pour renforcer leurs réseaux et faire venir les résidents locaux.

Vous pouvez penser que le centre de données de Prineville, associé aux autres installations de Facebook, constitue le cœur du plus grand réseau social au monde: ils reçoivent un déluge de demandes de photos, de mises à jour de statut et de mises à jour de flux d'actualités provenant des 1, 65 milliard d'utilisateurs actifs du site et réagir le plus rapidement possible, comme un cœur pompant de l'oxygène dans le sang.

Les installations de Prineville approchent de leur cinquième anniversaire et le traitement des demandes de données concernant des choses que Mark Zuckerberg ignorait probablement que Facebook ferait s'il envisageait de créer cette entreprise dans son dortoir de Harvard.

Cette semaine, PCMag s’est arrêté pour une tournée.

Bien sûr, Prineville stocke toujours des photos et des mises à jour de statut, mais il compte maintenant des milliers de GPU Nvidia prenant en charge la recherche sur l'intelligence artificielle de Facebook, ainsi que 2 000 téléphones iOS et Android exécutant des tests 24 heures par jour. Cela aide les ingénieurs de la société à augmenter l'efficacité énergétique de ses applications, notamment Instagram, Messenger et WhatsApp, en plus de Facebook.

Les données de Facebook sont "résilientes, pas redondantes"

La première chose que vous remarquez à propos de l’usine de Prineville est sa taille. À trois heures de route de Portland, surgi du haut désert planté d'arbres du centre de l'Oregon, ce n'est pas un bâtiment mais quatre (sans compter un autre centre de données gigantesque construit récemment dans la rue et baptisé Connect Way). L'un des bâtiments de Facebook peut accueillir deux Walmarts à l'intérieur et a une longueur d'environ 100 pieds de plus qu'un porte-avions de la classe Nimitz.

À l'intérieur se trouvent des serveurs qui stockent plusieurs pétaoctets et que les ingénieurs de Facebook mettent à niveau en permanence en remplaçant des composants. Sur les 165 personnes travaillant à temps plein dans le centre de données, 30 personnes par bâtiment sont simplement chargées de réparer ou de remplacer les blocs d'alimentation, les processeurs, la mémoire et d'autres composants.

La quasi-totalité des entreprises présentes sur Internet, d’Amazon à Charles Schwab, est la redondance: plusieurs serveurs stockant plusieurs copies de données. C'est moins le cas à Prineville, où Ken Patchett, directeur des opérations de données occidentales de Facebook, se concentre plutôt sur la résilience, définie comme la capacité d'être prêt à tout moment et à n'importe quel endroit du monde où quelqu'un se connecte à Facebook.

Se concentrer sur la "résilience, pas la redondance", comme le dit Patchett, est possible parce que Facebook a le luxe de stocker plusieurs copies de données dans ses autres sites à travers le monde, de Lulea en Suède à Altoona en Iowa. Ainsi, au lieu d’avoir deux ou plus de tout, il peut se concentrer sur les achats d’équipements stratégiques à chaque emplacement, comme avoir un générateur de secours par six générateurs principaux.

"Vous devez être responsable sur le plan financier si vous voulez être résilient", a expliqué Patchett. Il est l'un des pères fondateurs des centres de données de haute technologie dans le haut désert de l'Oregon. Avant d’arriver sur Facebook, il a contribué à la création d’un centre de données à The Dalles, en Oregon, pour Google, l’une des premières sociétés Internet à capitaliser sur l’énergie hydroélectrique bon marché et le temps frais et sec qui caractérise la vaste partie orientale du neuvième plus grand continent américain. Etat.

Un pouvoir abondant, bien sûr, est essentiel au fonctionnement de Facebook. La température du serveur est régulée par une combinaison de liquide de refroidissement à l'eau et d'énormes ventilateurs aspirant de l'air sec du désert (en-dessous) à la place des climatiseurs encombrants. La plage de température cible se situe entre 60 et 82 degrés Fahrenheit. L'équipe de Patchett a tellement bien réussi à atteindre cet objectif que Prineville affiche désormais un taux d'efficacité énergétique de 1, 07, ce qui signifie que les équipements de refroidissement, les lumières et les chauffages (tout ce qui n'est pas un ordinateur) ne consomment que 7% de la consommation totale d'énergie de l'installation..

32 iPhones dans une boîte

La majeure partie du refroidissement et de l’énergie sert à répondre aux demandes des serveurs, mais une partie est déviée vers une salle de test d’applications relativement petite, ce qui a des conséquences sur la réduction de la consommation d’énergie, non seulement à Prineville, mais sur chaque téléphone doté d’une application Facebook.

Ce n'est un secret pour personne que l'application Facebook a du mal à gérer son énergie. Le Guardian a affirmé plus tôt cette année que l'application réduisait de 15% la durée de vie de la batterie sur les iPhones. Pour rationaliser l’application et réduire sa consommation de batterie, la société a envoyé à Prineville environ 2 000 téléphones iOS et Android, où ils sont installés à l’intérieur de boîtes de 32.

Chaque boîtier dispose de son propre réseau Wi-Fi, entouré de murs isolés et de ruban de cuivre, que les ingénieurs au siège de la Silicon Valley utilisent pour effectuer une batterie de tests. Ils recherchent des "régressions" dans l'utilisation de la batterie et les performances causées par les mises à jour des applications Facebook, Instagram, Messenger et WhatsApp. S'ils en trouvent un dans le code de Facebook, ils le corrigent. Si l'inefficacité a été introduite par un développeur, son système en informe automatiquement le contrevenant par courrier électronique.

Les boîtes ne contiennent pas uniquement les derniers iPhone 6 ou Galaxy S7. Du côté iOS, ils incluent de nombreux modèles d'iPhone 4 et ultérieurs. Du côté Android, qui sait? Qu'il suffise de dire qu'il y a un gars dont le travail consiste à trouver des appareils Android obscurs et à les amener à Prineville.

"Nous devons nous procurer des téléphones de partout", a déclaré Antoine Reversat, un ingénieur qui a contribué au développement de l'infrastructure et du logiciel de test. Son objectif ultime est de doubler la capacité des racks pour pouvoir accueillir chacun 62 téléphones et de trouver un moyen de réduire à une étape la procédure manuelle en 20 étapes requise pour configurer le téléphone en vue des tests. Cela devrait réconforter tous ceux qui ont déjà vu leur téléphone mourir tout en rafraîchissant leur fil d'actualité.

Big Sur: le cerveau de l'IA sur Facebook

La prochaine étape de notre visite a été celle des serveurs d’intelligence artificielle de Big Sur, qui, comme la côte californienne qui les a nommés, constituent sans doute la partie la plus pittoresque du centre de données. Bien sûr, nous ne parlons pas de panoramas imprenables sur le Pacifique, mais plutôt d’un écran d’ordinateur affichant ce qui semblait être un groupe de peintures, dirigé par Ian Buck, vice-président de l’informatique accélérée de Nvidia.

"Nous avons formé un réseau de neurones pour reconnaître les peintures", a expliqué Buck. "Après environ une demi-heure à regarder les peintures, il est capable de générer les siennes".

Celles présentées ressemblaient à l’impressionnisme français du XIXe siècle, mais avec une torsion. Si vous voulez une combinaison de nature morte de fruits et de paysage fluvial, Big Sur le peindra pour vous en exploitant ses 40 pétaflops de puissance de traitement par serveur. C'est l'un des nombreux systèmes d'intelligence artificielle qui utilisent les GPU Nvidia, en l'occurrence les processeurs Tesla M40 basés sur PCI.e, pour résoudre des problèmes complexes d'apprentissage automatique. Le projet de santé DeepMind de Google utilise également les processeurs Nvidia.

Facebook utilise Big Sur pour lire des histoires, identifier des visages sur des photos, répondre à des questions sur des scènes, jouer à des jeux et apprendre les routines, entre autres tâches. Il s’agit également d’une source ouverte du logiciel, offrant aux autres développeurs un plan détaillé pour la configuration de leur propre infrastructure spécifique à l’IA. Le matériel comprend huit cartes GPU Tesla M40 d’une puissance maximale de 33 watts chacune. Tous les composants sont facilement accessibles dans un tiroir de serveur afin d’accroître la facilité de mise à niveau. Nvidia publiera de nouvelles versions PCI.e de ses GPU Tesla, notamment le produit phare, P100.

Stockage à froid pour les photos oubliées

Prineville étant le premier centre de données de Facebook, les ingénieurs testent généralement des idées pour rendre les serveurs de Facebook plus efficaces. Une des idées les plus récentes concerne le stockage frigorifique ou des serveurs dédiés qui stockent tout ce sur Facebook qui n'obtient pas beaucoup de vues, par exemple les photos de votre bal des finissants du lycée ou les dizaines de mises à jour de statut que vous avez publiées à la mort de Michael Jackson en 2009..

Le secret du succès de l'entreposage frigorifique réside dans ses multiples niveaux. Le premier niveau est constitué de matériel d'entreprise hautes performances, tandis que les niveaux inférieurs utilisent des composants moins chers et, dans certains cas, peut-être pour les photos d'entre vous avec des accolades que vous espérez que personne ne verra jamais, des bibliothèques de bandes de sauvegarde. Le résultat final est que chaque rack de serveur de stockage froid peut contenir 2 pétaoctets de stockage, ou l'équivalent de 4 000 piles de sous qui atteignent la lune.

Construire pour l'avenir

Bien que Facebook ait apporté plus rapidement des avantages Internet et d'autres avantages à Prineville, notamment plus de 1 million de dollars en dons aux écoles et aux œuvres de bienfaisance locales, sa présence n'est pas sans controverse. L’Oregon cède beaucoup d’argent sous forme d’allégements fiscaux à la société à un moment où l’économie locale, encore sous le choc de la bulle immobilière de 2008, devance la moyenne nationale.

Pourtant, 1, 65 milliard de personnes n'auraient pas accès à Facebook sans cet avant-poste du désert et ses centres de données sœurs. Et même si elle met la touche finale à son quatrième bâtiment de Prineville, la société est en train d’acheter un cinquième centre au Texas. Mais si cela vous rend coupable de l’énergie consommée par votre navigation sur Facebook, cela ne devrait pas être le cas. Selon Patchett, un seul utilisateur naviguant sur Facebook pendant une année complète consomme moins d'énergie que ce qui est nécessaire pour fabriquer un café au lait. En d’autres termes, vous pouvez vous contenter d’un seul voyage chez Starbucks et faire défiler votre flux de nouvelles jusqu’au contenu souhaité.