Logo Spiria

100 pétaoctets sur la route, la solution Snowmobile

6 décembre 2018.

À l’heure du Big Data, des mégadonnées, si vous avez des exaoctets à transférer vers le nuage, avez-vous pensé au Snowmobile ? Non, nous ne parlons pas de motoneige… bien que ce soit la saison.

L’exaoctet est une unité encore peu courante, mais avec l’explosion des données numériques, vous risquez de la croiser plus souvent. Elle représente un million de téraoctets, soit la bagatelle d’un milliard de gigaoctets.

Sans aller jusqu’à l’exaoctet, le problème qu’affrontent les entreprises qui disposent de très gros volumes de données est de les transférer dans le nuage. La capacité du réseau est tout à fait insuffisante pour réussir de tels transferts dans un temps et des coûts raisonnables. Le déménagement via Internet des archives vidéo d’un studio ou de la bibliothèque d’une entreprise d’imagerie par satellite peut prendre des mois, voire des années. Il faut savoir qu’une connexion Fast Ethernet à 100 mégabits par seconde demande plus de 24 heures pour transférer un téraoctet (1 000 Go).

Amazon a proposé en 2016 une solution qui avait sur le moment tout l’air d’un coup publicitaire : le Snowmobile. Il s’agit d’envoyer chez le client un conteneur de 45 pieds, pesant 4 tonnes, bourré de serveurs et se déplaçant sur un camion à 18 roues, une opération qui donne un sens plus concret et asphalté à l’image de l’autoroute de l’information.

Snowmobile, AWS.

Snowmobile. © Amazon Web Services.

Pour déménager un exaoctet (1 000 pétaoctets), il vous faudra cependant 10 voyages en Snowmobile, car la capacité est limitée à 100 pétaoctets, excusez du peu. Mais ça suffirait quand même à déménager deux copies de la Petabox d’Internet Archive qui occupe 50 pétaoctets, opération qui prendrait 28 ans et 7 mois sur une liaison fibre a 1 000 mégabits par seconde (et 51 siècles avec un modem 56 kb/s du siècle dernier…). Impressionnant !

On peut voir ce service comme une version bien plus musclée du Snowball où AWS envoie chez vous un robuste serveur tenant dans une caisse grise, pesant plus de 20 kilos, et qui peut stocker 50 téraoctets. Pour comparer, le Snowmobile a la capacité de stockage de 2 000 Snowball 50 To… Si vous avez pensé comme moi que le Snowmobile n’était qu’une opération de relations publiques d’Amazon pour avoir d’innombrables retombées presse gratuites sur AWS dans le monde, ce n’est pas tout à fait le cas, en tout cas pas seulement. C’est un vrai service, réellement utilisé par des entreprises, qui répond à de vrais besoins (encore certes rares, on vous l’accorde).

Snowball, AWS.

Snowball. © Amazon Web Services.

Prenons l’exemple de DigitalGlobe, une entreprise américaine spécialisée dans l’imagerie satellitaire. Elle a accumulé depuis 17 ans d’activité plus de 100 pétaoctets d’images de la surface de notre planète, et chaque année, sa constellation de satellites commerciaux génère plus de 10 nouveaux pétaoctets de données. Longtemps, DigitalGlobe a archivé ses images sur des bandes et envoyait les commandes de ses clients par FTP ou par expédition de disque dur par transporteur. C’était un processus lourd, demandant plusieurs heures pour le traitement d’une commande. L’entreprise a donc fait le choix de basculer sa gigantesque bibliothèque sur le nuage, celui d’Amazon en l’occurrence, pour offrir un service plus rapide et moderne à sa clientèle.

L’année dernière, un Snowmobile est donc venu au siège social de DigitalGlobe dans le Colorado et l’entreprise a pu effectuer en quelques semaines le transfert de 54 millions d’images de très haute résolution. L’opération a permis de rendre disponibles en ligne toutes les images de la bibliothèque. Pour maintenir la bibliothèque parfaitement à jour, les 80 à 100 téraoctets de données venues quotidiennement de l’espace sont transférés en ligne vers Amazon S3.

Notons que depuis, DigitalGlobe a fait appel à Amazon SageMaker, la plateforme d’apprentissage machine, afin de pouvoir transférer automatiquement de S3 vers Amazon Glacier les images qui sont, selon l’algorithme d’intelligence artificielle, les moins susceptibles d’être commandées. Glacier est un service qui coûte 5 fois moins cher en frais de stockage que S3, mais dont les temps d’accès plus longs (3 à 5 heures pour recevoir le fichier demandé). Par cette formule, l’entreprise peut diviser par deux son coût de nuage sans vraiment nuire à la qualité de service, car toutes les images qui ont un certain potentiel commercial restent disponibles immédiatement. Avoir recours à l’intelligence artificielle pour répartir ses données entre différents types de stockage, aux performances et coûts différents, peut s’avérer une stratégie gagnante pour de nombreuses entreprises, même si le volume de données est bien moins considérable que celui de DigitalGlobe. Le stockage d’un pétaoctet sur S3 coûte 293 568 USD par an. Diviser la facture par deux n’a rien de négligeable.

Si l’on observe l’offre d’AWS, il y a un grand fossé entre les 50 To du Snowball et les 100 Po du Snowmobile. On pourrait sans doute imaginer des solutions intermédiaires pouvant toucher un plus grand nombre d’entreprises. Et pourquoi pas dans le futur pas si lointain, des véhicules autonomes se déplaçant entre les clients et les centres de données. Comme quoi nos bons vieux rubans d’asphalte ont encore de l’avenir dans la société numérique…

En route pour le nuage.

En route pour le nuage ! © iStock.