Quand le nuage est submergé, l'informatique de pointe, à la rescousse

Le long de la côte australienne de Nouvelle-Galles du Sud (NSW), une flotte de drones flotte au large, contribuant à la sécurité des eaux. Plus tôt cette année, les drones ont aidé des sauveteurs sur la côte nord de l'extrême nord de l'État, à porter secours à deux adolescents confrontés à de fortes vagues.

Les drones sont alimentés par des algorithmes d'intelligence artificielle (IA) et de vision artificielle qui analysent en permanence leurs flux vidéo et mettent en évidence les éléments qui requièrent votre attention, par exemple les requins ou les nageurs errants. C'est le même type de technologie qui permet à Google Photos de trier les images, à une caméra de sécurité pour détecter les étrangers et à un réfrigérateur intelligent pour vous avertir lorsque vos denrées périssables sont proches de leur date d'expiration.

Mais alors que ces services et appareils nécessitent une connexion constante au cloud pour leurs fonctions d'intelligence artificielle, les drones NSW peuvent effectuer leurs tâches de détection d'image avec ou sans connexion Internet solide, grâce aux puces de calcul neuronales qui leur permettent d'effectuer des calculs approfondis en local.

Ces puces font partie d'une tendance croissante des innovations en matière d'informatique de pointe qui permettent à nos dispositifs alimentés par logiciel d'exécuter au moins certaines fonctions critiques sans lien permanent avec le cloud. L'essor de l'informatique de pointe aide à résoudre les problèmes, anciens et nouveaux, et ouvre la voie à la prochaine génération d'appareils intelligents.

Décharger le nuage

Au cours des deux dernières décennies, le cloud est devenu le moyen de facto d’héberger des applications, et ce pour de bonnes raisons.

"Ce qui rend le cloud si attrayant, c'est qu'il a tendance à réduire le coût de démarrage de toute activité que vous souhaitez réaliser", déclare Rob High, CTO de IBM Watson. "Le cloud… permet aux gens de… résoudre de vrais problèmes aujourd'hui sans avoir à supporter le coût de la création d'infrastructure."

Avec la connectivité Internet omniprésente et les innombrables applications, services et plates-formes de développement en nuage, les obstacles à la création et au déploiement d'applications se sont considérablement atténués. Les vastes ressources de fournisseurs de cloud, tels qu'IBM, Google et Amazon, ont permis de développer non seulement des applications métier triviales, mais également des logiciels complexes nécessitant de grandes quantités de calcul et de stockage - algorithmes d'intelligence artificielle et d'apprentissage automatique, ainsi que de streaming et de RA (réalité augmentée) applications.

Mais ces avancées ont également créé un défi: la plupart des applications que nous utilisons ne peuvent fonctionner que si elles sont connectées au cloud. Cela inclut la plupart des applications exécutées sur les ordinateurs et les téléphones, ainsi que les logiciels des réfrigérateurs, des thermostats, des serrures de porte, des caméras de surveillance, des voitures, des drones, des capteurs météorologiques, etc.

Avec l'avènement de l'Internet des objets (IoT), un nombre croissant d'appareils exécutent des logiciels et génèrent des données. La plupart d'entre eux nécessiteront un lien vers le cloud pour stocker et traiter ces données. La quantité de puissance et de bande passante requise pour envoyer ces données dans le cloud est immense et l'espace nécessaire pour stocker les données conteste les ressources des monstres les plus puissants du cloud.

"Nous collectons beaucoup de données dans ces systèmes, qu'il s'agisse d'un périphérique, d'un appareil IoT ou de tout autre lieu, que vous pourriez presque décider de ne pas vous soucier de", déclare M. High. Mais si chaque décision doit être prise dans le cloud, toutes ces données devront être envoyées sur le réseau aux serveurs de cloud pour être nettoyées et filtrées.

Par exemple, High nomme les avions modernes, qui contiennent des centaines de capteurs qui surveillent les moteurs à réaction et collectent des centaines de giga-octets de données d'état et de performances lors de chaque vol. "Quelle est l'importance de ces données si vous souhaitez les analyser sur un agrégat? Probablement seulement une fraction", explique M. High. "Pourquoi ne pas simplement t'en débarrasser à la source quand ce n'est pas nécessaire pour quoi que ce soit d'autre que tu fasses?"

Faire ce que High suggérait en dehors du cloud était jusque-là pratiquement impossible, mais les progrès des processeurs SoC (System-on-Chip) à faible consommation et à faible coût ont donné plus de puissance de calcul aux périphériques de pointe et les ont laissés supporter une partie du fardeau informatique de leurs activités. des écosystèmes, tels que la réalisation d'analyses en temps réel ou le filtrage de données.

"Il y a tellement de données dans l'environnement Edge qu'il est logique d'intégrer certaines des capacités de cloud computing à la capacité de calcul du périphérique Edge", déclare M. High.

Problèmes de confidentialité

Les avantages de Edge Computing ne se limitent pas à la libération des ressources du cloud.

Rémi El-Ouazzane, groupe Nouvelles technologies et directeur général de Movidius (Intel), cite les caméras de sécurité commerciales comme un autre exemple de l’influence des technologies de pointe sur la technologie de pointe. Vous voyez ces caméras aux feux de circulation, dans les aéroports et à l'entrée des bâtiments, enregistrer et diffuser en continu des vidéos de haute qualité sur le réseau.

«Moins vous aurez besoin de données sur un serveur ou un centre de données, plus vous pourrez nettoyer et affiner localement, meilleur sera votre coût total de possession du point de vue du stockage et du transfert», déclare El-Ouazzane.

Cela implique de fournir aux caméras le pouvoir d'analyser leurs propres flux vidéo, de déterminer quelles trames ou quelles longueurs de vidéo requièrent de l'attention et d'envoyer uniquement ces données au serveur.

Lorsque ces caméras sont installées chez vous, à votre bureau ou dans un lieu privé, la connexion au cloud devient également un problème de sécurité potentiel. Les pirates et les chercheurs en sécurité ont été en mesure de compromettre la connexion entre les appareils domestiques et leurs serveurs de cloud pour intercepter les flux vidéo sensibles. L'analyse des données localement évite d'avoir à disposer d'un canal vidéo entre votre domicile, votre vie privée et un fournisseur de services.

Movidius, acquise par Intel en 2016, est l’une des nombreuses entreprises en démarrage qui fabriquent des puces informatiques spécialisées dans les tâches d’intelligence artificielle telles que la reconnaissance vocale et la vision par ordinateur. La société fabrique des unités de traitement de la vision (VPU), des processeurs à faible consommation fonctionnant sur des réseaux de neurones qui analysent et "comprennent" le contexte des images numériques sans qu'il soit nécessaire de les renvoyer dans le nuage.

Movidius Myriad 2 est un processeur de vision toujours actif conçu pour les environnements à puissance limitée.

"Lorsque la caméra comprend la sémantique de ce qu'elle regarde, alors la capacité d'imposer des règles sur ce qu'elle peut ou ne peut pas faire devient une tâche très facile", explique El-Ouazzane. "Vous n'avez pas besoin de capturer votre salon pendant les 12 prochaines heures pour savoir que, à un moment donné, votre chien a croisé le tapis devant le canapé."

D'autres entreprises explorent l'utilisation de l'informatique de pointe spécialisée alimentée par l'IA pour préserver la confidentialité des utilisateurs. L'Apple iPhone X, par exemple, est alimenté par la puce A11 Bionic, qui peut exécuter des tâches d'intelligence artificielle localement, ce qui lui permet d'effectuer une reconnaissance faciale compliquée sans envoyer la photo d'identité de l'utilisateur au cloud.

Davantage de traitement de l'IA à la périphérie peut ouvrir la voie à une intelligence artificielle décentralisée, dans laquelle les utilisateurs doivent partager moins de données avec les grandes entreprises pour pouvoir utiliser des applications d'IA.

Réduire la latence

Un autre problème rencontré par les grands fournisseurs de services cloud est que leurs centres de données sont situés en dehors des grandes villes, ce qui les éloigne de centaines de milliers de kilomètres des personnes et des périphériques utilisant leurs applications.

Dans de nombreux cas, la latence provoquée par le transfert de données vers et depuis le cloud peut engendrer des performances médiocres, voire un résultat fatal. Il peut s'agir d'un drone essayant d'éviter les collisions ou d'atterrir sur un sol accidenté, ou d'une voiture autonome essayant de décider s'il rencontre un obstacle ou un piéton.

L'implémentation légère de réseaux neuronaux profonds et de vision informatique de Movidius rend ses puces adaptées aux périphériques mobiles tels que les drones, pour lesquels un matériel consommant de l'énergie, tel qu'un GPU, est irréalisable. Les drones sont une étude particulièrement intéressante, car ils nécessitent un accès au calcul de l'IA à faible latence et doivent continuer à fonctionner en mode hors connexion.

La détection des gestes est un autre domaine dans lequel l’informatique de pointe contribue à améliorer l’expérience du drone. "Le but est de rendre les drones accessibles à beaucoup de gens, et les gestes semblent être un bon moyen de les utiliser. La latence compte quand vous demandez au drone d'exécuter une tâche", explique El-Ouazzane.

Pour des startups telles que Skylift Global, qui fournit des services de drones lourds aux sauveteurs et aux premiers intervenants, un accès à faible latence à l'IA et à des ressources de calcul peut permettre de sauver des vies. "Cela réduira considérablement les coûts d'ingestion de données, la latence du réseau, la sécurité et aidera à transformer les données en continu en décisions en temps réel", a déclaré Amir Emadi, PDG et fondateur de Skylift.

La fourniture de fournitures aux premiers intervenants nécessite des décisions en une fraction de seconde. "Plus il faudra de temps, par exemple pour combattre un feu de forêt, plus il sera coûteux de remédier à la situation. Plus nos drones deviendront capables de prendre des décisions en temps réel même s'ils perdent la connectivité, plus nous pourrons économiser vie, argent et temps ", dit Emadi.

Les autres domaines nécessitant un calcul en temps quasi réel sont les applications de réalité augmentée et virtuelle et les véhicules autonomes. "Ce sont tous des environnements informatiques basés sur l'expérience. Ils vont se dérouler autour des gens", a déclaré Zachary Smith, PDG de Packet, une startup basée à New York qui vise à permettre aux développeurs d'accéder à du matériel hautement distribué.

Une application AR ou VR qui ne peut pas suivre les mouvements de l'utilisateur causera soit des vertiges, soit empêchera l'expérience de devenir immersive et réelle. Et la latence sera encore plus problématique lorsque les voitures autonomes, qui reposent largement sur des algorithmes de vision par ordinateur et d’apprentissage automatique, deviennent la norme.

"Une latence de 30 millisecondes importera peu pour le chargement de votre page Web, mais une voiture déterminera si elle tourne à 60 km / h si elle doit tourner à gauche ou à droite pour éviter de tomber en collision avec une petite fille", déclare Smith.

Relever les défis du bord

Malgré la nécessité de rapprocher l'informatique de la périphérie, l'installation de matériel spécialisé dans chaque périphérique n'est peut-être pas la solution définitive, reconnaît M. Smith. "Pourquoi ne pas simplement mettre tous les ordinateurs dans la voiture? Je pense que cela a vraiment à voir avec l'évolution de la rapidité avec laquelle vous pouvez contrôler le cycle de vie de cela", dit-il.

«Lorsque vous mettez du matériel dans le monde, il le reste généralement pendant cinq à dix ans», déclare Smith, alors que la technologie qui sous-tend ces cas d’utilisation basés sur l’expérience évolue tous les six à douze mois.

Même les très grandes entreprises aux chaînes d'approvisionnement complexes ont souvent du mal à mettre à jour leur matériel. En 2015, Fiat Chrysler a dû rappeler 1, 4 million de véhicules pour remédier à une faille de sécurité exposée cinq ans plus tôt. Et le fabricant de puces géant Intel doit encore faire face à un problème de conception qui expose des centaines de millions d’appareils à des pirates.

Movidius El-Ouazzane reconnaît ces défis. "Nous savons que chaque année, nous allons devoir modifier une gamme de produits, car nous apportons chaque année davantage d'informations et nous demandons à nos clients de procéder à la mise à niveau", a-t-il déclaré.

Pour éviter les rappels constants et permettre aux clients d’utiliser à long terme leur matériel périphérique, Movidius fournit à ses processeurs des ressources et une capacité supplémentaires. "Nous avons besoin, au cours des prochaines années, de la possibilité d'effectuer des mises à niveau de ces produits", a déclaré El-Ouazzane.

Packet, la société de Smith, utilise une approche différente: elle crée des micro-centres de données pouvant être déployés dans les villes, plus proches des utilisateurs. La société peut alors fournir aux développeurs des ressources de calcul à très faible latence, aussi proches que possible des utilisateurs, sans mettre le matériel réel à la limite.

"Nous pensons qu'il sera nécessaire de mettre en place un mécanisme de fourniture d'infrastructure permettant de mettre du matériel accessible aux développeurs de toutes les villes du monde", a déclaré Smith. La société est déjà présente sur 15 sites et envisage de s’étendre à des centaines de villes.

Mais les ambitions de Packet vont au-delà de la création de versions miniatures des vastes installations gérées par Google et Amazon. Comme l'explique Smith, déployer et mettre à jour du matériel spécialisé n'est pas réalisable avec le cloud public. Dans le modèle commercial de Packet, les fabricants et les développeurs déploient du matériel spécialisé dans les centres de données périphériques de la société, où ils peuvent rapidement le mettre à jour et l'actualiser en cas de besoin, tout en garantissant à leurs utilisateurs un accès ultra-rapide aux ressources informatiques.

Hatch, l'un des clients de Packet, est une émanation de Rovio, la société de jeux mobile qui a créé Angry Birds. La société utilise Android sur des serveurs de périphérie afin de fournir des services de diffusion en continu de jeux multijoueurs à faible temps de latence aux utilisateurs d'appareils Android bas de gamme.

"Il a besoin de serveurs ARM assez spécialisés sur tous ces marchés dans le monde", a déclaré Smith. "Ils ont des configurations personnalisées de notre offre de serveurs, et nous les installons sur huit marchés mondiaux en Europe. Bientôt, ce seront 20 ou 25 marchés. Cela leur ressemble à Amazon, mais ils doivent utiliser du matériel personnalisé sur tous les marchés européens."

Théoriquement, Hatch pourrait faire la même chose dans le cloud public, mais les coûts en feraient une entreprise inefficace. "La différence réside entre 100 utilisateurs par processeur et 10 000 utilisateurs par processeur", a déclaré Smith.

Smith pense que ce modèle intéressera la génération de développeurs qui conduira les prochaines innovations logicielles. "Nous nous concentrons sur la manière de connecter la génération de logiciels, les personnes qui ont grandi dans le cloud, avec des primitives matérielles spécialisées", a déclaré Smith. "Nous parlons d'utilisateurs qui ne peuvent même pas ouvrir leur MacBook pour regarder à l'intérieur, et c'est la personne qui va innover en matière de pile matérielle / logicielle."

Les nuages ​​vont-ils se dissiper?

Les périphériques de pointe devenant capables d'effectuer des tâches de calcul complexes, l'avenir du cloud est-il menacé?

"Pour moi, l'informatique de périphérie est la prochaine progression naturelle et logique de l'informatique en nuage", déclare IBM Watson's High.

En fait, en 2016, IBM a déployé un ensemble d’outils permettant aux développeurs de répartir de manière transparente les tâches entre la périphérie et le cloud, en particulier dans les écosystèmes IoT, où les périphériques de périphérie collectent déjà de nombreuses données sur leur environnement immédiat. Et fin 2016, Amazon Web Services, une autre plate-forme majeure de développement dans le cloud, a annoncé Greengrass, un service permettant aux développeurs IoT d'exécuter une partie de leurs applications cloud sur leurs périphériques périphériques.

Rien de tout cela ne signifie que le nuage s'en va. "Beaucoup de choses sont mieux faites dans le cloud, même lorsque beaucoup de travail est encore fait sur le bord", explique High. Cela inclut des tâches telles que l’agrégation de données provenant de nombreuses sources différentes et la réalisation d’analyses à grande échelle avec d’énormes jeux de données.

"Si nous devons créer des modèles dans les algorithmes d'intelligence artificielle que nous utilisons dans ces périphériques de pointe, la création et la formation de ces modèles constituent toujours un très gros problème de calcul intensif, qui nécessite souvent une capacité de calcul bien supérieure à celle disponible sur ces périphériques de périphérie", indique-t-il. dit.

El-Ouzzane est d'accord. "La capacité de former localement des modèles d'IA est extrêmement limitée", a-t-il déclaré. "D'un point de vue de l'apprentissage en profondeur, la formation n'a qu'un seul emplacement, c'est dans le cloud, où vous disposez de suffisamment de ressources de calcul et de stockage pour pouvoir traiter de gros ensembles de données."

El-Ouazzane propose également des cas d'utilisation où les périphériques de périphérie sont affectés à des tâches critiques en termes de mission et de temps, tandis que le cloud prend en charge l'inférence plus avancée qui ne dépend pas de la latence. "Nous vivons dans un monde de continuité entre le nuage et le bord."

«Il existe une relation très symbiotique et synergique entre l’informatique de pointe et l’informatique en nuage», déclare M. High.