Processeurs mobiles de 2018: l'essor des fonctionnalités d'apprentissage automatique

Sans surprise, les smartphones de cette année disposent de processeurs plus rapides que ceux de l'année dernière, ce qui se produit chaque année. Mais ce qui est nouveau cette année, c’est la prédominance des fonctions d’apprentissage automatique que presque tous les fournisseurs de processeurs proposent comme moyen de différencier leurs appareils. Ceci est vrai pour les vendeurs de téléphones qui conçoivent leurs propres puces, les vendeurs de puces indépendants ou marchands qui vendent des processeurs aux vendeurs de téléphones, et même les fabricants de PI qui conçoivent les cœurs qui vont dans les processeurs eux-mêmes.

Contexte

Tout d’abord, un peu d’arrière-plan: tous les processeurs d’application modernes incluent des conceptions (souvent appelées propriété intellectuelle ou propriété intellectuelle) d’autres entreprises, notamment d’ARM, Imagination Technologies, MIPS et Ceva. Une telle IP peut apparaître sous différentes formes. Par exemple, ARM vend tout, d’une licence de base pour son architecture 32 bits et 64 bits, à des cœurs spécifiques pour les processeurs, les graphiques, le traitement d’images, etc., que les concepteurs de puces peuvent ensuite utiliser pour se créer des processeurs. Généralement, les concepteurs de puces associent ces cœurs à leurs propres conceptions et effectuent divers choix en matière de mémoire, d'interconnexions et d'autres fonctionnalités, dans le but d'équilibrer les performances avec les exigences d'alimentation, la taille et le coût.

Sur le plan du processeur, la plupart des puces combinent des noyaux plus grands, plus puissants, plus rapides et plus chauds, et des noyaux plus petits, plus efficaces. En général, les téléphones utilisent la plupart du temps des cœurs plus petits, mais pour les tâches exigeantes, ils passent aux cœurs les plus performants et associent à la fois des cœurs, un processeur graphique et d'autres cœurs, afin de mieux gérer les besoins en performances et les considérations thermiques (vous ne pouvez pas Faites fonctionner les noyaux hautes performances très longtemps, car ils surchaufferaient et vous n’aurez généralement pas besoin de). Les exemples les plus connus des grands noyaux sont les noyaux Cortex-A75 et A73 d’ARM; les noyaux plus petits correspondants seraient les A55 et A53. Dans les téléphones haut de gamme actuels, vous en verrez souvent quatre, dans ce qu'on appelle une disposition octa-core, bien que certains fournisseurs aient adopté d'autres approches.

Pour ce qui est des graphiques, la diversité est plus grande: certains fournisseurs ont choisi la gamme Mali d'ARM, d'autres ont choisi le PowerVR d'Imagination Technologies, et d'autres encore ont choisi de concevoir leurs propres cœurs graphiques. Et il y a encore plus de diversité en ce qui concerne le traitement de l'image, le traitement du signal numérique et, depuis peu, les fonctions d'intelligence artificielle.

Pomme

Apple a commencé à renforcer ses capacités d'intelligence artificielle dans ses annonces téléphoniques d'automne, notamment la puce «A11 Bionic» utilisée dans les iPhone 8 et 8 Plus, ainsi que l'iPhone X.

L'A11 Bionic est une architecture à six cœurs, avec deux cœurs haute performance et quatre cœurs d'efficacité. Apple conçoit ses propres cœurs (sous licence ARM) et a toujours privilégié les performances mono-thread. C'est un progrès par rapport à l'A10 Fusion à quatre cœurs et Apple a déclaré que les cœurs de performances de l'A11 sont jusqu'à 25% plus rapides que ceux de l'A10, tandis que les quatre cœurs d'efficacité peuvent être jusqu'à 70% plus rapides que la puce A10 Fusion.. Le processeur graphique est jusqu'à 30% plus rapide.

Apple parle de la puce dotée d'un "moteur neural", qui peut aider à la reconnaissance de scène dans l'application pour appareil photo, ainsi qu'à Face ID et Animoji sur l'iPhone X. La société a également publié une API appelée CoreML, destinée à aider les tiers les développeurs créent des applications qui en tirent parti.

Apple ne fournit généralement pas beaucoup d'informations sur ses processeurs, mais affirme que le moteur neural bionique A11 est une conception à double cœur capable d'effectuer jusqu'à 600 milliards d'opérations par seconde pour le traitement en temps réel.

Contrairement à la plupart des autres fabricants de processeurs, Apple n’intègre pas le modem dans ses processeurs d’application, mais utilise plutôt des modems Qualcomm ou Intel autonomes. La question de savoir si Apple prend uniquement en charge les fonctionnalités de ses modems Qualcomm, également prises en charge par Intel, a suscité la controverse. en pratique, cela signifie que les iPhones prennent en charge l’agrégation des opérateurs tri-way mais pas certaines des fonctionnalités les plus avancées.

Huawei

Huawei était également en avance sur l'IA et a appelé sa Kirin 970, annoncée lors du salon IFA à l'automne dernier, "la première unité de traitement d'IA mobile au monde". Le Kirin 970 est utilisé actuellement dans le Huawei Mate 10. Il comprend quatre cœurs de processeur Cortex-A73 fonctionnant jusqu'à 2, 4 GHz et quatre A53 fonctionnant jusqu'à 1, 8 GHz, ainsi que le processeur graphique Mali G72 MP12 d'ARM.

Ce qui est particulièrement nouveau dans la 970, c'est ce que Huawei appelle sa NPU, ou unité de traitement neural. La société a déclaré que les tâches pouvant être déchargées sur ce processeur pouvaient être 25 fois plus performantes et 50 fois plus efficaces que celles exécutées sur le cluster de processeurs. Cela vise notamment à une reconnaissance plus rapide des images et à une meilleure photographie. Lors du salon, Huawei a déclaré que le téléphone pouvait traiter 1, 92 TeraFLOPs 16 bits.

Le Kirin 970 est doté d'un processeur de signal à double image, d'un modem LTE de catégorie 18 avec une agrégation à 5 porteuses et d'un MIMO 4 sur 4 qui devrait permettre une vitesse de téléchargement maximale de 1, 2 Gbps.

Au Mobile World Congress, Huawei a annoncé son premier modem 5G, le Balong 5G01, qui, selon lui, serait le premier modem 5G à être expédié. Il semble probable que certains futurs processeurs d'applications adopteront également ce modem, mais cela n'a pas encore été annoncé. Techniquement, tous ces produits sont créés par la filiale HiSilicon de la société.

Qualcomm

Le Snapdragon 845 de Qualcomm est au cœur de la plupart des téléphones Android phare aux États-Unis cette année. Il s'agit d'une mise à niveau du Snapdragon 835, utilisé dans la plupart des téléphones Android premium de 2017 et déjà utilisé dans les versions nord-américaines du Galaxy S9.

Comme pour la plupart des autres fournisseurs, Qualcomm considère les réseaux de neurones et l'IA comme l'un des principaux domaines d'amélioration de la puce de cette année, parallèlement à une focalisation accrue sur "l'immersion", ce qui signifie essentiellement une meilleure imagerie.

Dans le domaine de l'IA, Qualcomm aime parler d'un moteur de traitement neuronal (NPE) multi-cœur, qui utilise une nouvelle version de son DSP Hexagon, ainsi que le processeur et le GPU pour l'inférence.

La puce comporte le DSP Hexagon 685, qui, selon Qualcomm, peut plus que doubler les performances de traitement de l’IA; un processeur Kryo 385, qui offrirait une augmentation de performances de 25 à 30% pour ses cœurs hautes performances (quatre cœurs ARM Cortex-A75 fonctionnant jusqu'à 2, 85 GHz), et jusqu'à 15% d'augmentation des performances pour ses cœurs "d'efficacité" (quatre Cortex-A55 fonctionnant jusqu'à 1, 8 GHz), partageant un cache L3 de 2 Mo, et un processeur graphique Adreno 630, qui, selon Qualcomm, prend en charge une amélioration de 30% des performances ou une réduction de 30% de la consommation d'énergie, ainsi que jusqu'à 2, 5 fois affichages plus rapides.

Dans la zone d’intelligence artificielle, la puce prend en charge un grand nombre de cadres d’apprentissage automatique différents, et la société affirme que cela fonctionne pour des tâches telles que la classification des objets, la détection des visages, la segmentation de scène, la reconnaissance du locuteur, etc. pour réaliser des portraits avec un arrière-plan flou) et une détection active de la profondeur et une lumière structurée, ce qui devrait permettre une meilleure reconnaissance des visages. En déplaçant l'inférence du cloud vers le périphérique, Qualcomm affirme que vous bénéficiez des avantages d'une latence réduite, de la confidentialité et d'une fiabilité améliorée.

Dans le domaine de l’imagerie, la puce intègre une nouvelle version de Spectra ISP de Qualcomm, une capture vidéo améliorée Ultra HD avec réduction du bruit sur plusieurs images, la possibilité de capturer une vidéo de 16 mégapixels à 60 images par seconde et une vidéo 720p au ralenti à 480 images par seconde. Pour la réalité virtuelle, le 845 prend en charge les écrans avec une résolution de 2 000 x 2 000 à 120 images par seconde, ce qui représente un progrès considérable par rapport au 1, 5K sur 1, 5 Ko à 60 images par seconde pris en charge par le 835.

Les autres fonctionnalités incluent une unité de traitement sécurisée, qui utilise son propre noyau pour stocker les informations de sécurité en dehors du noyau, et fonctionne avec le processeur et la capacité TrustZone de Qualcomm.

Le 845 intègre le modem X20 introduit par Qualcomm l’année dernière, capable de prendre en charge la norme LTE de catégorie 18 (avec des vitesses allant jusqu’à 1, 2 Gbps), jusqu’à 5 agrégations de télécommunication et 4X4 MIMO, et utilise des techniques telles que l’accès sous licence vitesses possibles dans plus de domaines.

La puce est fabriquée selon le processus à faible consommation d’énergie de 10 nm de Samsung.

Qualcomm fabrique également la famille de processeurs d’application Snapdragon 600, dirigée par le 660, utilisée par de nombreux fournisseurs chinois, notamment Oppo et Vivo. À l’approche du Mobile World Congress, il a présenté la famille Snapdragon 700, qui présente bon nombre des mêmes fonctionnalités que la famille 800, notamment le DSP Hexagon, le fournisseur de services Spectra, les graphiques Adreno et le processeur Kryo. Par rapport au 660, Qualcomm indique qu'il offrira une amélioration 2x des applications d'intelligence artificielle intégrées et une amélioration de 30% de l'efficacité énergétique.

Samsung

Alors qu'il utilise des processeurs Qualcomm dans la plupart de ses téléphones nord-américains, sur de nombreux autres marchés, Samsung utilise ses propres processeurs Exynos et commence à mettre ces processeurs à la disposition des autres fabricants de téléphones.

Son nouveau produit haut de gamme est l'Exynos 9810, que Samsung utilisera dans les versions internationales des Galaxy S9 et S9 +.

Encore une fois, Samsung propose de nouvelles fonctionnalités pour les «logiciels d’apprentissage en profondeur», qui, dit-il, aident le processeur à identifier avec précision les objets ou les personnes présents dans les téléphones, et prennent en charge le sens de la profondeur pour la reconnaissance faciale.

Le 9810 est également une puce octa-core, avec quatre cœurs A55 pour l'efficacité énergétique et quatre conceptions de CPU personnalisées pour la performance. Selon Samsung, ces nouveaux cœurs, qui peuvent fonctionner à 2, 9 GHz, ont un pipeline plus large et une mémoire cache optimisée, ce qui leur confère des performances deux fois supérieures à celles d'un seul cœur et 40% de performances multicœurs supérieures à celles de son prédécesseur, le 8895 de l'année dernière (). Les repères publiés montrent des améliorations dans le monde réel, mais pas autant qu'on le prétend, je reste sceptique quant à tous les repères mobiles à ce stade.)

Les autres caractéristiques comprennent les graphiques Mali-G72 MP18, la prise en charge d’écrans jusqu’à 3840 sur 2400 et de 4096 sur 2160, un processeur de signal image double (ISP) et la prise en charge de la capture 4K à 120 images par seconde. Le 9810 dispose également d’un modem de catégorie 18 avec agrégation à 6 opérateurs et MIMO 4 sur 4 pour la liaison descendante (2 AC pour la liaison montante), avec une vitesse maximale de liaison descendante de 1, 2 Gbps et un chargement de 200 Mbs. Sur papier, cela correspond aux modems de la catégorie 18 que Qualcomm et Huawei ont parmi leurs meilleurs jetons actuels. Comme le Snapdragon 845, il est fabriqué selon le procédé FinFET 10 nm de deuxième génération de Samsung.

MediaTek

MediaTek a joué un rôle plus actif dans les téléphones de milieu de gamme et au-dessous, et le mois dernier a lancé une nouvelle puce appelée Helio P60 destinée au marché "New Premium" - un téléphone de marché moyen compris entre 200 et 400 $ proposant caractéristiques de base des téléphones haut de gamme. Le premier téléphone annoncé qui utilisera cette puce est le Oppo R15.

Le meilleur processeur de la société, annoncé l'année dernière, est le Helio X30, un processeur déca-core destiné aux téléphones haut de gamme. Cela inclut deux cœurs de processeur ARM Cortex-A73 fonctionnant jusqu'à 2, 5 GHz, quatre cœurs Cortex-A53 fonctionnant jusqu'à 2, 2 GHz et quatre cœurs A35 pouvant fonctionner à 1, 9 GHz, ainsi que les graphiques PowerVR Series 7XT Plus de Imagination 800 GHz et un modem de catégorie 10 LTE capable d’agréger trois porteuses sur la liaison descendante. C'est une puce intéressante, produite sur le processus 10 nm de TSMC, et qui suggère l'idée que plus de cœurs peuvent être plus flexibles. Parmi les téléphones annoncés, citons le Meizu Pro 7 Plus à double écran et le Vernee Apollo 2 (appareil photo frontal 8MP, caméras arrière 16MP + 13MP).

L'année dernière, MediaTek a annoncé deux processeurs de marché intermédiaire, les Helio P23 et P30, destinés aux marchés mondiaux et plus particulièrement à la Chine, chacun doté de huit cœurs Cortex-A53 fonctionnant à 2, 53 GHz et du graphique Mali G71 MP2. Ce sont les puces que le P60 est conçu pour remplacer, offrir plus de puissance et permettre une série de nouvelles fonctionnalités.

Le P60 offre plus de performances et constitue un retour à la configuration big.LITTLE ARM et MediaTek poussées au cours des années précédentes, associant quatre des plus puissants ARM Cortex-A73 à 2, 0 GHz à quatre des plus performants Cortex-A53. noyaux, également à 2, 0 GHz. Ils sont rejoints par un processeur graphique ARM Mali G72 NMP3 à 800 MHz et sont tous contrôlés par la quatrième version de la technologie CorePilot de MediaTek pour la planification de l'exécution des tâches. Selon MediaTek, comparé aux P23 et P30, le P60 offre une amélioration des performances de 70% dans les opérations du processeur et du processeur graphique.

MediaTek s’engage également dans le monde de l’intelligence artificielle, avec le P60 comprenant sa plate-forme NeuroPilot pour l’accélération matérielle des réseaux de neurones. Il prend en charge Google Android Neural Network (NN) et les environnements d’intelligence artificielle courants, tels que TensorFlow, TensorFlow Lite, Caffe et Caffe 2. Il s’agit d’un processeur de signal numérique spécialisé capable de 280 GMAC (des milliards d’opérations cumulées par seconde). Il est conçu pour être utilisé dans des domaines tels que la reconnaissance faciale pour déverrouiller un téléphone (ce que nous avons vu jusqu'à présent dans les téléphones haut de gamme mais pas dans la catégorie moyenne), et la reconnaissance d'objets, même dans les vidéos, à 60 images par seconde.

En outre, le P60 intègre un certain nombre de nouvelles fonctionnalités d’image, notamment trois processeurs de capteur d’image pouvant prendre en charge une configuration à deux caméras comprenant des capteurs de 16 et 20 MP ou une seule caméra jusqu’à 32 MP. (Je n'ai pas encore vu de téléphone en production avec un capteur d'appareil photo comportant autant de mégapixels, mais ils sont censés être à venir.) Ces capteurs ajoutent des fonctionnalités de réduction du bruit, ainsi que du bokeh en temps réel (le flou de l'arrière-plan utilisé en mode portrait).

La puce comprend un modem prenant en charge les téléchargements de catégorie 7 (jusqu'à 300 Mbps) et les téléchargements de catégorie 13 (jusqu'à 150 Mbps avec agrégation sur deux porteuses). Il est fabriqué sur le processus FinFet 12 nm de TSMC, qui, selon la société, lui permet d’économiser 25% d’énergie pour les applications à forte consommation d’énergie telles que les jeux et 12% globalement.

Spreadtrum

Spreadtrum, qui fabrique des modems principalement vendus sur le marché chinois, a annoncé un partenariat avec Intel qui utilisera le modem 5G d’Intel et des processeurs compatibles ARM. Il ne reste que quelques années, alors les détails ne sont pas encore disponibles.

Notez que bien que Spreadtrum ne soit pas très visible aux États-Unis, il n’est suivi que par Qualcomm et MediaTek sur le marché marchand pour les processeurs d’application. Elle vend principalement des produits dotés de processeurs ARM et de son propre modem 4G, mais a conclu un accord avec Intel, qui appartient à une minorité. Cela a abouti à une puce avec les processeurs Intel et le modem Spreadtrum (le contraire de la nouvelle annonce).

BRAS

Bien sûr, ce ne sont pas seulement les fabricants de puces qui voient l'IA comme la prochaine grande vague, et les sociétés qui fabriquent la propriété intellectuelle ont également fait un grand pas en avant dans ce domaine.

ARM, le plus performant des fabricants d’IP, a annoncé le mois dernier une suite d’apprentissage de la machine, comprenant à la fois du matériel et des logiciels, et l’a promu au Congrès mondial de la téléphonie mobile.

Surnommé Project Trillium, il inclut des conceptions de processeur (IP) pour l’apprentissage machine (ML) et la détection d’objet (OD), ainsi qu’une nouvelle bibliothèque de logiciels.

Le processeur ML est conçu pour être intégré à un processeur d'application et s'exécuter à côté du processeur, du processeur graphique et du cœur d'affichage. La bibliothèque de logiciels, connue sous le nom de ARM NN (réseau de neurones), est conçue pour prendre en charge des infrastructures telles que TensorFlow, Caffe et Android NN. Cela permet à ces applications de fonctionner uniquement à l'aide de logiciels sur des processeurs existants dotés de processeurs ARM et de graphiques; bien sûr, il sera considérablement accéléré lorsqu’il sera exécuté sur des processeurs incluant les cœurs ML. Un logiciel tiers fonctionnera également sur le cœur du processeur. Selon ARM, le noyau ML a été conçu spécifiquement pour gérer des réseaux de neurones. Il peut exécuter des applications 8 et 16 bits, bien que la tendance soit plutôt à 8 bits pour plus de simplicité.

Le processeur OD est conçu pour s’associer à un processeur de signalisation d’images (ISP), afin de permettre la détection d’objets de faible puissance, en particulier pour des applications telles que la détection des visages et le suivi des mouvements. Il s'agit d'un bloc matériel dédié conçu pour être utilisé avec les nouvelles technologies de capteurs telles que les caméras stéréoscopiques.

Selon ARM, la nouvelle adresse IP serait disponible pour la prévisualisation du développeur en avril et serait généralement disponible plus tard cette année, mais étant donné le cycle de temps typique, il est peu probable que les nouveaux cœurs de processeur apparaissent dans les puces avant 2019 ou plus tard. Bien entendu, le logiciel, qui fonctionne sur les cœurs existants, pourrait être déployé beaucoup plus tôt.

ARM a également proposé de nouvelles solutions pour l’Internet des objets, notamment une nouvelle solution SIM appelée Kigen, conçue pour être intégrée à des systèmes sur puce pour des dispositifs à faible consommation d’énergie, afin de remplacer les cartes SIM physiques actuelles.

Technologies d'imagination

Imagination, connue pour ses graphiques PowerVR, a annoncé l’automne dernier son IP de réseau neuronal, l’accélération de réseau neuronal PowerVR 2NX (NNA). Il s’agit d’une architecture flexible comprenant un à huit cœurs, chacun pouvant comporter 256 unités multiplay-accumulate (MAC) de 8 bits. L'imagination a dit qu'il peut effectuer plus de 3 200 milliards d'opérations par seconde.

Ceva

D'autres fournisseurs de PI arrivent également sur le marché. Ceva, connu pour ses cœurs DSP, vient d’annoncer NeuPro, une famille de cœurs de processeur AI conçus pour les périphériques de pointe. Celles-ci reposent sur les processeurs vendus par la société dans le domaine de la vision par ordinateur et utilisent le cadre CDNN pour une variété de «processus d’IA». Cela fonctionnera avec les frameworks d’apprentissage machine courants et les convertira pour qu’ils s’exécutent sur des processeurs mobiles pour l’inférence. La société prévoit des processeurs allant de 2 à 12, 5 téraops par seconde (TOPS) conçus pour les produits grand public, de surveillance et ADAS (pour les véhicules autonomes). Ceva a déclaré qu'un grand client du secteur de l'automobile prévoyait une performance de 100 TOPS avec moins de 10 watts de puissance. La licence commencera au second semestre de cette année.

Ceva a également annoncé sa plate-forme PentaG de DSP pour les modems en bande de base 5G. La société affirme que ses DSP actuels représentent 40% des combinés du monde, couvrant environ 900 millions de téléphones par an, ainsi que des modems d'Intel, de Samsung et de Spreadtrum. La nouvelle plate-forme a plus d'intelligence artificielle, utilisée notamment pour "l'adaptation de lien". Dans le monde de la 5G, les combinés peuvent avoir plusieurs liaisons vers une borne d'accès. Ceva explique que son matériel et ses logiciels permettent de déterminer la meilleure liaison toutes les quelques millisecondes. Cela peut économiser beaucoup d'énergie par rapport à l'utilisation d'un logiciel seul. Ce n'est pas une puce de réseau neuronal ou DSP à usage général, mais plutôt une puce spécialement conçue pour les communications. Il vient d'être annoncé et devrait être disponible au troisième trimestre.

Ceva fait également de gros efforts pour les DSP sur le marché des stations de base 5G et a déclaré que pas moins de 50% de la nouvelle infrastructure de radio 5G utiliserait son IP DSP, y compris les systèmes de Nokia et de ZTE.

Quelle est la probabilité que vous recommandiez PCMag.com?