Microsoft surpasse Symantec en test antivirus

Dans le dernier test à la demande d'AV-Comparatives, de nombreux produits ont perdu des points à cause de faux positifs, ce qui a permis d'identifier par erreur un programme valide comme un malware. Symantec et Microsoft ont obtenu à peu près les mêmes résultats sur la base de la détection d'échantillons de programmes malveillants, mais Symantec a perdu des points à cause de faux positifs. Il y a plus dans l'histoire que cela, cependant.

Analyse à la demande

Le test de numérisation à la demande expose chaque produit testé à une collection "d'échantillons des dernières semaines / mois qui ont / atteignaient les utilisateurs sur le terrain". Les échantillons sont ensuite analysés afin de classer des fichiers similaires et de réduire la taille de la série d’échantillons. Ainsi, "chaque manquement est censé représenter un groupe manquant". Ce test particulier utilise 136 610 échantillons récents. Le score initial d'un produit est le pourcentage d'échantillons détectés.

De manière surprenante, Norton AntiVirus de Symantec affichait le taux de détection le plus faible (avant de considérer les faux positifs), avec une détection de 91, 2%. Microsoft Security Essentials a légèrement progressé, détectant 92% des échantillons. Avec 99, 9% de détection, G Data AntiVirus arrive en tête de liste. Plusieurs autres ont réussi à mieux que 99%.

Faux positifs

Les chercheurs d'AV-Comparatives utilisent une technique de regroupement pour identifier les points de coupure séparant ADVANCED + (note maximale) d'AVANCED et d'AVANCED de STANDARD. C'est le point de départ, mais un produit contenant de nombreux faux positifs (16 à 50) perdra un niveau d'évaluation et un autre avec un très grand nombre (51 à 100) en perdra deux. Quelle que soit sa note initiale, si un produit affiche "beaucoup de fous" (plus de 100) faux positifs, il recevra toujours la note de non-réussite de TESTED.

Neuf des vingt produits testés ont perdu un niveau d'évaluation en raison de nombreux faux positifs. Au moins aucun d’entre eux n’a eu beaucoup de MF ou beaucoup de "fous". Norton, commençant avec une cote de STANDARD, a coulé à TESTED, tout comme AhnLab. Dans le cercle des gagnants, avec une note de ADVANCED +, nous retrouvons Avira, Bitdefender, BullGuard, F-Secure et Kaspersky. Cliquez ici pour voir le rapport complet.

Notez que Microsoft ne figure pas dans la section des récompenses. Au début, je pensais que c'était un oubli, mais le cofondateur d’AV-Comparatives, Peter Stelzhammer, m’a remis sur la bonne voie. "Nous avons décidé de ne plus répertorier Microsoft dans la section Award (et dans les tests ultérieurs)", a expliqué Stelzhammer, "car leur protection par défaut est activée par défaut dans Windows." De manière similaire, AV-Test a choisi de traiter le score de Microsoft comme une base minimale.

Faux positifs pondérés

Pendant des années, Symantec s'est contenté du fait qu'un simple compte de faux positifs n'était pas utile. Les chercheurs de Symantec recommandent que tout test de faux positif inclue une pondération basée sur la prévalence du fichier impliqué. Ils affirment que leur système d'analyse Norton Insight exclut la possibilité d'un faux positif sur tous les fichiers, à l'exception de ceux dont la prévalence est faible. Un document secondaire de AV-Comparatives suggère qu'ils ont peut-être raison.

L’annexe False Positives du rapport à la demande répertorie chaque fichier que chaque produit a détecté à tort comme un programme malveillant, ainsi que le nom du logiciel malveillant utilisé et une estimation de sa prévalence. Ils ont identifié cinq niveaux, allant de "probablement moins d'une centaine d'utilisateurs" à "probablement plusieurs centaines de milliers (ou millions)".

Juste pour voir, j'ai choisi un nombre représentatif d'utilisateurs à chaque niveau, 50 utilisateurs pour le premier niveau et dix fois supérieur pour chaque niveau supérieur, avec 500 000 utilisateurs des programmes les plus répandus. J'ai ensuite calculé le nombre d'utilisateurs susceptibles d'être affectés par les faux positifs de chaque produit. Les résultats, présentés dans le tableau ci-dessous, me suggèrent que AV-Comparatives devrait envisager d'utiliser un calcul similaire de PF.

Dans ce graphique, les produits qui ont perdu un niveau d'évaluation en raison de faux positifs sont indiqués en italique gras. Selon mes calculs pondérés, Norton FP affecte potentiellement 13 750 utilisateurs. Plusieurs produits qui n'ont pas été modifiés en fonction du nombre de PC ont eu un effet plus important que Symantec, notamment les gagnants Kaspersky et F-Secure.

Emsisoft avait le plus grand nombre de faux positifs au total, avec 38 d’entre eux. Terrible, non? Toutefois, aucun des deux niveaux de prévalence les plus élevés n’ayant été atteint, son effet théorique est inférieur à celui de Sophos, avec 6 PF au total, ou ESET, avec 9 FP.

McAfee a obtenu la note ADVANCED dans le test de base à la demande. Avec 15 faux positifs, c'est juste un nombre inférieur au nombre de personnes qui lui feraient perdre un niveau d'évaluation. Pourtant, selon mes calculs pondérés, il est potentiellement responsable d’affecter plus de deux cent mille utilisateurs, soit près de 16 fois plus que Norton.

Ce ne sont pas des nombres réels, mais simplement une expérience de pensée pour aider à comprendre ce que signifierait utiliser la prévalence pour mesurer les faux positifs. Après avoir parcouru cet exercice, il ne me reste plus qu'à espérer qu'AV-Comparatives trouvera le moyen de prendre en compte la prévalence dans ses faux tests positifs. Compter simplement les chiffres ne suffit pas.