De nombreuses suites de sécurité améliorent la protection lors de tests en conditions réelles

Les chercheurs d'AV-Comparatives, basés à Innsbruck, travaillent sans relâche pour tester le pouvoir de protection des suites de sécurité de la manière la plus proche possible de l'expérience d'un utilisateur réel. Chaque jour, ils soumettent près de vingt suites à de véritables attaques de logiciels malveillants, en utilisant un système automatisé pour enregistrer les performances du produit. Au cours des six derniers mois, ils ont été soumis à plus de 3 000 tests. Les résultats semestriels sont connus et un nombre impressionnant de produits se sont améliorés depuis le dernier rapport.

L'importance de la taille de l'échantillon

Il est intuitivement évident qu'un test comme celui-ci obtiendra des résultats plus précis avec un plus grand nombre d'échantillons, mais cette fois-ci, AV-Comparatives a clairement expliqué les conséquences d'un échantillon trop petit. Un simple rapport séparé établit les statistiques, et elles sont un peu surprenantes.

Supposons qu'un produit particulier détecte 80% d'un ensemble de 10 000 échantillons de programmes malveillants. Supposons maintenant que vous ne choisissiez que dix échantillons au hasard dans cette même collection. À l'aide d'un graphique de tous les résultats possibles, le rapport démontre que l'obtention du même taux de détection, d'un taux de détection supérieur ou d'un taux de détection inférieur est presque aussi probable. Oui, réduire le nombre d'échantillons à dix est un cas extrême, mais c'est ce qui compte.

Méthodes d'essai

À l'aide de méthodes de recherche automatiques et manuelles, l'équipe de recherche recueille chaque jour des URL malveillantes malveillantes. Ils sélectionnent spécifiquement une combinaison de liens directs vers des fichiers de logiciels malveillants et des sites de téléchargement en mode lecteur. En parcourant les échantillons de la journée, un par un, ils exposent tous les produits à une URL en même temps et observent la réaction de chaque produit. Si un composant de la suite repousse le malware, c'est un succès. Si le logiciel malveillant passe au-delà et met en place un système d’entretien, c’est un échec.

Parfois, la suite apparaîtra avec une notification l'informant de la découverte d' un objet , demandant à l'utilisateur de le bloquer ou de l'autoriser. À des fins de test, les analystes AV-Comparatives choisissent toujours d'autoriser l'action. Un produit qui défend avec succès le système malgré cette action obtient un crédit total; un produit qui permet au système d'être compromis en raison d'un mauvais choix de l'utilisateur obtient un demi-crédit.

Une fois qu'un scénario de test particulier est terminé, tous les systèmes de test sont ré-imagés à un état antérieur au programme malveillant, prêts pour le scénario de test suivant.

Faux positifs

Un résultat faussement positif se produit lorsque le logiciel de sécurité bloque par erreur l'accès à un fichier ou à un site Web légitime. Il est clair que vous ne voulez pas que votre suite de sécurité efface les fichiers valides ou vous éloigne des sites Web inoffensifs. AV-Comparatives a testé chaque produit avec un millier de domaines choisis au hasard et une centaine de programmes nouveaux et populaires. À des fins de test, ils ont téléchargé chaque programme depuis le site du développeur, et non depuis un portail de téléchargement.

Le rapport note que les analyses de sécurité statistiques et basées sur la réputation bloquent ou avertissent souvent les nouveaux programmes et sites. Il déclare: "Bien que de telles techniques de protection… aident à produire des scores élevés… cela peut également conduire à la détection / au blocage de fichiers innocents / propres et d'URL simplement parce qu'ils sont… trop récents." Norton, un ardent défenseur de ce type de détection, ne participe pas aux tests AV-Comparatives.

Beaucoup d'amélioration

Plus de la moitié des produits inclus dans le rapport actuel ont obtenu de meilleurs résultats que dans l'édition précédente de ce rapport. Vipre, McAfee et Fortinet ont tous échoué la dernière fois, ne méritant même pas le niveau de réussite le plus bas. Cette fois, Fortinet et McAfee ont évalué ADVANCED et Vipre est passé à STANDARD. Tous les trois ont eu leur cote réduite en raison de faux positifs; En se basant uniquement sur la détection, McAfee et Fortinet auraient attribué la note la plus élevée à ADVANCED +.

eScan est passé de STANDARD à ADVANCED +, tandis qu'avast!, ESET et Trend Micro sont passés de ADVANCED à ADVANCED +. Plusieurs autres personnes ayant précédemment noté STANDARD géraient cette fois-ci une note ADVANCED.

Bitdefender obtient régulièrement les meilleurs scores dans les tests de laboratoire indépendants. Rien que sur la base de la détection de programmes malveillants, il aurait attribué la mention ADVANCED +, comme ce l’était la dernière fois, mais les faux positifs l’ont fait passer à ADVANCED. La même chose est arrivée à F-Secure et BullGuard.

Le test dynamique de produit entier AV-Comparatives est l’un des tests les plus intensifs que j’ai rencontrés. Il n’est donc pas surprenant que le laboratoire s’appuie sur l’aide de l’Université d’Innsbruck et du gouvernement autrichien. C'est beaucoup de travail, mais le résultat final est un test très proche de la capacité d'un produit à protéger les utilisateurs du monde réel.