Les experts critiquent l’étude antivirus imperva

La société de sécurité Imperva a publié le mois dernier une étude sombre suggérant que des suites de sécurité coûteuses pourraient ne pas valoir le prix et que tous les programmes anti-virus souffrent d'énormes angles morts. Une telle recherche nécessite toujours un grain de sel, mais après avoir parlé à de nombreux experts du secteur, un shaker complet peut s'avérer nécessaire.

Imperva a examiné diverses solutions de sécurité proposées par des fournisseurs tels que Kaspersky, Avast, AVG, Microsoft et McAfee, pour n'en nommer que quelques-unes. Ils ont opposé ces sentinelles à 82 échantillons de logiciels malveillants collectés au hasard, en examinant dans quelle mesure le logiciel de sécurité avait réussi à détecter le logiciel malveillant.

Imperva affirme que les logiciels anti-malware ne sont pas assez rapides ni suffisamment réactifs pour lutter contre les menaces modernes. Le logiciel de sécurité, écrit Imperva, "est beaucoup mieux à même de détecter les logiciels malveillants qui se propagent rapidement en quantités massives d’échantillons identiques, alors que les variantes de diffusion limitée (telles que les attaques sponsorisées par le gouvernement) laissent généralement une grande fenêtre d’opportunité".

Ils ont également constaté qu'il n'existait aucune corrélation entre l'argent dépensé par les utilisateurs pour la protection antivirus et la sécurité fournie par les logiciels, et ils suggèrent que les clients particuliers et les entreprises envisagent des solutions de rechange gratuites.

Les laboratoires indépendants repoussent

L’étude a attiré beaucoup d’attention, mais lorsqu’elle s’est entretenue avec des professionnels de la sécurité et certaines des entreprises citées dans l’étude, Security Watch a constaté que beaucoup de personnes estimaient que l’étude était profondément imparfaite.

À peu près tous les laboratoires et les entreprises de sécurité ont estimé que la taille de l'échantillon de logiciels malveillants d'Imperva était trop petite pour appuyer les conclusions de l'étude. Andreas Marx d'AV-Test nous a confié que son entreprise recevait environ un million d'échantillons de nouveaux logiciels malveillants uniques par semaine. De même, Peter Stelzhammer d’AV-Comparatives nous a dit recevoir 142 000 nouveaux fichiers malveillants chaque jour.

Pour leur part, Imperva a écrit dans l’étude qu’ils avaient délibérément utilisé un petit échantillon, tout en affirmant qu’il témoignait des menaces existantes. "Notre sélection de logiciels malveillants n'était pas biaisée, mais tirée aléatoirement du Web, ce qui reflétait une méthode potentielle de création d'attaque", écrit Imperva.

Le directeur de la recherche de NSS Labs, Randy Abrams, avait toutefois une interprétation très différente de la méthodologie d'Imperva. "Il est garanti que la recherche de noms de fichiers passe à côté d'attaques sophistiquées et de la plupart des autres logiciels malveillants", a déclaré Abrams à Security Watch, commentant les moyens utilisés par Imperva pour localiser les logiciels malveillants aux fins de l'étude. "En se concentrant sur les forums russes, la collection d'échantillons est fortement biaisée. Il est évident qu'aucune idée n'a été trouvée pour obtenir un jeu d'échantillons représentatifs du monde réel."

Problèmes de méthodologie

Pour mener à bien son étude, Imperva a utilisé l'outil en ligne VirusTotal pour effectuer ses tests, cités comme une faiblesse critique du test. "Le problème avec ce test est qu'il a déchiré les menaces, sous la forme de fichiers exécutables, puis les a analysées à l'aide de VirusTotal", a déclaré Simon Edwards de Dennis Labs. "La VT n'est pas un système approprié pour évaluer des produits anti-malware, principalement parce que les scanners utilisés dans VT ne sont pas pris en charge par une technologie supplémentaire telle que les systèmes de réputation de sites Web."

Kaspersky Labs, dont le produit a été utilisé dans l'étude, a également mis en doute la méthodologie de test utilisée par Imperva dans l'expérience. "Lors de la recherche de fichiers potentiellement dangereux, le service VirusTotal utilisé par les spécialistes d’Imperva n’utilise pas les versions complètes des produits antivirus, mais repose simplement sur un scanner autonome", écrit Kaspersky Labs dans une déclaration adressée à Security Watch.

"Cette approche signifie que la majorité des technologies de protection disponibles dans les logiciels antivirus modernes sont tout simplement ignorées. Cela concerne également les technologies proactives conçues pour détecter les nouvelles menaces inconnues."

Notamment, une partie du site Web de VirusTotal décourage quiconque d'utiliser son service en analyse antivirus. La section "À propos" de la société se lit comme suit: "Nous en avons assez de répéter que le service n'a pas été conçu comme un outil permettant d'effectuer des analyses comparatives antivirus. Ceux qui utilisent VirusTotal pour effectuer des analyses comparatives antivirus doivent savoir qu'ils commettent de nombreuses erreurs implicites dans leur méthodologie."

Abrams a également pris une faible opinion sur l'utilisation de VirusTotal pour réaliser l'étude, affirmant que l'outil pouvait être utilisé pour orienter les résultats vers ceux souhaités par les testeurs. "Les testeurs compétents et expérimentés savent qu'il est préférable d'utiliser VirusTotal pour évaluer les capacités de protection de tout ce qui n'est pas un scanner en ligne de commande pur", a-t-il déclaré.

Imperva a défendu l'utilisation de VirusTotal dans son étude. "L'essence du rapport n'est pas une comparaison d'antivirus", écrit Imperva. "L'objectif est plutôt de mesurer l'efficacité d'une solution antivirus unique ainsi que de solutions antivirus combinées à partir d'un ensemble aléatoire d'échantillons de programmes malveillants."

Les experts avec lesquels nous nous sommes entretenus ont convenu que les vulnérabilités «jour-zéro» et les nouveaux logiciels malveillants constituaient un problème, mais aucun n’a pris en charge les affirmations d’Imperva concernant la synchronisation ou les faibles taux de détection. "Les taux de protection les plus bas lors d'un test du monde réel" zéro jour "sont de 64 à 69%", a déclaré Marx à Security Watch. "En moyenne, nous avons constaté un taux de protection de 88 à 90% pour tous les produits testés. Cela signifie que 9 attaques sur 10 seront bloquées avec succès, et qu'une seule causera en réalité une infection."

Une autre conclusion clé du rapport Imperva est que le logiciel anti-malware est bien compris par les créateurs de malware, qui modifient leurs créations pour subvertir les systèmes de protection. "Les pirates comprennent en détail les produits antivirus, se familiarisent avec leurs points faibles, identifient les points forts de ces produits et comprennent les méthodes permettant de gérer le nombre élevé de propagation de nouveaux virus sur Internet", écrit Imperva dans son étude.

L’étude se poursuit: "les variantes à distribution limitée (telles que les attaques commanditées par le gouvernement) laissent généralement une grande marge de manoeuvre".

Stuxnet n'est pas après toi

"Les malfaiteurs sont vraiment robustes, ils sont forts et intelligents", a déclaré Stelzhammer. "Une attaque ciblée est toujours dangereuse." Mais lui et d'autres ont souligné que les attaques ciblées pour lesquelles le logiciel malveillant est spécifiquement conçu contre les logiciels malveillants sont aussi rares que dangereux.

Les efforts et les informations nécessaires pour créer un programme malveillant afin de détruire toutes les couches de protection sont énormes. "Un tel test nécessite beaucoup de temps et de compétences, alors ils ne sont pas bon marché", a écrit Marx. "Mais c'est la raison pour laquelle ils sont appelés" ciblés "."

Sur ce point, Abrams a plaisanté: "Franchement, je ne suis vraiment pas préoccupé par le fait que Stuxnet s'introduise dans mon ordinateur et attaque une centrifugeuse d'enrichissement d'uranium chez moi ou chez mon employeur."

Presque toutes les personnes avec lesquelles nous nous sommes entretenus ont convenu, du moins en principe, que des solutions anti-malware gratuites pourraient offrir une protection intéressante aux utilisateurs. Cependant, la plupart des sondés n'étaient pas d'accord pour dire qu'il s'agissait d'une option viable pour les entreprises. Stelzhammer fait remarquer que même si les utilisateurs professionnels voulaient utiliser des logiciels libres, les contrats de licence les en empêchaient parfois.

"Il ne s'agit pas que de détection", a déclaré Stelzhammer lors d'une interview avec Security Watch. «C’est une question d’administration, de déploiement auprès des clients, d’aperçu. Vous n’obtiendrez pas cela avec un produit gratuit.»

Stelzhammer a ajouté qu'un utilisateur averti chez lui pourrait utiliser des couches de logiciels libres pour offrir une protection comparable à celle des logiciels payants, mais au prix de la simplicité. "Il peut organiser un système bien protégé avec un logiciel libre, mais le plus grand avantage d'un logiciel payant est sa commodité."

Cependant, Edwards de Dennis Labs a désapprouvé la comparaison favorable avec le logiciel libre. "Cela va à l'encontre de toutes nos découvertes après de nombreuses années d'essais", a déclaré Edwards. "Presque sans exception, les meilleurs produits sont payés." Ces résultats sont similaires aux tests du logiciel anti-malware par PC Magazine.

Depuis la publication de l'étude le mois dernier, Imperva a écrit un article de blog défendant leur position. S'adressant à Security Watch, Rob Rachwald, directeur de la stratégie de sécurité d'Imperva, a déclaré: "Toute critique portant sur notre méthodologie passe à côté de la réalité à laquelle nous sommes confrontés aujourd'hui." Il a poursuivi en affirmant que la plupart des atteintes à la sécurité des données résultaient d'une intrusion de logiciels malveillants, ce que la société considère comme une preuve que le modèle actuel de lutte contre les logiciels malveillants ne fonctionne tout simplement pas.

Bien que les conclusions d'Imperva puissent comporter une part de vérité, aucun des experts avec lesquels nous nous sommes entretenus n'a envisagé positivement l'étude. "Généralement, je mets en garde contre les tests sponsorisés par le fournisseur, mais si ce test avait été effectué par une organisation indépendante, je le mettrais en garde contre l'organisation elle-même", a écrit Abrams de NSS Labs. "Il est rare que je rencontre une méthodologie aussi incroyablement peu sophistiquée, des critères de collecte d'échantillons inappropriés et des conclusions non étayées résumées dans un seul fichier PDF."

Pour plus de Max, suivez-le sur Twitter @wmaxeddy.