Test d'antivirus 101

À différents endroits du monde, des équipes de chercheurs dévoués soumettent des dizaines de produits antivirus à des tests éprouvants. Certains de ces laboratoires de tests antivirus exécutent des procédures qui prennent des mois. D'autres mettent au défi les antivirus de détecter des centaines de milliers d'échantillons. Il est impossible qu'un seul critique comme moi puisse dupliquer ces efforts, mais je persiste à effectuer des tests pratiques pour chaque révision antivirus. Pourquoi? Il y a plusieurs raisons.

La rapidité d'exécution est l'une des raisons. Je fais de mon mieux pour examiner chaque nouveau produit de sécurité dès sa publication. Les laboratoires effectuent leurs tests selon un horaire qui correspond rarement à mes besoins. La compréhension est un autre. Toutes les entreprises de sécurité ne participent pas à chaque laboratoire; certains ne participent pas du tout. Pour ceux qui ne participent pas, mes propres résultats sont tout ce que je dois continuer. Enfin, les tests pratiques me donnent une idée de la façon dont le produit et l'entreprise gèrent les situations difficiles, comme les logiciels malveillants qui empêchent l'installation du logiciel de protection.

Pour obtenir une comparaison raisonnable, je dois exécuter chaque produit antivirus sur le même ensemble d'échantillons. Oui, cela signifie que je ne teste jamais avec des programmes malveillants du jour zéro et du jamais vu auparavant. Je compte sur les laboratoires, dotés de plus de ressources, pour effectuer ce type de test. La création d'un nouvel ensemble de systèmes de test infestés prend beaucoup de temps, je ne peux donc me permettre de le faire qu'une fois par an. Étant donné que mes échantillons ne sont pas nouveaux, vous penseriez que tous les produits de sécurité les gèrent bien, mais ce n’est pas ce que j’observe.

Rassembler des échantillons

Les grands laboratoires indépendants surveillent Internet et capturent en permanence de nouveaux échantillons de programmes malveillants. Bien sûr, ils doivent évaluer des centaines de suspects pour identifier ceux qui sont vraiment malveillants et déterminer le type de comportement malveillant qu'ils présentent.

Pour mes propres tests, je compte sur l’aide d’experts de différentes sociétés de sécurité. Je demande à chaque groupe de fournir des URL du monde réel pour une dizaine de menaces "intéressantes". Bien sûr, toutes les entreprises ne veulent pas participer, mais je reçois un échantillon représentatif. Saisir les fichiers depuis leur emplacement réel présente deux avantages. Premièrement, je n'ai pas à traiter avec la sécurité de la messagerie électronique ou de l'échange de fichiers en effaçant des échantillons en transit. Deuxièmement, cela élimine la possibilité qu'une entreprise puisse jouer le système en fournissant une menace ponctuelle que seul son produit peut détecter.

Les auteurs de logiciels malveillants déplacent et modifient constamment leurs armes logicielles. Je télécharge donc les exemples suggérés immédiatement après avoir reçu les URL. Néanmoins, certains d’entre eux ont déjà disparu au moment où je tente de les attraper.

Libérez le virus!

La prochaine étape, ardue, consiste à lancer chaque échantillon suggéré dans une machine virtuelle, sous le contrôle d'un logiciel de surveillance. Sans donner trop de détails, j'utilise un outil qui enregistre toutes les modifications de fichiers et du registre, un autre qui détecte les modifications en utilisant des instantanés système avant et après, et un troisième qui rend compte de tous les processus en cours d'exécution. J'exécute également quelques analyseurs de rootkit après chaque installation, car en théorie, un rootkit peut échapper à la détection par d'autres moniteurs.

Les résultats sont souvent décevants. Certains exemples détectent quand ils s'exécutent sur une machine virtuelle et refusent de s'installer. D'autres veulent un système d'exploitation spécifique ou un code de pays spécifique avant d'agir. D'autres encore peuvent attendre des instructions d'un centre de commandement et de contrôle. Et quelques-uns endommagent le système de test au point qu'il ne fonctionne plus.

Parmi mes dernières suggestions, 10% étaient déjà parties lorsque j'ai essayé de les télécharger, et environ la moitié des autres suggestions étaient inacceptables pour une raison ou une autre. Parmi ceux qui sont restés, j'ai choisi trois douzaines, cherchant à obtenir divers types de logiciels malveillants suggérés par diverses sociétés.

C'est ici?

La sélection d'échantillons de logiciels malveillants ne représente que la moitié du travail. Je dois également passer en revue des quantités et des quantités de fichiers journaux générés au cours du processus de surveillance. Les outils de surveillance enregistrent tout, y compris les modifications non liées à l'exemple de programme malveillant. J'ai écrit quelques programmes de filtrage et d'analyse pour m'aider à identifier les fichiers spécifiques et les traces de registre ajoutés par le programme d'installation du programme malveillant.

Après avoir installé trois échantillons chacun dans douze machines virtuelles par ailleurs identiques, je lance un autre petit programme qui lit mes derniers journaux et vérifie que les programmes en cours, les fichiers et les traces du Registre associés aux échantillons sont bien présents. Très souvent, je dois ajuster mes journaux car un cheval de Troie polymorphe s’installait avec des noms de fichiers différents de ceux utilisés lors de l’exécution de mon analyse. En fait, plus du tiers de ma collection actuelle nécessitait un ajustement pour le polymorphisme.

Est-ce parti?

Une fois cette préparation terminée, il est simple d'analyser le succès du nettoyage d'un produit antivirus particulier. J'installe le produit sur les douze systèmes, lance une analyse complète et lance l'outil de vérification pour déterminer quelles traces (le cas échéant) restent. Un produit qui supprime toutes les traces exécutables et au moins 80% des fichiers indésirables non exécutables marque dix points. S'il supprime au moins 20% de la malbouffe, cela vaut neuf points; moins de 20% obtient huit points. Si des fichiers exécutables restent en arrière, le produit marque cinq points; cela revient à trois points si l’un des fichiers est toujours en cours d’exécution. Et bien sûr, une absence totale ne rapporte aucun point.

Le fait de faire la moyenne des points pour chacun des trois douzaines d’échantillons me donne une bonne idée de la manière dont le produit gère le nettoyage des systèmes de test infectés par des logiciels malveillants. De plus, je reçois une expérience pratique du processus. Supposons que deux produits obtiennent des scores identiques, mais l’un installé et numérisé sans problème et l’autre nécessitant des heures de travail de la part du support technique; le premier est clairement meilleur.

Vous savez maintenant ce qui se trouve dans le tableau de suppression des logiciels malveillants que j'inclus dans chaque révision antivirus. C'est une tonne de travail une fois par an, mais ce travail en vaut la peine.