Un pas en avant, deux en arrière

« Tout doit arriver lentement, de manière désarticulée, afin que nous ne devenions pas présomptueux et que nous restions misérables et confus »

Venedikt Erofeïev, Moscou-sur-Vodka

Je n’aurais jamais pensé que j’utiliserais cette phrase pour parler de l’industrie anti-virus, mais c’est ce qu’il en est maintenant. Tout ne progresse pas de manière limpide dans ce monde. Les réalités économiques et le besoin de nouveaux consommateurs peut même parfois attirer les meilleurs vers le côté obscur. Cette fois-ci, c’est l’un des meilleurs laboratoires dans l’industrie anti-virus – AV-TEST – qui a succombé.

Les tests comparatifs : un petit guide pour les non initiés

Comment peut-on choisir le meilleur produit ? Et comment sait-on que c’est le meilleur ? Eh bien, vous devriez probablement commencer en regardant les résultats des tests comparatifs d’un magasine spécialisé, ou d’un équivalent en ligne. Je suis certain que ce n’est pas nouveau pour vous. Il en est de même pour les solutions anti-virus – il existe un certain nombre de laboratoires qui évaluent et comparent une énorme quantité de produits anti-virus pour ensuite en publier les résultats.

Maintenant, pour des raisons inconnues (j’essaierai plus bas d’en deviner les causes) le célèbre laboratoire allemand AV-TEST a silencieusement (personne n’a été prévenu) modifié son processus de certification. Les changements signifient que les certificats produits par les nouvelles règles sont (et le mot est faible) inutiles pour évaluer les mérites des différents produits anti-virus.

Oui, c’est bien vrai. Je déclare officiellement que la certification d’AV-TEST pour les solutions anti-virus destinés aux particuliers ne permet plus à la qualité des produits d’être comparée de manière adéquate. En d’autres termes, je recommande fortement ne pas utiliser leurs listes de certificats comme guide pour choisir une solution capable de protéger votre PC à la maison. Il serait naturel de croire que deux produits qui ont la même certification sont égaux (ou presque égaux) en termes de performance. Avec les normes de la nouvelle certification d’AV-TEST, ce sera la responsabilité de l’utilisateur de rechercher soigneusement les réels résultats de chacun des tests… il s’apercevra peut-être qu’un produit qui a bloqué 99,9% des attaques à la même « certification » qu’un produit qui en bloque seulement 55%.

Regardons maintenant de plus près ce qui est arrivé et pourquoi – ce sera l’occasion de vos donner un cours accéléré sur comment interpréter les résultats AV-TEST.

La formule pour la solution anti-virus idéale a été inventée il y a bien longtemps. Elle donne quelque chose comme ça :

i. 100% de protection et 0% de faux positifs.
ii. Aucun impact sur les ressources système.
iii. Et pas de questions à l’utilisateur.

(4. Et dans un monde idéal, tout cela serait complètement gratuit.)

Bien évidemment, cet idéal est impossible à atteindre, mais nous pouvons toujours essayer de nous en rapprocher le plus possible et surtout dans le but de :

• Attraper le plus de programmes malveillants possible, et si quelque chose réussit à passer – être capable de guérir l’infection (et d’installer une protection sur un ordinateur infecté).
• Minimiser les risques de faux positifs – et s’ils se produisent, s’en débarrasser sur le champs.
• « Notre intégral n’a pas de limites », affirme un très bon ami, et il n’y a pas de limites au travail fourni pour optimiser l’utilisation de la mémoire du système, le temps d’exécution du processeur, ainsi que le nombre et la taille des mises à jour via Internet. Et bien sûr, rien de cela ne devrait avoir un impact sur le niveau de sécurité.

Cela semble très clair. Mais que fait un utilisateur moyen quand il/elle regarde des douzaines de produits anti-virus ? quel est le meilleur  et pourquoi ? Qui peut les classer et définir celui qui se rapproche le plus de la « solution anti-virus idéale » ? (et souvenez-vous, tous les produits sont plutôt convaincants quand il s’agit d’affirmer qu’ils sont les meilleurs).

En qui pouvons-nous donc avoir confiance ? Les testeurs indépendants, évidemment. Et cela inclut AV-TEST.

Il y a quelques années, l’équipe d’AV-TEST a créé une très bonne méthode pour tester les produits, et pour gagner un certificat, les produits devaient fonctionner presque parfaitement dans chaque catégorie de test.. Les produits étaient testés selon 3 critères :

• PROTECTION (prévention des infections)
• RÉPARATION (nettoyer les infections existantes)
• COMMODITÉ (facilité d’utilisation, performance, et nombre de faux positifs).

Le certificat est ensuite délivré, ou non selon le cas, suivant les résultats du produit (nombre de points accumulés). Nous supportions ce système et les montrions en exemple aux autres testeurs de la « première ligue » des tests comparatifs.

Quel métamorphose a donc eu lieu chez AV-TEST? Pourquoi ne pouvons-nous plus faire confiance à son système de certification ?

Premièrement, les critères nécessaires pour obtenir un certificat ont changé. Le paramètre RÉPARATION a été supprimé. Quel est l’intérêt d’avoir une solution anti-virus qui est capable de détecter une infection mais incapable de la traiter ? (Imaginez-vous chez le dentiste : « Oh, vous avez une carie, mais nous n’allons pas la soigner – nous ne pouvons pas le faire ! ») Il n’y a pas très longtemps, nous avons découvert qu’à l’échelle mondiale, 5% des ordinateurs dotés de solution anti-virus étaient infectés ! Un ordinateur sur vingt !  L’habilité d’une solution anti-virus à supprimer une infection active est clairement essentielle pour des millions de personnes dans le monde.

AV-TEST a promis de créer un test de RÉPARATION séparé et plus avancé… mais il n’affectera plus les résultats de certification, et, encore plus important, il sera optionnel ! Si les distributeurs de l’industrie de la sécurité ont des doutes sur la qualité de traitement de leur produit, ils peuvent simplement ne pas passer le test afin d’éviter de mauvais résultats. Nous pouvons quand même vérifier qui participe à ce test ainsi que ses résultats, et cela devrait déjà être un bon indicateur de la capacité de la solution anti-virus à protéger votre ordinateur.

Deuxièmement, le seuil de certification a été diminué – 10 points sur 18, seulement, sont désormais nécessaires pour recevoir un « prix ».

Troisièmement, le critère COMMODITÉ désigne désormais seulement les faux positifs. Il existe un monde de différences entre cette idée de commodité et la commodité qui prend en compte les performances. Compte tenu la nouvelle apparence des critères des tests d’AV-TEST, les faux positifs feraient tout aussi bien d’être inclus dans la catégorie PROTECTION afin d’agir comme un contrepoids (ce que font la plupart des laboratoires de toute façon).

Quelles-sont les conséquences de ce changement soudain dans le processus de certification d’AV-TEST ?

Premièrement et principalement, leur certification sera sérieusement dévaluée. Le nombre de participants au test augmentera – certains distributeurs d’anti-virus ne participent pas au test car ils savent que leur niveau de protection ne leur permettra pas un certificat. Maintenant presque tout le monde pourra recevoir un prix d’AV-TEST, seul ce qui ne fonctionne pas du tout sera mis de côté.

D’ailleurs, à la vue de ces critères moins exigeants, il est raisonnable de conclure qu’un programme anti-virus de base pourra obtenir une « certification AV-TEST. Et pourquoi pas ? Pas besoin de rechercher un nouveau malware – tout ce que vous avez à faire c’est surveiller le flot des scanners publics tels que VirusTotal. Pas besoin de les analyser non plus – installez simplement un scanner et « détectez » les fichiers que d’autres ont déjà détecté (et détectez-les en utilisant MD5 pour être sûr d’éviter les faux positifs). Concevez ensuite une interface, ajouter un mini programme de mise à jour, quelques fonctions Windows pour simuler une protection continue, ajoutez une icône au système, enveloppez le tout dans un programme d’installation et bingo ! Envoyez-le à AV-TEST et attendez votre certificat !

En gros, l’équilibre entre évaluer des technologies de sécurité et la « facilité d’utilisation » a été perdu. Les résultats des tests individuels sont toujours valides et continueront à être suivis de prêt pas les mordus de l’industrie de la sécurité. Mais le niveau de certification d’AV-TEST moins élevé signifiera, malheureusement, que cette certification est principalement inutile pour le consommateur moyen essayant de choisir le meilleur anti-virus.

Et voilà vous savez tout, passons maintenant à la suite.

La question est la suivante : pourquoi diable AV-TEST a-t-il fait cela ? Pourquoi rendre les choses pires pour eux-mêmes et pour les autres ?

Nous ne savons pas grand chose sur les réelles raisons (AV-TEST n’a fait presque qu’aucuns commentaires sur ces changements), mais nous pouvons essayer de devinez pourquoi par nous même. Et nous devons d’abord regarder l’économie du business des tests.

Oui, les tests forment un business doté de sa propre économie. Ce que je comprends très bien. Réaliser un bon test n’est pas qu’une question de matière grise – cela requiert un investissement dans les infrastructures, des espaces de bureaux et des salaires. Et comme dans de nombreux business, il existe une corrélation entre qualité et profit. Les compagnies baissent parfois consciencieusement la qualité afin d’augmenter le profit. À court terme, cette approche peut vraiment payer. Mais à long terme, elle mènera à la dégradation du système et à son oubli.

Est-ce le cas ici ? Le test le plus difficile – traiter un système infecté (RÉPARATION) – a été retiré du « programme obligatoire ». Maintenant tout ce que vous avez à passer ce sont des tests de produits contre une collection de malwares et de fichiers sains et… voilà !

Oui, la nouvelle procédure de test va certainement ramener de nouveaux clients à AV-TEST, qui sera fier d’offrir des médailles à tous les anti-virus. Mais le laboratoire de tests perdra son unicité ainsi que la confiance des vendeurs d’anti-virus les plus compétents techniquement sur lesquels repose toute l’industrie.

Je ne condamne certainement le désire de gagner des €€€€€ ! En mettant les bonnes priorités en avant c’est une bonne mesure pour la réussite d’une entreprise et la qualité de ses produits et services. Bien sûr, améliorer la qualité aide encore plus, et permet également de gagner plus d’argent 🙂 L’industrie des tests n’est pas différente des autres. De nombreuses compagnies de cette sphère se diversifient en intégrant de nouvelles niches de tests (AV-TEST en fait partie). La chasse à quelques centimes de plus mènera à une baisse en qualité, et fera chuter le verdict au niveau du « certificats pour tous » à un bon prix.

La question logique suivante est – pourquoi nos produits sont-ils toujours dans le système AV-TEST ?

Premièrement, nous sommes de l’avis que plus il y a de tests, plus l’évaluation est objective. Nous n’avons peur de rien. Nous avons confiance en notre technologie et en notre niveau de protection, et si nous avons des choses à dire sur un test ou un autre, nous le disons directement et publiquement.

De plus, AV-TEST possède de nombreux autres tests et certificats très utiles, y compris dans les secteurs corporatifs et mobiles. La fonction de traitement est moins importante pour les clients corporatifs qu’elle ne l’est pour les particuliers. Même les petites entreprises disposent habituellement d’un administrateur systèmes et de copies de sauvegarde, qui ensemble peuvent vaincre une infection lorsque l’anti-virus n’est pas suffisant.

Pour résumer

i. Avec ce nouveau processus de certification, nous ne RECOMMANDONS PAS aux utilisateurs de prendre la certification d’AV-TEST en compte quand ils souhaitent acheter une solution pour protéger leurs ordinateurs personnels.

ii. Néanmoins, nous pensons qu’il est OK de prendre en considération les résultats séparés des catégories PROTECTION et PERFORMANCE et bien sûr, le test de RÉPARATION annoncé par le laboratoire. De nouveau, nous ne sommes pas en désaccord avec la méthodologie de leurs tests individuels… nous avons un problème avec les scores requis pour obtenir un « certificat ».

iii. Il est dans l’intérêt d’AV-TEST d’écouter l’opinion des experts de l’industrie anti-virus dans le but de créer un système de certification qui aide les utilisateurs à prendre une décision informée au moment de choisir un produit. Cela comprend, par exemple, retourner à l’AMTSO (Anti-Malware Standards Organization) et discuter des points essentiels avec les représentants et les experts de tous les distributeurs leaders de l’industrie.