janvier 24, 2013
Grands parleurs, petits faiseurs
« Tous les animaux sont égaux, mais certains sont plus égaux que d’autres« , dit Napoléon, le cochon du classique futuriste de George Orwell. Le génie de cette phrase repose dans son universalité – un simple ajout à celle-ci suffit à en changer tout le sens. Hélas, on peut observer ce paradoxe aussi bien dans les sagas contant les aventures d’une ferme révolutionnaire, que dans des thèmes comme (et vous ne le croirez pas) les tests anti-virus ! Donc, « tous les tests anti-virus publiés sont égaux, mais certains sont plus égaux que d’autres. » En effet, une fois que des petits malins en marketing ont fait opérer leur magie et ont « analysé » les résultats provenant de tests comparatifs d’anti-virus menés par des tiers, le résultat final (ou « résultats de test » comme l’appellent certaines compagnies anti-virus) peut difficilement être décrit comme un résultat de valeur égale : ces résultats sont tellement manipulés qu’aucun élément pertinent ne peut en être tiré.
Prenons l’exemple d’une compagnie d’anti-virus imaginaire – une qui ne se distingue pas des ses concurrents grâce à ses prouesses technologiques ou à sa qualité de protection, mais dont l’ambition et le plan de vente béton sont suffisants pour combler ce manque. Donc, que devrait-elle faire en premier, afin de se rapprocher un peu plus de son but ultime d’hégémonie internationale ? Améliorer son moteur anti-virus, élargir sa base données de virus, et/ou mettre le turbo au niveau de sa qualité et sa rapidité de détection ? Non, non et non. Ça prend bien pluuuus de temps que ça. Et ça coute bien troooop d’argent. Enfin, c’est le cas quand vous faites partie de la Ligue 1 des anti-virus (et arriver en première division n’est pas si difficile). Mais plus vous vous approchez du sommet de la Champions League en termes de protection, plus vous avez besoin d’argent pour assurer ce centième de protection supplémentaire, et plus vous avez besoin de cerveaux.
Il est bien moins cher et bien plus rapide de prendre un autre chemin – non pas celui de la technologie, mais celui du marketing. C’est pourquoi, une maîtrise technologique et une qualité de détection des virus insuffisantes sont souvent compensées par une astucieuse stratégie informative.
Mais comment ?
Indirectement; voici comment…
Quelle est de nos jours la meilleure façon d’évaluer la qualité de protection d’un logiciel anti-virus ? A travers les avis objectifs et indépendants de tiers, bien évidemment. Les analystes, les clients et les partenaires sont une très bonne source d’informations, mais leur impartialité ne peut naturellement pas être garantie. Les tests comparatifs conduits par des laboratoires indépendants spécialisés, c’est la que tout se joue. Néanmoins, les testeurs sont de drôles de bêtes : ils se concentrent seulement sur leur tâche réduite (celle de tester) ce qui est bien en soit, si les tests sont effectués correctement et de façon précise – et ce n’est pas si simple. Mais leurs résultats peuvent souvent paraître ennuyeux et ils pourraient être un peu plus divertissants. C’est là qu’entrent en jeu les tests de marketing effectués par ceux qui commandent les tests : il s’agit d’une simple manipulation astucieuse de résultats objectifs – afin que les méchants passent pour des anges, et/ou que les meilleurs passent pour les derniers de la classe. Ce qui n’est pas sans évoquer l’ancienne parabole orientale de l’homme aveugle et de l’éléphant. Mais seulement, dans le cas présent, les responsables du marketing – qui voient très bien – « perçoivent » délibérément les résultats de façon partiale. L’homme aveugle ne pourrait pas les aider à changer leur perception erronée.
Il n’y a rien de criminel à manipuler les résultats bien sûr. Il est juste très difficile pour les utilisateurs de séparer le bon grain de l’ivraie. Et ce n’est pas bon. Par exemple, il est facile d’extraire des données provenant de différentes études peu professionnelles sur, par exemple, le système de ressources d’un produit favori et ne pas dire un mot sur un sujet bien plus important tel que la détection de malwares. Ensuite, ce super système de ressources (et seulement celui-ci) est comparé à ceux de ses compétiteurs. Puis, les ressources marketing nous assomment ad nauseam avec ce super système de ressources, et il s’agit de différentiation de produit pure et simple ! Un autre exemple : le nouveau produit d’une compagnie anti-virus est comparé à des anciennes versions de produits de ses compétiteurs. Sans blague ! Ça arrive vraiment ! Et très souvent. Choquant ? Oui !
Le fait est que, dans toute cette histoire, aucun mensonge n’est vraiment colporté – il s’agit simplement d’une sélection des données favorables. Il ne s’agit pas d’une manipulation dans le sens littéral du terme, mais il s’agit bien d’une manipulation de critères éthiques. Et puisqu’il n’y a donc pas de voies légales qui permettent d’obtenir « justice », la seule chose que nous pouvons faire c’est de vous conseiller de rester sur vos gardes et de filtrer attentivement les informations marketing qui se répandent partout autour de nous. Sinon, vous risquez de vous retrouver avec un anti-virus dont les mérites seront hautement vantés mais qui ne vaudra en fait rien, et vous ne croirez plus aux tests, ni au monde de la sécurité. Qui a besoin de ça ? Pas vous. Personne.
Nous avons déjà parlé, dans d’autres posts, des méthodes peu scrupuleuses utilisées dans les tests marketing. Aujourd’hui, examinons de plus près les astuces utilisées par les services de marketing afin de développer leur commerce douteux, et comment nous pouvons les détecter et les combattre. Donc, laissez-moi les examiner une par une…
1.L’utilisation de tests de laboratoires « opaques » pour tester la qualité de détection des malwares. C’est peut-être la façon la plus simple et la ruse la moins risquée qui puisse être utilisée. Elle est particulièrement employée par les petites compagnies anti-virus ou les mauvais vendeurs de technologies. Ils trouvent habituellement une parade : un « centre de test » moins connu, sans trace dans la profession. Ils sont peu couteux, leur méthodologie n’est pas précisée, vérifier leurs résultats est impossible, et ils encourent tous les risques de réputation (ce qui ne leur pose aucun problème).
Conclusion : Si les résultats d’un test, ne décrivent pas la méthodologie utilisée, ou que la méthodologie contient des erreurs importantes – vous ne pouvez pas faire confiance aux résultats de ce test.
2. Utiliser des anciens tests. Pourquoi se compliquer la vie pendant toutes ces années, quand il est possible d’obtenir un test au hasard une fois tous les deux ou trois ans, et utiliser ensuite cette victoire unique pendant des années, comme s’il s’agissait de la preuve réelle d’une constante supériorité par rapport aux autres ?
Conclusion : Vérifiez la date du test. S’il est très ancien, ou qu’aucun lien à sa source n’apparaît (autrement dit, des résultats publics accompagnés de leur date de publication) – ne leur faites pas confiance.
3. Comparaisons avec d’anciennes versions. Il existe ici deux possibilités. Premièrement, il existe les comparaisons d’anciens produits – dans lesquelles les compagnies d’anti-virus en question, ont connu de rares victoires. Bien sûr, entre temps, de l’eau a coulé sous les ponts, l’industrie a évolué à grands pas, avec la qualité de détection des virus qui augmente si vite qu’on la reconnaît à peine. La deuxième possibilité est la comparaison des produits des dites compagnies d’anti-virus avec d’anciennes versions des produits de ses compétiteurs. Coup sous la ceinture !
Conclusion : Vérifiez attentivement les versions des produits que vous utilisez. Si vous trouvez des irrégularités, vous vous faites certainement rouler dans la farine. Oubliez également ces tests.
4. Comparer ce qui n’est pas comparable. Quoi de mieux pour démontrer vos prouesses technologiques ? Facile ! Il suffit de comparer l’incomparable avec un ou deux aspects sélectionnés avec attention naturellement. Par exemple, des produits issus de différentes catégories (professionnelles et particuliers), ou des protections fondamentalement différentes (par exemple, une approche sans agent et une autre basée sur des agents pour protéger votre environnement virtuel).
Conclusion : Faites non seulement attention aux versions et aux dates de publication des produits comparés, mais aussi à leur rôle !
5. Bien accentuer certaines caractéristiques et en passer d’autres sous silence. Un test raté ? Tous les tests sont un échec ? Pas de problème. Les tests marketing vont tout arranger. La recette est simple : choisissez une caractéristique précise (comme un taux d’analyse rapide, ou un système utilisant peu de ressources – les caractéristiques habituelles de toute protection déficiente), extrayez seulement cette donnée des résultat du test, et placardez-la ensuite sur toutes vos publicités à travers le monde et brandissez-les fièrement comme la preuve de votre différence avec les autres. En voici un exemple flagrant.
Conclusion : s’ils vous assomment avec leur « plus rapide, plus efficace, moins cher » – il y a de grandes chances pour que cela soit une arnaque. C’est aussi simple que ça.
6. L’utilisation de méthodologies qui n’ont aucun rapport. Ici, il y a normalement plein d’espace pour recourir à des manœuvres sournoises. Les utilisateurs lambda ne rentre pas dans les détails des méthodologies de tests (car ils ont mieux à faire) cependant, hélas, le mal réside toujours dans les détails. Ce qui arrive souvent c’est que les tests ne présentent pas les conditions du monde réel : ils ne reflètent donc pas la véritable qualité des logiciels anti-virus de cemême monde réel. Un autre exemple : la mesure subjective de l’importance donnée à certains paramètres.
Conclusion : Si les pommes et les poires sont comparées, vous feriez tout aussi bien de comparer ces résultats …. aux résultats de tests sur le bruit produit par la chasse d’eau des toilettes : l’utilité de ces comparaisons sera à peu près la même.
7. Tests sélectifs : Ceux-ci nécessitent de sérieux efforts d’analyse et requièrent une grande expérience et une certaine habilité à embobiner/manipuler/escroquer les utilisateurs :). Il s’agit ici d’avoir recours à un complexe savoir-faire en méthodologie statistique, où les aspects forts d’un produit sont extraits de manière sélective à partir de différents textes : ensuite, une analyse « comparative » partiale est « conduite » en utilisant une combinaison des méthodes décrites ci-dessus. Vous pouvez trouver l’exemple d’une telle arnaque ici.
Conclusion : « Si vous souhaitez mentir, restez bref » ! S’ils en font trop, et qu’ils ne traitent pas vraiment du sujet – eh bien, c’est évident…
8. La tricherie pure et simple : Ici, il existe une tonne de possibilités. La plus courante est de voler des produits de détection qui fonctionnent parfaitement afin de les utiliser dans des tests précis (et en utilisant ensuite les scénarios décrits précédemment). Dans les forums de l’industrie des anti-virus, on parle souvent des formes de tricheries outrageuses. Par exemple, on a entendu dire qu’un développeur donnait aux testeurs une version spéciale de son produit, conçue pour fonctionner dans les circonstances précises de ces tests. La supercherie était simple : pour compenser son incapacité à détecter tous les fichiers infectés, pendant le test, le logiciel détectait quasiment tous les fichiers qu’il rencontrait. Bien sûr, un effet secondaire de cette méthode, est que le logiciel produisait un nombre anormal de faux positifs – mais devinez quoi ? Les informations extraites par les services marketing ne contenaient pas un seul mot sur ce sujet. Génial ? Non.
Conclusion : Seulement les professionnels peuvent détecter les tricheurs : malheureusement, l’utilisateur moyen ne peut pas. Que peut-on faire ? Regarder différent tests. Si le test d’un logiciel indique un résultat impressionnant, alors que d’autres tests indiquent le contraire, c’est que le testeur s’est fait avoir d’une manière ou d’un autre.
9. Et une dernière astuce – qui est aussi la plus simple : refuser de se soumettre aux tests. Ou interdire aux testeurs de nommer les produits par leurs vrais noms, et au lieu de ça, se cacher derrière des « vendeurs A », « vendeur B », etc. Donc pourquoi participer s’il s’agit en fait d’une supercherie ? Si un titre apparaît dans les listes de produits testés, peut-on lui faire confiance ? Bien sûr que non.
Conclusion: Vérifiez attentivement si le logiciel en question a été soumis à tous les tests publics dignes de confiance. S’il est seulement présent dans des tests ventant ses mérites et présentant peu de limites – méfiez-vous. Les tests marketing pourraient être à nouveaux derrière ces résultats.
Au fait, si un des lecteurs de ce blog désire examiner de plus près les résultats de tests anti-virus – et que vous trouvez un test marketing sur Kaspersky Lab comportant l’une des méthodes frauduleuses décrites précédemment, ne soyez pas timide : s’il vous plaît, envoyez vos critiques par ici, dans les commentaires. Je vous promets de rectifier cela, et de m’expliquer calmement (vraiment !) avec les responsables.
Et maintenant, pour récapituler brièvement : ce qu’un utilisateur devrait faire, croire, et comment il devrait faire face à des centaines de tableaux, de tests et de classements. (Il s’avère qu’on en a déjà parlé ici). Il existe différentes règles essentielles pour « lire » les résultats de tests afin de démasquer les tests marketing malhonnêtes :
- Vérifiez la date du test et les versions, ainsi que les caractéristiques des produits testés.
- Vérifiez l’histoire de la « présence » d’un produit dans certains tests.
- Ne vous focalisez pas sur un seul paramètre. Considérez l’ensemble des capacités du produit – et surtout, la qualité de sa protection.
- Jetez un œil à la méthodologie et vérifiez la réputation du laboratoire qui a publié ces résultats.
Le dernier point (4) ne concernera pas vraiment tous les utilisateurs, peut-être uniquement les spécialistes. Pour les non spécialistes, je vous conseille également de regardez la liste de laboratoires ci-dessous. Il s’agit d’équipes réputées, qui possèdent de nombreuses années d’expérience dans l’industrie, qui travaillent avec des méthodes testées et approuvées, et qui sont en accord avec les standards de l’AMTSO (Anti-Malware Testing Standards Organization).
Mais avant de foncer tête baissée : nous n’arrivons pas toujours premiers dans tous les tests. Je vous recommande ces laboratoires en me basant seulement sur leur professionnalisme.
Et pour finir : voici le classement des laboratoires de tests en 2011-2012. Des données intéressantes pour ceux qui souhaitent obtenir plus d’informations :
Et pour en finir vraiment, et résumer ce long texte :
Certains penseront sûrement qu’il s’agit d’une réaction à certains compétiteurs. Mais en réalité, le but est ici (pour la millième fois) d’ouvrir à nouveau un débat avec le public sur un problème sur lequel beaucoup de choses ont déjà été dites depuis longtemps, mais pour lequel il n’y a toujours pas de solution. Notamment : de nos jours, il n’existe toujours pas de méthodologies officielles et compréhensives pour conduire les tests de logiciels anti-virus, sur lesquelles tout le monde s’entende. Les méthodologies qui existent ne sont hélas pas bien comprises, non seulement par les utilisateurs, mais aussi par les développeurs !
En attendant, essayons de nous entendre, mais ne fermons pas les yeux sur ce problème, et calmons-nous en gardant en tête le fait que la « manipulation créative » des statistiques connaît certaines limites – pour chaque développeur. Comme toujours, les utilisateurs ont seulement besoin de se faire leur propre opinion en allant chercher plus loin, afin de trouver de vraies données, en séparant le bon grain de l’ivraie. Hélas, tout le monde n’a pas la patience et le temps pour entreprendre une telle tâche. Et c’est bien compréhensible. Quel dommage.
Derniers mots : Soyez vigilants !
