Microsoft преминава от изба в звезда в нов антивирусен тест

Много независими лаборатории за тестване на антивирусни програми взеха да наричат ​​Microsoft Security Essentials своята основна линия, отделно от продуктите, подложени на тестване. Ако антивирусът не може да се справи по-добре от Microsoft, това наистина е лош продукт. Денис Батхълдър, директор на Центъра за защита от злонамерен софтуер на Microsoft (MMPC), твърди, че лабораторните тестове не отразяват действителната защита на продукта и че в реалния свят Microsoft е много по-ефективна, отколкото показват тестовете. Скорошен тест предполага, че просто може да е истина.

Телеметрия в световен мащаб

Основата на твърдението на Batchelder е, че изследователите на Microsoft знаят повече за действителното разпространение на конкретни семейства на зловреден софтуер, отколкото само за никого. Защо? Тъй като всеки патч вторник инструментът за премахване на злонамерен софтуер изтрива преобладаващия злонамерен софтуер и отчита редица нелична информация обратно към Microsoft. Върнатата телеметрия включва какви (ако има) заплахи са неутрализирани, но също така им казва версията на Windows, версията на всеки инсталиран антивирусен софтуер, независимо дали този софтуер е актуален и др.

Уебсайтът MMPC предлага на посетителите лек резюме на текущата статистика. Под капака те имат много повече данни и те използват тези данни, за да дадат приоритет на защитата срещу най-опасните и най-разпространените заплахи за злонамерен софтуер. Или така казват.

Като се има предвид разпространението

Microsoft възложи на добре известната лаборатория AV-Comparatives за преоценка на скорошен тест, като се вземе предвид разпространението на пробите. Това беше прост тест за откриване на файлове - пуснете антивирусно сканиране с всеки продукт и отбележете колко от над 100 000 проби открива.

Пробите са избрани така, че да представляват злонамерен софтуер, разпространен в природата и за да се избегне прекомерното представяне на което и да било семейство на зловреден софтуер. Въпреки това при изчисляване на степента на откриване всяка проба получава еднаква тежест. Новият доклад съдържа същите данни и прилага претегляне въз основа на отчетеното разпространение на Microsoft. Резултатите бяха значително различни от оригиналните, както можете да видите на диаграмата по-долу.

Претеглянето не промени горните и долните резултати. Лабораторията на Касперски все още е номер едно, а AhnLab все още е в избата. Но други класирания се промениха драстично. Вместо да бъде втори на последно място, Microsoft се класира по-добре от три четвърти от конкуренцията. А освен Касперски, всички, класирани над Microsoft, излязоха от по-ниски класирания.

По същия начин повечето от най-ниско класираните продукти започнаха много по-високо. Bitdefender, Lavasoft, Kingsoft, Emsisoft, Qihoo и BullGuard първоначално бяха завързани за шесто място. След претегляне за разпространение те се класират от 15-то място надолу. Baidu пое най-голямото потапяне, от второ място до 22-ро. Защо? Защото макар да не пропусна много проби, тези, които пропуснаха, бяха изключително широко разпространени.

Пълният доклад от AV-Comparatives описва подробно схемата за претегляне, а също така предлага специфичен за страната анализ, показващ ефективността на всеки продукт на глобална карта. В него се посочва: „Този ​​доклад трябва да се разглежда като прототип, целта на който е разпалване на дебата относно значението на данните за разпространението и насърчаване на идеи за подобряване на метода“, и изразява надежда, че други доставчици ще споделят телеметрични данни с Microsoft “ за да получите по-значим и безпристрастен анализ на въздействието на клиента."

Това ми звучи като добър план. Коренно различни резултати, използващи само данните за разпространението на Microsoft, предполагат, че имаме нужда от данни от по-широк набор от източници.