Microsoft превъзхожда symantec в антивирусен тест

В последния тест при поискване от AV-Comparatives доста продукти изгубиха точки поради фалшиви позитиви - погрешно идентифицира валидна програма като зловреден софтуер. Symantec и Microsoft отбелязаха приблизително същото въз основа на откриване на проби от зловреден софтуер, но Symantec загуби точки поради неверни положителни резултати. Но има още нещо от историята.

Сканиране по поръчка

Тестът за сканиране при поискване излага всеки тестван продукт на колекция от „проби от последните седмици / месеци, които са / поразиха потребители на полето“. Пробите се анализират допълнително, за да се класифицират подобни файлове и да се намали размерът на извадката, така че "всяка пропуска е предназначена да представлява една пропусната група." Този конкретен тест използва 136 610 скорошни проби. Първоначалният резултат на продукта е процентът на откритите проби.

Изненадващо, Norton AntiVirus на Symantec демонстрира най-ниската степен на откриване (преди да разгледа фалшивите положителни резултати), с 91, 2% откриване. Microsoft Security Essentials завърши по-високо, откривайки 92 процента от пробите. С откриване на 99, 9 процента, G Data AntiVirus оглави списъка. Няколко други се справиха по-добре от 99 процента.

Фалшиви позитиви

Изследователите на AV-Comparatives използват клъстерна техника, за да идентифицират точките на прекъсване, разделящи ADVANCED + (най-високата оценка) от ADVANCED и ADVANCED от STANDARD. Това е началната точка, но продукт с много (16 до 50) фалшиви положителни резултати ще загуби едно ниво на рейтинг, а един с много много (51 до 100) ще загуби две. Без значение каква е първоначалната му оценка, ако продуктът показва „луди много“ (над 100) фалшиви положителни резултати, той винаги ще получи оценката за непропускане на TESTED.

Девет от двадесетте тествани продукта загубиха едно ниво на рейтинг поради много неверни положителни резултати. Поне никой от тях нямаше много или „луд много“ FP. Нортън, започвайки с рейтинг STANDARD, потъна до TESTED, както и AhnLab. В кръга на победителите, с рейтинг ADVANCED +, намираме Avira, Bitdefender, BullGuard, F-Secure и Kaspersky. Щракнете тук, за да видите пълния отчет.

Обърнете внимание, че няма да намерите Microsoft, посочен в секцията за награди. В началото мислех, че това е надзор, но съоснователят на AV-Comparatives Питър Стелзамър ме изправи. „Решихме да не изброяваме Microsoft в секцията за награди повече (и при всякакви други тестове), обясни Stelzhammer, „ тъй като защитата им извън кутията е активирана в Windows по подразбиране “. По подобен начин AV-Test е избрал да третира резултата на Microsoft като минимална базова линия.

Претеглени фалшиви положителни резултати

Symantec от години спори, че простото броене на лъжливите положителни резултати не е полезно. Изследователите на Symantec препоръчват всеки фалшив положителен тест да включва претегляне въз основа на разпространението на съответния файл. Те твърдят, че тяхната система за анализ на Norton Insight изключва възможността за фалшив положителен резултат върху всички файлове, с изключение на тези с ниско разпространение. Вторичен документ от AV-Comparatives предполага, че може да са прави.

Приложението False Positive към отчета за поискване изброява всеки отделен файл, който всеки продукт погрешно е открит като злонамерен софтуер, заедно с използваното име на злонамерен софтуер и оценка на разпространението. Те идентифицираха пет нива, от „вероятно по-малко от сто потребители“ до „вероятно няколко стотици хиляди (или милиони)“.

Само за да видя, аз избирам представителен брой потребители на всяко ниво, 50 потребители за първо ниво и десет пъти по-големи за всяко по-високо ниво, с 500 000 потребители на най-разпространените програми. След това изчислих броя на потребителите, които могат да бъдат засегнати от фалшивите позитиви на всеки продукт. Резултатите, показани на диаграмата по-долу, ми подсказват, че AV-сравнителите трябва да обмислят използването на подобно претеглено изчисление на FP.

В тази диаграма продуктите, които са загубили ниво на рейтинг поради неверни позитиви, са показани с удебелен курсив. Моето претеглено изчисление има Norton FP, което потенциално засяга 13 750 потребители. Няколко продукта, които не омекнаха въз основа на броя на FP, всъщност имаха по-голям ефект от Symantec, включително победителите Kaspersky и F-Secure.

Emsisoft имаше най-голям брой фалшиви позитиви като 38 от тях. Ужасно, нали? Но нито едно не е от двете най-високи нива на разпространение, така че теоретичният му ефект е по-малък от този на Sophos, с общо 6 FPs, или ESET, с 9 FP.

McAfee спечели рейтинг ADVANCED в основния тест при поискване. С 15 лъжливи положителни резултати това е само малко от числото, което би довело до загуба на ниво на рейтинг. И все пак моето претеглено изчисление е потенциално отговорно за засягането на над двеста хиляди потребители, почти 16 пъти повече от Нортън.

Това не са реални числа, а мислен експеримент, който да ви помогне да разберете какво би означавало използването на разпространението при измерване на фалшиви положителни резултати. След като премина през това упражнение, оставам да се надявам, че AV-сравнителите ще намерят начин да фактор на разпространение в техните лъжливи положителни тестове. Само ясното преброяване на числата не е достатъчно.