Много пакети за сигурност подобряват защитата при тест в реалния свят

Изследователите от базираната в Инсбрук AV-Comparatives работят неуморно да тестват защитната сила на пакетите за сигурност по начин, максимално близък до реалния потребителски опит. Всеки ден те подлагат на близо двайсет пакета на действителни атаки на злонамерен софтуер, като използват автоматизирана система, за да запишат доколко продуктът издържа на теста. През последните шест месеца те са преминали през над 3000 тестови случая. Резултатите за полугодието са налични, а впечатляващият брой продукти се подобри след последния такъв доклад.

Значението на размера на пробата

Интуитивно е очевидно, че тест като този ще получи по-точни резултати с по-голям набор от проби, но този път около AV-Comparatives ясно обясни последиците от твърде малък набор от проби. Един прост отделен отчет представя статистиките и те са малко изненадващи.

Да предположим, че определен продукт е открил 80 процента от набор от 10 000 проби от зловреден софтуер. Сега да предположим, че избирате само десет проби на случаен принцип от същата колекция. Използвайки диаграма на всички възможни резултати, докладът показва, че постигането на една и съща честота на откриване, по-висока степен на откриване или по-ниска степен на откриване са почти еднакво вероятни. Да, съкращаването на десет проби е изключителен случай, но със сигурност има значение.

Методи за изпитване

Използвайки автоматизирани и ръчни методи за търсене, изследователският екип събира злонамерени URL адреси в реалния свят всеки ден. Те избират конкретно комбинация от директни връзки към файлове за злонамерен софтуер и сайтове за изтегляне при шофиране. Преминавайки през деня проби една по една, те излагат всички продукти на определен URL адрес едновременно и наблюдават как всеки продукт реагира. Ако някой компонент от пакета отбие злонамерения софтуер, това е успех. Ако злонамереният софтуер се изплъзне и настрои домакинството, това е провал.

Понякога пакетът ще се появи с известие, че е открито нещо , като пита потребителя дали да го блокира или разреши. За целите на тестване анализаторите на AV-Comparatives винаги избират да позволят действието. Продукт, който успешно защитава системата, въпреки това действие, получава пълен кредит; продукт, който позволява на системата да бъде компрометирана поради грешен избор от страна на потребителя, получава половин кредит.

След приключване на конкретен тестов случай, всички тестови системи се възстановяват отново до състояние на предварително зловреден софтуер, готови за следващия тестов случай.

Фалшиви позитиви

Лъжлив положителен резултат възниква, когато софтуерът за защита погрешно блокира достъпа до легитимен файл или уебсайт. Ясно е, че не искате вашият пакет за сигурност да изтрива валидни файлове или да ви държи далеч от безобидни уебсайтове. AV-Comparatives тестваха всеки продукт с около хиляда произволно избрани домейни и около сто нови и популярни програми. За целите на тестване те са изтегляли всяка програма от сайта на програмиста, а не от портал за изтегляне.

Докладът отбелязва, че статистическият анализ и базиран на репутацията анализ на сигурността често блокират или предупреждават за чисто нови програми и сайтове. Той заявява: „Въпреки че подобни техники за защита… помагат за постигане на високи резултати на продукта… това може също да доведе до откриване / блокиране на невинни / чисти файлове и URL адреси, само защото те са… твърде нови." Нортън, силен привърженик на този тип откриване, не участва в тестване на AV-Comparatives.

Много подобрение

Повече от половината продукти, включени в текущия доклад, са с по-добри резултати, отколкото в предишното издание на този доклад. Vipre, McAfee и Fortinet всички не успяха за последен път, дори не печелеха STANDARD, най-ниската оценка. Този път Fortinet и McAfee оцениха ADVANCED, а Vipre стигна до STANDARD. И на трите им беше намален рейтингът поради невярно положителни резултати; базирани само на откриване, McAfee и Fortinet биха оценили ADVANCED +, най-високата оценка.

eScan скочи от STANDARD до ADVANCED +, докато avast!, ESET и Trend Micro преминаха от ADVANCED към ADVANCED +. Няколко други, които преди това оценяваха STANDARD, управляваха ADVANCED рейтинг този път.

Bitdefender редовно печели най-добри резултати в независимите лабораторни тестове. Само въз основа на откриването на зловреден софтуер той би оценил ADVANCED +, както беше миналия път, но фалшивите положителни резултати го свалиха до ADVANCED. Същото се случи с F-Secure и BullGuard.

Динамичният тест на целия продукт на AV-Comparatives е сред най-трудоемките тестове, които съм срещал. Тогава не е изненадващо, че лабораторията разчита на подкрепа от университета в Инсбрук и от австрийското правителство. Това е много работа, но крайният резултат е тест, който много точно сближава доколко един продукт ще защити реалните потребители.