Как тестваме антивирусен и защитен софтуер

Всеки антивирусен или защитен пакет обещава да ви предпази от множество рискове и неприятности за сигурността. Но дали всъщност изпълняват своите обещания? Когато оценяваме тези продукти за преглед, ние поставяме техните твърдения за тест по много различни начини. Всеки преглед отчита резултатите от нашите тестове, както и практически опит с продукта. Тази статия ще копае по-дълбоко, обяснявайки как точно работят тези тестове.

Разбира се, не всеки тест е подходящ за всеки продукт. Много антивирусни програми включват защита срещу фишинг, но някои от тях не. Повечето пакети включват филтриране на спам, но някои пропускат тази функция, а някои антивирусни продукти я добавят като бонус. Каквито и характеристики предлага даден продукт, ние ги поставяме на изпитание.

Тестване на антивирус в реално време

Всеки антивирусен инструмент с пълно захранване включва скенер при поискване за търсене и унищожаване на съществуващи злонамерени програми и монитор в реално време за защита на нови атаки. В миналото всъщност поддържахме колекция от заразени със злонамерен софтуер виртуални машини, за да тестваме способността на всеки продукт да премахва съществуващия зловреден софтуер. Напредъкът в кодирането на злонамерен софтуер направи тестовете с жив зловреден софтуер твърде опасни, но все пак можем да упражним защита на всеки продукт в реално време.

Всяка година в началото на пролетта, когато повечето доставчици на сигурност са завършили годишния си цикъл на актуализация, ние събираме нова колекция от проби за зловреден софтуер за този тест. Започваме с емисия от най-новите URL адреси за хостинг на зловреден софтуер, изтегляме стотици проби и ги преместваме до управляем брой.

Ние анализираме всяка проба, използвайки различни ръчно кодирани инструменти. Някои от пробите откриват, когато работят във виртуална машина и се въздържат от злонамерена дейност; ние просто не ги използваме. Търсим различни видове и за мостри, които правят промени във файловата система и Регистъра. С известно усилие събираме колекцията до управляем брой и записваме точно какви промени в системата правят всяка проба.

За да тестваме способностите за блокиране на зловреден софтуер на продукта, изтегляме папка от образци от облачно хранилище. Защитата в реално време при някои продукти започва незабавно, изтривайки известния зловреден софтуер. Ако е необходимо, за да задействаме защита в реално време, щракваме с едно кликване върху всяка проба или копираме колекцията в нова папка. Вземаме под внимание колко проби антивирусът елиминира при поглед.

След това стартираме всяка останала проба и отбелязваме дали антивирусът я е открил. Записваме общия открит процент, независимо кога се е случило откриването.

Откриването на атака на злонамерен софтуер не е достатъчно; антивирусът всъщност трябва да предотврати атаката. Малка вътрешна програма проверява системата, за да определи дали злонамереният софтуер е успял да направи промени в регистъра или да инсталира някой от неговите файлове. В случай на изпълними файлове също проверява дали някой от тези процеси действително се изпълнява. И веднага щом измерването приключи, изключваме виртуалната машина.

Ако продуктът възпрепятства инсталирането на всички изпълними следи от проба за злонамерен софтуер, той печели 8, 9 или 10 точки, в зависимост от това доколко е предотвратил струпването на системата с неизпълними следи. Откриването на злонамерен софтуер, но ако не се предотврати инсталирането на изпълними компоненти, получава полукредит, 5 точки. И накрая, ако въпреки опита на антивируса за защита, един или повече зловредни програми действително се изпълняват, това струва само 3 точки. Средната стойност на всички тези резултати се превръща в крайния резултат за блокиране на зловреден софтуер на продукта.

Тестване на блокиране на злонамерен URL адрес

Най-доброто време за унищожаване на злонамерен софтуер е преди той да достигне до вашия компютър. Много антивирусни продукти се интегрират с вашите браузъри и ги отклоняват от известни URL адреси за хостинг на зловреден софтуер. Ако защитата не стартира на това ниво, винаги има възможност да заличите полезния товар от злонамерен софтуер по време или веднага след изтеглянето.

Докато oue basic тест за блокиране на злонамерен софтуер използва един и същ набор от проби за сезон, URL адресите за хостинг на зловреден софтуер, които използваме за тестване на уеб базирана защита, са различни всеки път. Ние получаваме емисия от най-новите злонамерени URL адреси от базираната в Лондон MRG-Effitas и обикновено използваме URL адреси, които са не повече от един ден.

Използвайки малка предназначена за целта помощна програма, ние слизаме в списъка, пускайки всеки URL адрес на свой ред. Изхвърляме всички, които всъщност не насочват към изтегляне на злонамерен софтуер, и всички, които връщат съобщения за грешки. За останалото отбелязваме дали антивирусът предотвратява достъпа до URL адреса, заличава ли изтеглянето или не прави нищо. След като запише резултата, помощната програма преминава към следващия URL адрес в списъка, който не е в същия домейн. Ние пропускаме всички файлове, по-големи от 5MB, и също пропускаме файлове, които вече са се появили в същия тест. Продължаваме, докато не натрупаме данни за поне 100 проверени URL адреси за хостинг на зловреден софтуер.

Резултатът в този тест е просто процентът на URL адресите, за които антивирусът е възпрепятствал изтеглянето на злонамерен софтуер, независимо дали чрез напълно премахване на достъпа до URL адреса или чрез изтриване на изтегления файл. Резултатите варират в широки граници, но най-добрите инструменти за сигурност управляват 90 или повече процента.

Тестване на фишинг откриване

Защо да прибягвате до сложни троянци за кражба на данни, когато можете просто да подмамите хората да се отказват от паролите си? Това е мисленето на злоупотребите, които създават и управляват фишинг уебсайтове. Тези измамни сайтове имитират банки и други чувствителни сайтове. Ако въведете идентификационните си данни за вход, току-що раздадохте ключовете на кралството. И фишингът е независим от платформата; тя работи на всяка операционна система, която поддържа сърфирането в мрежата.

Тези фалшиви уебсайтове обикновено влизат в черен списък не много след създаването им, така че за тестване използваме само най-новите фишинг URL адреси. Ние ги събираме от уебсайтове, ориентирани към фишинг, като предпочитаме тези, които са докладвани като измами, но все още не са проверени. Това принуждава програмите за сигурност да използват анализ в реално време, а не да разчитат на обикновени черни списъци.

За този тест използваме четири виртуални машини, по една от изпитвания продукт и по една, използваща фишинг защита, вградена в Chrome, Firefox и Microsoft Edge. Малка помощна програма стартира всеки URL адрес в четирите браузъра. Ако някой от тях върне съобщение за грешка, изхвърляме този URL адрес. Ако получената страница не се опитва активно да имитира друг сайт или не се опитва да улови данни за потребителско име и парола, ние го изхвърляме. В останалата част записваме дали всеки продукт е открил измамата или не.

В много случаи продуктът, който се тества, не може да направи дори и вградената защита в един или повече браузъри.

Тестване на филтриране на спам

Тези дни имейл акаунти за повечето потребители свалят спама от тях от доставчика на имейл или от помощна програма, работеща на имейл сървъра. Всъщност необходимостта от филтриране на спам непрекъснато намалява. Австрийската тестова лаборатория AV-Comparatives провери антиспам функционалност преди няколко години, като установи, че дори самият Microsoft Outlook блокира почти 90 процента спам, а повечето пакети се справиха по-добре, някои от тях много по-добре. Лабораторията дори не обещава да продължи да тества спам филтри, насочени към потребителите, като отбелязва, че „няколко производители мислят да премахнат функцията за антиспам от продуктите си за защита на потребителите“.

В миналото провеждахме собствени антиспам тестове, използвайки акаунт в реалния свят, който получава както спам, така и валидна поща. Процесът на изтегляне на хиляди съобщения и ръчен анализ на съдържанието на папката „Входяща и спам“ отне повече време и усилия, отколкото на всеки друг практически тестове. Прекарването на максимални усилия върху функция с минимално значение вече няма смисъл.

Все още има важни точки, които трябва да съобщите за филтъра за спам на пакета. Какви имейл клиенти поддържа? Можете ли да го използвате с неподдържан клиент? Дали е ограничен до POP3 имейл акаунти или също така обработва IMAP, Exchange или дори уеб базиран имейл? В бъдеще внимателно ще разгледаме възможностите за антиспам на всеки пакет, но вече няма да изтегляме и анализираме хиляди имейли.

Тестване на ефективността на Suite Suite

Когато вашият пакет за сигурност внимателно наблюдава за атаки на злонамерен софтуер, защитава от посегателства върху мрежата, не позволява на браузъра ви да посещава опасни уебсайтове и т.н., ясно използва част от процесора и други ресурси на вашата система, за да върши своята работа. Преди няколко години пакетите за сигурност придобиха репутацията, че изсмукват толкова много от ресурсите на вашата система, че използването на вашия компютър е повлияно. Нещата са много по-добри в наши дни, но все пак провеждаме няколко прости теста, за да добием представа за ефекта на всеки пакет върху работата на системата.

Софтуерът за сигурност трябва да се зареди възможно най-рано в процеса на зареждане, за да не намери злонамерен софтуер, който вече е в контрол. Но потребителите не искат да чакат по-дълго от необходимото, за да започнат да използват Windows след рестартиране. Нашият тестов скрипт работи веднага след стартиране и започва да моли Windows да докладва нивото на използване на процесора веднъж на секунда. След 10 секунди подред с използване на процесора не повече от 5 процента, той декларира системата за готова за употреба. Като изваждаме старта на процеса на зареждане (както съобщава Windows), знаем колко време отне процеса на зареждане. Изпълняваме много повторения на този тест и сравняваме средната стойност с тази на много повторения, когато няма пакет.

В действителност, вероятно рестартирате не повече от веднъж на ден. Пакет за сигурност, който забавя ежедневните файлови операции, може да окаже по-значително влияние върху вашите дейности. За да проверим за този вид забавяне, ние време скрипт, който се движи и копира голяма колекция от големи до огромни файлове между дискове. Като усредним няколко изпълнения без пакет и няколко изпълнения с активен пакет за сигурност, можем да определим колко пакетът забавя тези файлови дейности. Подобен скрипт измерва ефекта на пакета върху скрипт, който ципира и разархивира същата колекция от файлове.

Средното забавяне в тези три теста от апартаментите с най-лекото докосване може да бъде по-малко от 1 процент. В другия край на спектъра, много малко апартаменти са средно 25 процента, или дори повече. Всъщност може да забележите въздействието на по-тежките апартаменти.

Тестване на защитна стена

Не е толкова лесно да се оцени успехът на защитната стена, защото различните доставчици имат различни идеи за това какво трябва да прави защитната стена. Въпреки това има редица тестове, които можем да приложим към повечето от тях.

Обикновено защитната стена има две задачи, защитавайки компютъра от външна атака и гарантира, че програмите не злоупотребяват с мрежовата връзка. За да тестваме защитата срещу атака, използваме физически компютър, който се свързва през DMZ порта на рутера. Това дава ефект на компютър, свързан директно към Интернет. Това е важно за тестване, защото компютър, който е свързан чрез рутер, е ефективно невидим за интернет като цяло. Удряме тест системата с сканиране на пристанища и други уеб-базирани тестове. В повечето случаи установяваме, че защитната стена напълно скрива тестовата система от тези атаки, поставяйки всички портове в режим „скрит“.

Вградената защитна стена на Windows се справя с кражба на всички портове, така че този тест е само основна линия. Но дори и тук има различни мнения. Дизайнерите на Kaspersky не виждат никаква стойност в пристанищата за крадене, стига портовете да са затворени и защитната стена активно предотвратява атаката.

Програмният контрол в най-ранните лични защитни стени беше изключително практичен. Всеки път, когато неизвестна програма се опита да влезе в мрежата, защитната стена изскочи заявка, питаща потребителя дали да разреши или не. Този подход не е много ефективен, тъй като потребителят по принцип няма представа кое действие е правилно. Повечето просто ще позволят всичко. Други ще натискат Блокиране всеки път, докато не прекъснат някоя важна програма; след това те позволяват всичко. Извършваме практическа проверка на тази функционалност, използвайки миниатюрна помощна програма за браузър, кодирана за час, която винаги ще бъде квалифицирана като неизвестна програма.

Някои злонамерени програми се опитват да заобиколят този вид прост контрол на програмата чрез манипулиране или маскиране като надеждни програми. Когато се сблъскаме със защитна стена на стара школа, тестваме нейните умения с помощта на помощни програми, наречени тестове за теч. Тези програми използват същите техники, за да избегнат контрола на програмата, но без злонамерен полезен товар. Намираме все по-малко тестове за течове, които все още работят в съвременни версии на Windows.

В другия край на спектъра, най-добрите защитни стени автоматично конфигурират мрежови разрешения за известни добри програми, премахват известни лоши програми и засилват наблюдението върху неизвестни. Ако неизвестна програма опита съмнителна връзка, защитната стена започва в този момент, за да я спре.

Софтуерът не е и не може да бъде перфектен, така че лошите работят усилено, за да намерят дупки за сигурност в популярните операционни системи, браузъри и приложения. Те измислят експлоатации, за да компрометират сигурността на системата, като използват всички уязвими места. Естествено производителят на експлоатирания продукт издава лепенка за сигурност възможно най-скоро, но докато всъщност не приложите този пластир, сте уязвими.

Най-интелигентните защитни стени прихващат тези експлоатационни атаки на мрежово ниво, така че те никога не достигат дори до вашия компютър. Дори за тези, които не сканират на мрежово ниво, в много случаи антивирусният компонент заличава полезния товар на злонамерения софтуер на експлоатацията. Използваме инструмента за проникване на CORE Impact, за да ударим всяка тестова система с около 30 скорошни експлоатации и да запишем колко добре защитният продукт ги отхвърли.

Накрая провеждаме проверка за надеждност, за да видим дали кодиращият зловреден софтуер може лесно да деактивира защитата. Търсим ключ за включване / изключване в системния регистър и тестваме дали той може да се използва за изключване на защита (въпреки че минаха години откакто открихме продукт, уязвим за тази атака). Опитваме се да прекратим процесите на защита, използвайки Task Manager. И проверяваме дали е възможно да спрете или деактивирате основните услуги на Windows.

Тестване на родителския контрол

Родителският контрол и мониторинг обхваща голямо разнообразие от програми и функции. Типичната помощна програма за родителски контрол държи децата далеч от ненужните сайтове, следи използването им в Интернет и позволява на родителите да определят кога и за колко време децата могат да използват интернет всеки ден. Други функции варират от ограничаване на контактите в чата до патрулиране на публикации във Facebook за рискови теми.

Винаги извършваме проверка на разумността, за да се уверим, че филтърът за съдържание действително работи. Както се оказва, намирането на порно сайтове за тестване е леко. Почти всеки URL адрес, съставен от прилагателно за размер и името на нормално покрита част на тялото, вече е порно сайт. Много малко продукти не успяват този тест.

Използваме малка вътрешна помощна програма за браузър, за да проверим дали филтрирането на съдържанието е независимо от браузъра. Ние издаваме трислойна мрежова команда (не, не я публикуваме тук), която деактивира някои простодушни филтри за съдържание. И ние проверяваме дали можем да избегнем филтъра, като използваме сигурен уебсайт за анонимни прокси.

Налагането на времеви ограничения за използването на компютъра или интернет от децата е ефективно само ако децата не могат да пречат на времето. Ние проверяваме дали функцията за планиране на времето работи, след което се опитайте да я избягвате, като нулирате системната дата и час. Най-добрите продукти не разчитат на системния часовник за своята дата и час.

След това е просто въпрос на тестване на функциите, които програмата твърди, че има. Ако тя обещава възможността да блокира използването на конкретни програми, ние ангажираме тази функция и се опитваме да я прекъснем чрез преместване, копиране или преименуване на програмата. Ако казва, че изтрива лоши думи от имейл или незабавни съобщения, ние добавяме произволна дума в списъка с блокове и проверяваме, че не е изпратена. Ако твърди, че може да ограничи контактите за незабавни съобщения, ние установяваме разговор между два от нашите акаунти и след това забраняваме един от тях. Каквато и мощност за контрол или мониторинг да обещава програмата, правим всичко възможно да я поставим на изпитание.

Интерпретация на тестове за антивирусни лаборатории

Нямаме ресурси да изпълняваме изчерпателните антивирусни тестове, извършвани от независими лаборатории по света, затова обръщаме голямо внимание на техните открития. Следваме две лаборатории, които издават сертификати, и четири лаборатории, които редовно пускат резултати от тестове, използвайки техните резултати, за да помогнат да информираме нашите отзиви.

ICSA Labs и West Coast Labs предлагат голямо разнообразие от тестове за сертифициране за сигурност. Специално следваме техните сертификати за откриване на злонамерен софтуер и за премахване на злонамерен софтуер. Продавачите на сигурност плащат, за да тестват своите продукти и процесът включва помощ от лабораториите, за да се отстранят всички проблеми, предотвратяващи сертифицирането. Това, което разглеждаме тук, е фактът, че лабораторията намери продукта достатъчно важен за тестване и продавачът беше готов да плати за тестване.

Базиран в Магдебург, Германия, AV-Test Institute непрекъснато поставя антивирусни програми чрез различни тестове. Този, върху който се фокусираме, е тест от три части, който дава до 6 точки във всяка от трите категории: Защита, производителност и използваемост. За да получи сертификат, един продукт трябва да спечели общо 10 точки без нули. Най-добрите продукти отнемат у дома перфектните 18 точки в този тест.

За да тестват защитата, изследователите излагат всеки продукт на референтния набор на AV-Test от над 100 000 проби и на няколко хиляди изключително широко разпространени проби. Продуктите получават кредити за предотвратяване на заразяването на всеки етап, било то блокиране на достъпа до URL адреса за хостинг на зловреден софтуер, откриване на злонамерен софтуер чрез подписи или предотвратяване на стартирането на зловредния софтуер. Най-добрите продукти често достигат 100 процента успех в този тест.

Ефективността е важна - ако антивирусът забележимо влоши производителността на системата, някои потребители ще я изключат. Изследователите на AV-Test измерват разликата във времето, необходимо за извършване на 13 общи системни действия със и без наличния защитен продукт. Сред тези действия са изтеглянето на файлове от Интернет, копирането на файлове както локално, така и в мрежата, както и стартирането на общи програми. Като усреднят многобройните тиражи, те могат да идентифицират точно колко влияние оказва всеки продукт.

Тестът за използваемост не е непременно това, което бихте си помислили. Това няма нищо общо с лекотата на използване или дизайна на потребителския интерфейс. По-скоро измерва проблемите с използваемостта, които възникват, когато антивирусна програма погрешно маркира законна програма или уебсайт като злонамерена или подозрителна. Изследователите активно инсталират и стартират постоянно променяща се колекция от популярни програми, отбелязвайки странно поведение на антивируса. Отделна проверка само за сканиране, за да се гарантира, че антивирусът не идентифицира нито един от над 600 000 законни файла като зловреден софтуер.

Ние събираме резултати от четири (преди това пет) от многото тестове, редовно издадени от AV-Comparatives, който е базиран в Австрия и работи в тясно сътрудничество с университета в Инсбрук. Средствата за сигурност, които преминат тест, получават стандартно сертифициране; тези, които се провалят, са обозначени като просто тествани. Ако една програма надхвърли необходимия минимум, тя може да спечели Advanced или Advanced + сертификат.

Тестът за откриване на файлове на AV-Comparatives е прост, статичен тест, който проверява всеки антивирус срещу около 100 000 проби от зловреден софтуер, с тест за фалшиво положителни резултати, за да се гарантира точността. И тестът за производителност, подобно на AV-Test, измерва всяко въздействие върху производителността на системата. Преди това ние включихме евристичния / поведенчески тест; този тест е отпаднал.

Смятаме, че динамичният тест на целия продукт на AV-Comparatives е най-значимият. Този тест има за цел да симулира възможно най-плътно преживяване на действителния потребител, което позволява на всички компоненти на защитния продукт да предприемат действия срещу зловредния софтуер. И накрая, тестът за възстановяване започва с колекция от злонамерен софтуер, за който всички тествани продукти са известни, че откриват и предизвикват продуктите за защита за възстановяване на заразена система, премахвайки напълно зловредния софтуер.

Когато AV-Test и AV-Comparatives обикновено включват 20 до 24 продукта в тестването, SE Labs обикновено отчита не повече от 10. Това до голяма степен се дължи на естеството на теста на тази лаборатория. Изследователите улавят уеб сайтове за хостинг на зловреден софтуер в реалния свят и използват техника на преиграване, така че всеки продукт да срещне точно едно и също устройство за изтегляне или друга атака, базирана на уеб. Това е изключително реалистично, но тежко.

Програма, която напълно блокира една от тези атаки, печели три точки. Ако предприеме действия след началото на атаката, но успее да премахне всички изпълними следи, това струва две точки. И ако просто прекрати атаката, без пълно почистване, тя все пак получава една точка. В злощастния случай, че злонамереният софтуер работи безплатно в тестовата система, тестваният продукт губи пет точки. Поради това някои продукти всъщност са достигнали нула.

В отделен тест изследователите оценяват доколко всеки продукт се въздържа от грешно идентифициране на валиден софтуер като злонамерен, претегляйки резултатите въз основа на разпространението на всяка валидна програма и колко голямо влияние би оказала фалшивата положителна идентификация. Те комбинират резултатите от тези два теста и сертифицират продукти на едно от петте нива: AAA, AA, A, B и C.

• Най-добрите пакети за сигурност за 2019 г. Най-добрите пакети за сигурност за 2019 г.
• Най-добрата антивирусна защита за 2019 г. Най-добрата антивирусна защита за 2019 г.
• Най-добрата безплатна антивирусна защита за 2019 г. Най-добрата безплатна антивирусна защита за 2019 г.

От известно време използваме емисия от проби, доставени от MRG-Effitas в нашия тест за блокиране на злонамерен URL адрес. Тази лаборатория също публикува тримесечни резултати за два конкретни теста, които следваме. Тестът за 360 оценяване и сертифициране симулира реална защита срещу текущ зловреден софтуер, подобно на динамичния тест в реалния свят, използван от AV-Comparatives. Продукт, който напълно предотвратява всякаква зараза от пробата, получава сертификат ниво 1. Сертифициране на ниво 2 означава, че поне някои от пробите за злонамерен софтуер са засадили файлове и други следи в тестовата система, но тези следи са били елиминирани до следващото рестартиране. Онлайн банковото сертифициране много специално тества за защита срещу финансов злонамерен софтуер и ботнети.

Изготвянето на обща обобщена информация за лабораторните резултати не е лесно, тъй като не всички лаборатории тестват една и съща колекция от програми. Създадохме система, която нормализира оценките на всяка лаборатория до стойност от 0 до 10. Нашата обобщена диаграма на резултатите от лабораторията отчита средната стойност от тези резултати, броя на лабораторните тестове и броя на получените сертификати. Ако само една лаборатория включва продукт в тестване, считаме, че това е недостатъчна информация за обобщен резултат.

Може би сте забелязали, че този списък от методи за тестване не обхваща виртуални частни мрежи или VPN. Тестване на VPN е много различно от тестването на всяка друга част от пакет за сигурност, така че ние предоставихме отделно обяснение за това как тестваме VPN услуги.