Що таке веб-спам?

Такі пошукові системи, як Google, Bing, Yandex, Yahoo і інші стали буквально вікном в інтернет, адже робота в ньому починається з пошуку необхідних сайтів. І зловмисники користуються цим, виводячи свої сайти з низькоякісним контентом в топ пошукової видачі, що змушує користувачів шукати потрібну їм інформацію довше. Компанії борються з цим, використовуючи складні інструменти, в які входить також психологія, щоб краще розуміти мотиви зловмисників.

Що таке веб-спам

Визначення веб-спам на перший погляд досить просто: це веб-сторінка, власник якої використовує чорні технології просування (SEO). Завдяки їм він намагається перехитрити алгоритми пошукача і отримати топові позиції в його пошуковому рейтингу. Завдяки цьому зловмисники отримують великий потік відвідувачів на свої ресурси. Останні клікають на рекламу або заражають свій ПК шкідливими програмами.

В реальності визначити веб-спам виявляється складніше тому, що між легальними і чорними техніками просування проходить тонка грань. Крім цього, навіть якщо власник веб-сторінки зловживає інструментами SEO, часто важко сказати, він робить це навмисно або випадково. Буває також, що навіть очевидні спам-сторінки мають цінність для користувачів, і тому їх не можна блокувати, як інші.

Необхідність відсівати спам

Очищати пошуковий рейтинг від веб-спаму потрібно для підвищення якості роботи пошукача. Адже такі веб-сторінки часто мають низьку якість контенту, проте займають топові місця в пошуковій рейтингу. Тому якісні і потрібні сторінки губляться в нижніх місцях списку, і користувачі не можуть отримати до них доступ.

Ще однією причиною фільтрувати веб-спам є те, що на таких сайтах часто міститься шкідливе, яке заражає комп'ютери відвідувачів. До того ж, зменшення кількості таких сайтів покращує екосистему інтернету, зменшуючи обсяги трафіку і привабливість такого заняття серед кіберзловмісніків.

Не треба також забувати, що пошуковий рейтинг займає апаратні ресурси, які коштують грошей і мають обмежений обсяг для зберігання інформації. Видалення з нього веб-спаму дозволяє оптимізувати систему і звільнити місце для корисних веб-сторінок.

Підходи до спаму

В Google протіспамовій захист складається з двох частин: автоматизованої системи і команди експертів, які підчищають пропущені сайти вручну. Кількість останніх секрет, проте фахівці з відділу якості пошуку (відомий також як команда анти-спам) Каспар Шиманьскі і Філі Вайз розповіли в інтерв'ю, що їх відділ знаходиться в декількох точках планети і кожну хвилину хтось з їхніх колег очищає інтернет від сміття.

Причому працюють в цьому відділі не тільки комп'ютерні фахівці. Вайз каже, що його колегами також кайт-серфери, марафонці, аквалангісти, шкіпери, сомельє, бойові пілоти і навіть капітани підводних човнів. Вони постійно надсилають свої коментарі і думки в відділ автоматизованих систем фільтрації, і таким чином Google покращує результати пошуку.

Кількість перевірених робочими Google сайтів в залежності від типу спаму

У Bing, наприклад, більше сподіваються на автоматизовані фільтри, для чого перш, ніж зайнятися відсіювання спамерів в пошуку, його творці намагаються зрозуміти їх мотивацію. Знаючи її буде простіше визначити приналежність веб-сторінки до спаму.

Як визначають спам

Боротьба пошуковиків з веб-спамом нагадує суперництво меча і щита. Зловмисники постійно маскуються і захищають свої сайти, а пошуковики розробляють методи їх визначення, а також ускладнюють кіберзлочинцям обхід пошукових алгоритмів. Саме тому пошуковики тримають точні особливості своєї роботи і функціонування протіспамовіх фільтрів в таємниці.

Всього створювати спам-сторінки зловмисників змушують гроші, адже це бізнес. Іноді з цього правила бувають винятки - деякі кіберзлочинці працюють з політичних чи ще якихось мотивів. Однак більшість з них намагається заробляти таким чином гроші. Найпопулярніший спосіб отримати кошти зі спам-сайтів - це показ реклами. Чим більше оголошень переглянуть відвідувачі такого веб-ресурсу, тим більший прибуток. Адже який відсоток з користувачів клацне на оголошення, що принесе зловмисникові гроші.

Середня тривалість перебування сайту в топі Яндекса залежить від обсягу оголошень на веб-сайті (агресивності реклами)

Знаючи, навіщо кіберзловмісніки створюють спам-сайти, буде простіше визначити корисність веб-ресурсу. Пошуковики аналізують такі параметри:

якість контенту. Оскільки спамер бажає отримувати гроші від реклами, сам зміст сторінки йому потрібен на стільки, щоб досягти цієї мети. Тому вони не створюють якісні тексти, а намагаються задовольнити вимоги пошукових систем і підвищити рейтинг сайту. У більшості випадків це означає, що відвідувачі таких спам-ресурсів не знайдуть на них потрібні їм речі. Визначення корисності веб-сторінки виробляється з сотнями параметрів, серед яких - кількість слів на сторінці, унікальність контенту і т.д .;

присутність реклами. Сьогодні майже кожна веб-сторінка в інтернеті має рекламу, однак це не робить її автоматично спамом. Показником цього є кількість оголошень на екрані, їх тип (банери, вікна, спливаючі і т.п.), а також їх нав'язливість;

верстка. Розміщення контенту і реклами на веб-сторінці також може сказати багато чого про сайт. Наприклад, оголошення можуть займати основне місце на екрані або акуратно відділятися від контенту;

соціальні сигнали. Коли контент якісний, тоді його обговорюють читачі в своїх соціальних мережах. Це підказує пошуковикам, що сайт не відноситься до спаму;

персональні фото. Пошуковики більше довіряють тим веб-сторінок, на яких можна знайти інформацію про автора контенту: його фото, профілі в соцмережах і т.п ..

Наступна мета спамерів - заробити більше грошей. Коли кіберзловмісніки вже мають кілька прибуткових веб-сторінок, вони хочуть максимізувати свій заробіток. Для цього вони часто використовують чорні методи просування сайтів і зловживання ними.

Для максимізації присутності в Мережі зловмисники різні підходи, які дозволяють швидко і дешево створити велику кількість власних веб-сторінок. Для цього вони можуть, наприклад, копіювати чужий контент повністю або вносити в нього незначні зміни, використовувати програми автоматичної генерації текстів, популяризувати сторінки з неунікальним контентом.

Щоб збільшити рейтинг сторінки в пошуковій системі, також існують десятки методів. У них входять: насичення сайту ключовими словами, маніпулювання посиланнями з допомогою відповідних ресурсів, об'єднання мереж, зловживання форумами, додавання невидимого користувачам контенту.

Пошуковики борються з ними, змінюючи алгоритми своєї роботи, можна легко помітити самостійно. Коли на один і той же запит пошуковик видає різний результат, значить, він змінив принцип своєї роботи. Яндекс, наприклад, ввів нові правила побудови рейтингу цього літа. Google оновився приблизно рік, а Bing - навесні цього року.

Спамери намагаються захиститися від цих методів, адже визначення пошукачем сайту як спамерського означає зниження прибутку. Для цього вони використовують перенаправлення, приховування контенту, маскують його під легітимний і використовують динамічні тексти.

Число сайтів з агресивною рекламою в російській частині мережі зменшилася в 2 рази за 2 роки (за даними Яндекс)

Де зустрічається веб-спам

Побачити спам-сторінку можна де, хоча в деяких сегментах інтернету (завантаження програм, музика і т.п.) вони зустрічаються частіше. Спам можна знайти на звичних сайтах, форумах, соцмережах, персональних блогах і навіть в рекламі, яку показують пошуковики.

Google, наприклад, в 2011 році відрапортував про найбільше зниження кількості інфекційних посилань в топі своєї пошукової видачі. Тоді їх число вдалося зменшити на 50%, для чого пошуковий гігант витратив мільйони доларів на доопрацювання своєї системи. У цифрах таке зменшення означало пропажу 130 млн шкідливих сайтів з пошукової видачі.

Повністю позбавитися від шкідливих сайтів пошукачі не можуть, хоча і працюють над цим. Сьогодні найбільш безпечно шукати в Google - він показує всього 272 шкідливих сайти на 10 млн веб-ресурсів. Для порівняння, Bing показує користувачам 1285 небезпечних сторінок, а Яндекс - 3330.