Важно Беда wap рынка. гугл банит сайты, а сам "сливает". не потеряйте свой сайт.

Добрый вечер, уважаемые форумчане.

Вот суть, что бы было не лень читать много букв и много строк:



Думаю многих волнует проблема: "Как лить трафик, но не уйти в бан на подписки?"
Мы разработали систему которая позволяет не уходить в бан на 99%, и сейчас тестируем систему которая защищает от бана любой ПС на 100% и является белой и согласована с ПС.

И так, мы тестируем ее около месяца - все отлично, НО в один прекрасный день сайт с посещаемостью чуть более 500 000 хостов получает БАН в гугле! С причиной - редирект мобильных пользователей!

Вот письмо гугла:
Цитата:
http://домен тут/: маскировка и/или скрытая переадресация
Мы обнаружили, что страницы на вашем сайте, которые видят посетители, отличаются от тех, которые предоставляются роботу Google. Например, пользователи определенных браузеров, устройств или с IP-адресами в заданном диапазоне могут перенаправляться на другие страницы. Поскольку маскировка и скрытая переадресация являются нарушением рекомендаций Google для веб-мастеров, мы вручную приняли меры в отношении http://домен тут/ для защиты от спама. К вашему сайту или его разделам также могут быть применены и другие меры.



--------------------------------------------------------------------------------



Рекомендуемые действия

Воспользуйтесь инструментом Просмотреть как Googlebot в Инструментах для веб-мастеров, чтобы проверить, как видит вашу страницу поисковая система Google.
Исправьте или удалите страницы, где используется маскировка или скрытая переадресация пользователей по признакам "браузер", "устройство" или "IP-адрес".
Просмотрите обновленный список мер, принятых вручную на этой странице. Если он пуст, то обращаться к нам не нужно.
В противном случае вы можете запросить повторную проверку, когда сайт будет приведен в соответствие с рекомендациями Google для веб-мастеров. Если мы установим, что ваш сайт больше не нарушает правила, то снимем наложенные на него ограничения.

Если ваш сайт будет соответствовать правилам, принятые вручную меры будут отменены.

Вопросы о способах устранения этой проблемы можно задать на справочном форуме для веб-мастеров.


--------------------------------------------------------------------------------

Есть вопросы? Отправьте их нам. Не забудьте добавить следующий код сообщения: [WMT-11ХХХХ]
Google Inc. 1600 Amphitheatre Parkway Mountain View, CA 94043 | Unsubscribe.
Идем дальше:
На сайте самое смешное редиректов не было, все переходы были по клику.

Да забыл сказать, все рекламные сети были убраны остальные в период тестирования.
Дальше мы пошли анализировать статистику, и вот оно! Самая проста ЛИРУ (Раздел переходы на сайты) показала нам следующее:




Думаю стоит посмотреть всем в этот раздел, увидите кучу доменов похожих это как правило домены .xyz и домены из скриншота (mobivid.net
 - как раз работает по вап клику), так же есть куча доменов на формата х1х.ru (рушки, трехсимвольники по середине цифра)

Редиректы происходят не только вап клика, но и остального трафика, как правило это товарки либо другие системы где хоть что то заработать можно - трафик то бесплатный!

Как повторить эту ситуацию для юзера?
Вот вредоносные плагины: http://addoncrop.com/

Ставим желательно на винду, хром.
Так же в хром ставим плагин по смене юзер агента - их полно.
Открываем ЧИСТЫЙ браузер, ставим юзер агент например айфон или андроид телефон, и кликаем на любой сайте - срабатывает кликандер.



То, что накопали:

• Возможная партнерка по этой теме: http://mecash.ru/
• Возможный человек причастный к этому: http://searchengines.guru/member.php?u=1068085 (в подписи рефка с номером 2)
• Вот его сообщения: http://searchengines.guru/search.php?searchid=6538613
• Хостятся на амазоне в облаке, думаю стоит писать туда абузы пусть банят (сам вредоносный код там хостится)
• Для мобильных устройств - есть тоже плагины и приложения которые такое делают, пока ищем.

Что делать?
Тем кто получил бан - пишите в гугл и делайте эти аргументы, думаю если будет массовость таких писем - будет положительный результат.
Тем кто не получил еще бан - ставьте защиту!

Как поставить защиту?
Наш партнер LEOnidUKG (wapholding.com) Сделал мануал по защите:
Цитата:
Сообщение от LEOnidUKG
Инструкция:

1. Копируем все папки и файлы в корень сайта
2. На папку csp права на запись 777
3. в файле .htaccess пишем:

<IfModule mod_headers.c>
Header set Content-Security-Policy "default-src 'self';style-src 'unsafe-inline' *;frame-src *;img-src * data:;media-src *;font-src *;script-src 'self' 'unsafe-inline' 'unsafe-eval'https://oss.maxcdn.com http://yandex.st http://*.yandex.st ;report-uri /csp.php"
</IfModule>

-------------------------------

И теперь ответ на ваш вопрос: Что это вообще такое?!

Весь код нужно вставлять в 1 строчку, но для удобства понимая я разобью его и распишу, что и как. Этими строчками мы браузеру даём понять, что ему можно, а что нельзя.

Header set Content-Security-Policy - Устанавливает сам запрос
"default-src 'self'; - Все ресурсы (по-умолчанию) мы разрешаем со своего сайта, 'self' = наш текущий домен

style-src 'unsafe-inline' *; - CSS файлы пусть грузятся любые внешние и внутренние и всё что между <style></style>

img-src * data:; - Картинки мы размещаем грузить откуда угодно, всякие счётчики, иконки и т.п.

media-src *; - Видео файлы и аудио мы размещаем грузить откуда угодно, mp4 файлы в плеерах и т.п.

font-src *; - Шрифты разрешаем все

frame-src *; - встраивать iframe могут все, ибо это очень любят тизерки

Теперь самое интересное, JavaScript!

В примере написано:
script-src 'self' 'unsafe-inline' 'unsafe-eval' https://oss.maxcdn.com http://yandex.st http://*.yandex.st

Этим мы РАЗРЕШАЕМ:
1. 'self' - сами себе разрешаем
2. 'unsafe-inline' и 'unsafe-eval' - разрешаем выполнять скрипты внутри страниц нашего сайта т.е., что будет в <script>Ява код</script>
3. далее указаны через пробел домены с которых разрешено грузить JS скрипты. Тут обязательно должен быть домен от WAP партнёрки с которого грузится JS. Далее перечисляются все хосты от тизерок и других парнёрок.


report-uri /csp.php" - Это кто будет обрабатывать отчёты об ошибках. У нас есть два файла csp.php = полные отчёты о срабатывание и csp2.php = Урезанный, которые показывает только урлы, которые заблокировали и ещё часть техническую. Все файлы складываются в папку /csp/ и там хранятся.
По началу достаточно /csp.php, чтобы проверять всё ли нужное разрешено, смотреть логи не забанено ли что-то лишнее и т.п. Потом можно переключить на csp2.php чисто для фана посмотреть сколько урлов ломиться к вам. Или потом вообще убрать эту строчку report-uri /csp2.php

Вот и всё.

Более подробное расписание, что и как и дополнительно тут: http://zabolotskikh.com/tips/content-security-policy/

Думаю это спасет тысячи сайтов, извиняюсь перед теми у кого уже вылетели, что так долго искали причины
Так, что безопасные решения работают, а проблема крылась в другом.

ЗЫ От 50 000 хостов в сутки, если сайты вылетели по этой причине можете писать мне в личку - попробую помочь решить, будем писать массово и думаю поможет - бесплатно, но за то что бы вы работали только с нами!

Отпишите или лучше скрины сюда прикрепите у кого как по статистике "Переходы на сайты" - если эти домены и сколько их! Так же всем будет интересна информация - которую вы "накопаете"

Всем удачи!

 

@Romantv, кстати возможно и да ))

 

@Romantv, а ты добавил домен отдачи скрипта в разрешеные ? ))

 

Увы так нельзя... Это из области настройки сервера, я думаю тут @Keiskar может в этом помочь