На каждом веб-сайте есть два вида посетителей: люди, которые медленно бродят по ссылкам, и пауки — программы,
быстро прочесывающие сайт. Теперь же появилась новая разновидность — паук, который ведет себя как человек.
Техники для хакерских атак и контр-техники для их обнаружения довольно давно являются объектом исследования среди
заинтересованных специалистов. В течение последних лет активно обсуждаются и совершенствуются технологии в этой
области, при этом для атак чаще всего используются программы на основе библиотеки LibWhisker, а для "защиты" —
аналитические системы вроде Snort.
Однако специалисты редко обсуждают один важный аспект, который предшествует любой атаке — это скрытое "прощупывание"
сайта, разведка. Обычно это делают или вручную, что очень утомительно, или с помощью обычного краулера вроде wget, который
легко выдает себя. Он порождает ненормальный всплеск "посещаемости" на счетчиках и возросший поток трафика.
Новая программа-краулер лишена этих недостатков. Она исследует сайт с нескольких IP-адресов, выдает себя за разные браузеры,
очень медленно ходит по ссылкам, чтобы имитировать человека. Она даже скачивает флэш-анимацию, картинки, скрипты и ActiveX для
большей реалистичности.
Программа была представлена на недавней хакерской конференции Shmoo Con. Ее разработал хакер Билли Хоффман, прочитавший на
конференции доклад на тему "Скрытый краулинг: волк среди овечек".
В новой системе для скрытого изучения сайтов используются следующие техники:
- Распределенный краулинг с нескольких IP и в течение нескольких сессий, отделенных друг от друга по времени. Это
делается для того, чтобы с одного IP или в течение одной сессии не выкачивать весь сайт целиком, потому что такое
поведение выглядит ненормально.
- Краулинг сайта не по набору ссылок, а по определенным маршрутам, как это делают люди.
- Использование доступной статистики по сайту.
- Динамическая генерация фальшивых заходов с Google на страницы в глубине сайта. Генерация фальшивых заходов
осуществляется на основе контента целевых страниц.
- Интеллектуальный выбор прокси-серверов с учетом страны и типа веб-сайта.
- Случайный выбор ссылок и перекрывание маршрутов краулинга для большей реалистичности.
- Фильтрация ссылок по популярности.
- Эскалация международного трафика.
Использование всех вышеперечисленных техник позволяет практически полностью замаскировать факт автоматического скачивания
сайта. Веб-мастеру очень трудно будет заподозрить присутствие программы. Возможная последующая хакерская атака с
использованием обнаруженных уязвимостей станет для него полной неожиданностью.
Исходные коды новой программы, которую можно назвать "человек-паук", будут опубликованы в ближайшее время на
Java под свободной лицензией.
|
62173072
it_giraffa
193201923
Старость - это когда собираясь в путешествие, вы берете с собою больше лекарств, чем в прошлом году.
