urlhunter это инструмент разведки, который позволяет выполнять поиск по URL-адресам, которые доступны через службы сокращения
Он работает с такими службами сокращения как bit.ly и goo.gl. Проект полностью написан на Go.
Группа с именем URLTeam грубо форсирует службы сокращения URL-адресов и ежедневно публикует совпадающие результаты. urlhunter скачивает их коллекции и позволяет анализировать их.
Установка:
Из двоичного:
Вы можете скачать готовые двоичные файлы со страницы релизов и запустить. Например:
tar xzvf urlhunter_0.1.0_Linux_amd64.tar.gz
./urlhunter --help
Из источника
- Установите Go в вашу систему
- Написать:
go get -u github.com/utkusen/urlhunter
Примечание для пользователей Windows: используется urlhunter, XZ Utilsкоторый предустановлен в системах Linux и macOS. Для систем Windows вам необходимо скачать его с https://tukaani.org/xz/
Применение:
urlhunter требует 3 параметра для запуска: -keywords, -dateи -o.
Например: urlhunter -keywords keywords.txt -date 2020-11-20 -o out.txt
Ключевые слова
Вам необходимо указать текстовый файл, содержащий ключевые слова для поиска по URL-адресам. Ключевые слова должны быть написаны построчно. У вас есть три разных способа указать ключевые слова:
Одно ключевое слово: urlhunter будет искать заданное ключевое слово как подстроку. Например:
acme.comключевое слово будет соответствовать https://acme.com/blablaиhttps://another.com/?referrer=acme.com
Несколько ключевых слов : urlhunter будет искать заданные ключевые слова с помощью ANDлогики. Это означает, что URL-адрес должен включать все указанные ключевые слова. Ключевые слова должны быть разделены ,символом. Например:
acme.com,adminбудет совпадать, https://acme.com/secret/adminpanelно не совпадатьhttps://acme.com/somethingelse
Значения регулярного выражения : urlhunter будет искать данное значение регулярного выражения. В файле ключевых слов строка, содержащая формулу регулярного выражения, должна начинаться со regex строки. Формат: regex REGEXFORMULA. Например:
regex 1\d{10}будет совпадать, https://example.com/index.php?id=12938454312но не совпадатьhttps://example.com/index.php?id=abc223
Хочешь научиться большему? Записывайся на индивидуальное обучение.
Не забудь подписаться на наш канал!
