Привет, Хабр! Вы наверняка много раз слышали про OSINT, интернет-расследования или интернет-разведка. И часто в этой самой разведке нам требуется автоматизировать поиск информации, или хотя бы упростить алгоритм расследования объекта.
В этой статье я попытаюсь рассказать вам, что такое OSINT, а также самые популярные фреймворки.
Что же такое OSINT?
OSINT (Open Source Intelligence) - это интернет разведка, которая основана на том, что мы ищем информацию об объекте из открытых источников, таких как интернет, соцсети СМИ, реестры и т.д.
В основном, после того, как был заключен, например договор, мы можем приступать к расследованию. Но нам необходимы начальные данные - имя человека или названия организации, ИНН, ИП, сфера интересов и многое другое. Не обязательно конечно все, но чем больше начальной сводки, тем быстрее вы найдете нужную вам информацию.
OSINT делится на два типа: активная и пассивная разведка.
Пассивная разведка - вы просто ищите информацию об объекте, не работая с ним напрямую. Например, анализ выдачи поисковых движков, анализ соцсетей и т.д.
Активная разведка - вы активно взаимодействуете с объектом, посылаете пакеты, разговариваете с ним. Прямое взаимодействие с человеком или инфраструктурой компании.
Больше информации об этих OSINT инструментах, и не только, вы можете найти в моем телеграм-канале. Там я тестирую новые интересные инструменты разведки и этичного хакинга.
Какие инструменты используются в OSINT?
Для начала назначим базу, основу любого OSINT:
Инструменты поиска: Google, Bing, DuckDuckGo, Shodan, SpyFu
Инструменты парсинга: Scrapy, Beautiful Soup, Octoparse
Инструменты анализа: Maltego, NodeXL, Gephi
Социальные сети: Facebook, Twitter, LinkedIn, Instagram
Форумы и блоги: Reddit, Quora, и даже наш любимый хабр
Реестры: WHOIS, DomainTools, IPInfoDB
Как вы видите, ничего "хакерского", практически все инструменты есть бесплатно.
Сегодня я рассмотрю специальные OSINT-фреймворки для поиска информации о личности. Иногда они платные, иногда нет.
OSINT фреймворки
В этой статье я хочу рассказать об лучших фреймворках для OSINT расследований. Это не будет топом, просто список качественных платформ.
OSINT Framework
Ссылка на сайт
Ссылка на репозиторий
Да, так и называется. Очень хороший ресурс, имеет множество возможностей:
Поиск по имени
Поиск по электронной почте
Анализ форумов
Анализ социальных сетей.
Поиск по картам
Поиск по дарквебу.
Создал его некий разработчик @jnordine из твиттера (X).
OSINT framework ориентирован на сбор информации из бесплатных инструментов или ресурсов. Цель состоит в том, чтобы помочь людям найти бесплатные ресурсы OSINT. Некоторые из включенных сайтов могут потребовать регистрации или предложить дополнительные данные за $$$, но вы должны иметь возможность получить хотя бы часть доступной информации бесплатно.
Данный фреймворк был создан более под углом зрения информационной безопасности, как говорит разработчик.
OSINT-SAN
Ссылка на сайт
Ссылка на репозиторий
Этот фреймворк уже имеет две версии - обычную и PRO.
Бесплатный OSINT-SAN Framework дает возможность быстро находить информацию и деанонимизировать пользователей сети интернет, free версия содержит 25 модулей, платная 75 модулей с подключенными базами данных.
С 6 апреля этот репозиторий находится в архиве, и скорее всего развиваться не будет.
Имеет поиск по биткоин кошельку, shodan search, вычисления геолокации фотографии.
Spiderfoot
Ссылка на сайт
Ссылка на репозиторий
Сайт не открывается (как минимум у меня на момент написания статьи), последний коммит в репозитории 5 месяцев назад, но репозиторий не архивирован.
SpiderFoot - это интеллектуальный инструмент автоматизации с открытым исходным кодом (OSINT). Он интегрируется практически со всеми доступными источниками данных и использует ряд методов анализа данных, что упрощает навигацию по этим данным.
SpiderFoot имеет встроенный веб-сервер, обеспечивающий простой и интуитивно понятный веб-интерфейс, но также может быть полностью использован через командную строку. Он написан на Python 3. Лицензия - MIT License.
Среди плюсов можно выделить:
Интеграция с TOR
Может работать с другими утилитами (например nmap)
Есть веб-версия и CLI версия
Около 200 модулей поиска
Визуализация
Поддержка Docker
Shodan
Вы наверняка слышали об этой поисковой системе. Shodan - это поисковая система, которая позволяет пользователям искать различные типы серверов (веб-камеры, маршрутизаторы, серверы и т.д.), подключенных к Интернету, используя различные фильтры. Некоторые также описывают его как поисковую систему баннеров сервисов, которые представляют собой метаданные, которые сервер отправляет обратно клиенту. Это может быть информация о программном обеспечении сервера, о том, какие опции поддерживает сервис, приветственное сообщение или что-либо еще, что клиент может узнать перед взаимодействием с сервером.
Maltego
Maltego — ПО с открытым исходным кодом, используемое в разведке и криминалистике. Изначально разработано Paterva из ЮАР, но с 2019 года всё взаимодействие ведется командой Maltego Technologies со штаб-квартирой в Германии.
Maltego предлагает интеллектуальный анализ данных и сбор информации в режиме реального времени, а также представление этой информации на графике на основе узлов, что позволяет легко идентифицировать шаблоны и множественные связи между указанной информацией.
snoint
Ссылка на документацию
Ссылка на репозиторий
Полуавтоматический OSINT-фреймворк и менеджер пакетов. Он определяет поверхность атаки путем полуавтоматической обработки общедоступной информации и отображения результатов в едином формате для последующих расследований.
Maryam
Инструмент с открытым исходным кодом. Считается одним из самых многофункциональных инструментов. Часто используют на подготовительных этапах пентеста. Фреймворк состоит из модулей, которые разбиты на 3 категории.
Sherlock
Sherlock — это скрипт на Python, который помогает найти профили в соцсетях по имени пользователя.
С помощью скрипта можно:
найти пользователя и собрать все его профили в один документ;
проверить, свободно ли имя для регистрации нового аккаунта.
Скрипт проверяет сайты, которые добавлены в список Sherlock. Сейчас в нём более 300 ресурсов, среди которых VK, Twitter, Tinder, TikTok, Steam, Slack, Instagram, Facebook и другие популярные сервисы. Можно также добавить в список свои сайты.
Venator
Ссылка на официальный телеграм-канал
Многофункциональный OSINT-браузер Venator, созданный на базе Librewolf (это форк Firefox с акцентом на приватности и безопасности). Браузер, ориентирован на использование в СНГ, что выгодно отличает его от таких аналогов, как Oryon, CSI и других. Интерфейс браузера включает в себя дополнительные панели для быстрого перехода к поисковым системам, а также к специализированным OSINT-ресурсам, разбитым по темам исследований (телефон, почта, никнейм, сайт и тому подобным).
Также есть другие версии:
Venator Red - OSINT браузер для разведки в дарквебе
Venator Security - безопасный, анонимный браузер.
На данный момент есть только билды для Windows.
Ominis OSINT
Это специальный скрипт на Python, который позволяет выполнять сбор информации об объекте, запрашивая у Google результаты поиска, связанные с запросами, введёнными пользователем.
Creepy Crawler
Простой, но мощный инструмент для сканирования сайтов, извлечения полезной информации, парсинга данных. Может искать множество информации об веб-сайте, от поддоменов до ссылок и электронных писем
Bloodhound
Набор аналитических инструментов с открытым исходным кодом, предназначенный для отслеживания правонарушений и жертв торговли людьми.
Taranis AI
Передовой инструмент разведки с ИИ для сбора и анализа данных. Работает с различными источниками данных, использует обработку естественного языка.
Social Analyzer
Фреймворк, имеющий API, CLI и WEB интерфейс для анализа и поиска профиля объекта в более чем 1000 социальных сетях и веб-сайтов. Есть специальный модуль для уменьшения количества ложных обнаружений.
Seon
В современной цифровой экономике проверка личности человека с использованием различных учетных записей в социальных сетях и на онлайн-платформах становится все более распространенным явлением. SEON находится в авангарде этого движения за цифровую идентификацию.
Используя системы электронной почты и телефонных номеров, ваша компания может получить доступ к более чем 50 различным социальным сигналам, которые позволяют получить исчерпывающую оценку рисков. Эти сигналы не только подтверждают достоверность адреса электронной почты или номера телефона клиента, но и позволяют получить более подробную информацию об их цифровом присутствии.
Кроме того, SEON предоставляет компаниям возможность гибко выполнять запросы вручную, через API или даже через расширение Google Chrome, что делает его более простым в использовании и доступным.
Recon-ng
Это мощный инструмент, используемый для поиска информации, связанной с доменами веб-сайтов. Изначально это был скрипт, но теперь он превратился в полноценный фреймворк.
При использовании Recon-ng пользователи могут выявлять веб-уязвимости, включая поиск по GeoIP, поиск по DNS и сканирование портов. Это чрезвычайно полезно для поиска конфиденциальных файлов, таких как robots.txt, поиска скрытых поддоменов, поиска уязвимостей SQL инъекции и получения информации о CMS компании или WHOIS.
Несмотря на то, что он является более техническим по своей природе по сравнению с другими инструментами, доступными на рынке, существует множество полезных ресурсов, которые вы можете использовать, чтобы научиться в полной мере использовать преимущества этого первоклассного программного обеспечения.
Итоги
Существует огромнейшее количество OSINT-фреймворков - от простых скриптов-парсеров до целых мультиплатформенных профессиональных приложений.
Среди хороших фреймворков я могу выделить:
Maltego
Venator
Sherlock
Shodan
Больше кибербеза?
Я надеюсь, вам понравилась статья.
Для всех, кто интересуется этичным хакингом и нформационной безопасности я собрал целую папку интересных каналов.А здесь можно найти, самые полезные поисковики для пентестера, а здесь собраны лучшие платформы, где можно на практике отточить навыки этичного хакинга и нетестинга.
Всем удачи, пишите комментарии, и помните - с большой силой приходит большая ответственность. Как минимум уголовная.
