Multi-UA web scraper geschreven in Perl voor educatieve doeleinden. Gebaseerd op het scannen van niet-prive IPv4 netwerken in volgorde van Class A naar Class E en het maken van rDNS requests als een web-gerelateerde port is open.
Dependencies: Selenium::Firefox, Net::DNS en Net::Curl::Easy.
- Add DB support for storing HTMLs, b64 screenshots, etc..
- Utilize the DB for randomizing the scanning of IPv4 blocks and supporting seemless continuation.
- Add RE-based querying system for scoped IPv4/domain scrapes.
- Reliably detect when being blocked by companies that own (too) much network space and delay requests appropriately (might not be necessary if various parts are sufficiently randomized).
