Roy
/
senicup
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
Een web scraper die zowel screenshots maakt van webpagina's (met JS) als de broncode opslaat. Heeft geen URLs nodig om te beginnen.
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
8 Commits
1 Branch
0 Tags
7.8 MiB
 
Tag: Branch: Tree: d906b02ec8
Branches Tags
${ item.name }
Create tag ${ searchTerm }
Create branch ${ searchTerm }
from 'd906b02ec8'
${ noResults }
senicup/README.md

797 B
Raw Blame History

Multi-UA web scraper geschreven in Perl voor educatieve doeleinden. Gebaseerd op het scannen van niet-prive IPv4 netwerken in volgorde van Class A naar Class E en het maken van rDNS requests als een web-gerelateerde port is open.

Dependencies: Selenium::Firefox, Net::DNS en Net::Curl::Easy.

[Willekeurig voorbeeld in video-formaat]

TODO:

  • Add DB support for storing HTMLs, b64 screenshots, etc..
  • Utilize the DB for randomizing the scanning of IPv4 blocks and supporting seemless continuation.
  • Add RE-based querying system for scoped IPv4/domain scrapes.
  • Reliably detect when being blocked by companies that own (too) much network space and delay requests appropriately (might not be necessary if various parts are sufficiently randomized).
  • Windows support.