Roy
/
senicup
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
Een web scraper die zowel screenshots maakt van webpagina's (met JS) als de broncode opslaat. Heeft geen URLs nodig om te beginnen.
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
4 Commits
1 Branch
0 Tags
7.8 MiB
 
Tag: Branch: Tree: af93ecb85b
Branches Tags
${ item.name }
Create tag ${ searchTerm }
Create branch ${ searchTerm }
from 'af93ecb85b'
${ noResults }
Roy af93ecb85b
Kijk wat LWP::UserAgent mij kan bieden. 		2 years ago
sample Dit is de eerste (major) versie. Natuurlijk had de eerste versie geen README en sample video. 2 years ago
README.md Dit is de eerste (major) versie. Natuurlijk had de eerste versie geen README en sample video. 2 years ago
senicup.pl Kijk wat LWP::UserAgent mij kan bieden. 2 years ago

README.md

Multi-UA web scraper geschreven in Perl voor educatieve doeleinden. Gebaseerd op het scannen van niet-prive IPv4 netwerken in volgorde van Class A naar Class E en het maken van rDNS requests als een web-gerelateerde port is open.

Dependencies: Selenium::Firefox, Net::DNS en Net::Curl::Easy.

[Willekeurig voorbeeld in video-formaat]

TODO:

  • Add DB support for storing HTMLs, b64 screenshots, etc..
  • Utilize the DB for randomizing the scanning of IPv4 blocks and supporting seemless continuation.
  • Add RE-based querying system for scoped IPv4/domain scrapes.
  • Reliably detect when being blocked by companies that own (too) much network space and delay requests appropriately (might not be necessary if various parts are sufficiently randomized).
  • Windows support.