Een web scraper die zowel screenshots maakt van webpagina's (met JS) als de broncode opslaat. Heeft geen URLs nodig om te beginnen.
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
senicup/README.md

856 B

Omschrijving

Gebaseerd op het scannen van niet-prive IPv4 netwerken in volgorde van Class A naar Class E en het maken van rDNS requests als een web-gerelateerde port open is.

Dependencies

  • Selenium::Firefox
  • Net::DNS
  • Net::Curl::Easy

SeniCuP in actie

In deze repository is een voorbeeld in video-formaat beschikbaar voor het bekijken in browsers.

TODO

  • Add DB support for storing HTMLs, b64 screenshots, etc..
  • Utilize the DB for randomizing the scanning of IPv4 blocks and supporting seemless continuation.
  • Add RE-based querying system for scoped IPv4/domain scrapes.
  • Reliably detect when being blocked by companies that own (too) much network space and delay requests appropriately (might not be necessary if various parts are sufficiently randomized).
  • Windows support.