 Gildas
|
154de0687c
renamed file
|
vor 5 Jahren |
|
Gildas
|
cb142260f0
renamed file
|
vor 5 Jahren |
|
Gildas
|
2a2c625b6f
refactored module to expose a JS API
|
vor 5 Jahren |
|
Gildas
|
88518d67d8
export run
|
vor 5 Jahren |
 Nick Sweeting
|
66c7b9bcce
make single-file executable
|
vor 5 Jahren |
|
Gildas
|
da690e16f9
added --crawl-remove-url-fragment option (CLI)
|
vor 5 Jahren |
|
Gildas
|
5e92a7e87f
2nd param is optional (will ignore urls that matches the regexp)
|
vor 5 Jahren |
|
Gildas
|
2895787fef
renamed option
|
vor 5 Jahren |
|
Gildas
|
dc6936fae0
added "--crawl-external-links-max-depth" option (CLI)
|
vor 5 Jahren |
|
Gildas
|
13121cd344
moved code
|
vor 5 Jahren |
|
Gildas
|
41154e64cc
crawlMaxDepth = 0 to ignore depth
|
vor 5 Jahren |
|
Gildas
|
e2bda330cb
fix previous fix
|
vor 5 Jahren |
|
Gildas
|
c71bcf3d1c
make sure pageData is defined
|
vor 5 Jahren |
|
Gildas
|
70942f29be
fix #395
|
vor 5 Jahren |
|
Gildas
|
38930eb125
replace original URLs when rewritten and crawlReplaceURLs is true
|
vor 5 Jahren |
|
Gildas
|
aba89850ab
ignore errors
|
vor 5 Jahren |
|
Gildas
|
64320ce473
added crawl-replace-urls option
|
vor 5 Jahren |
|
Gildas
|
49d2cc6ca3
trim before splitting
|
vor 5 Jahren |
|
Gildas
|
c28e8535f9
refactored url testing
|
vor 5 Jahren |
|
Gildas
|
1833f978fb
moved condition upper
|
vor 5 Jahren |
|
Gildas
|
cba65f16ee
ensure URL is not empty
|
vor 5 Jahren |
|
Gildas
|
b4572cf17e
crawl http(s) URLs only
|
vor 5 Jahren |
|
Gildas
|
fa9797f9ef
moved require
|
vor 5 Jahren |
|
Gildas
|
80557dda96
moved main code into run()
|
vor 5 Jahren |
|
Gildas
|
582b4402c2
renamed variable
|
vor 5 Jahren |
|
Gildas
|
911982c1f0
moved command parsing into args.js
|
vor 5 Jahren |
|
Gildas
|
cb46117d28
fixed early disconnect issue (#371)
|
vor 5 Jahren |
|
Gildas
|
137a55795e
ignore incomplete rules
|
vor 5 Jahren |
|
Gildas
|
1887171d6c
added crawl-links, crawl-inner-links-only, crawl-max-depth, url-rewrite-rules options (cf. #371)
|
vor 5 Jahren |
|
Gildas
|
c5fdcdd9a2
added --browser-wait-until-fallback option (cf #384)
|
vor 5 Jahren |
