Skip to content

sarleon/spider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

10 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

用法

-u 指定爬虫开始地址

-d 指定爬虫深度,默认3

--thread 指定线程池大小,多线程爬取页面,可选参数,默认10

--dbfile 存放结果数据到指定的数据库(sqlite)文件中

--key 页面内的关键词,获取满足该关键词的网页,可选参数,默认为所有页面

-l 日志记录文件记录详细程度,数字越大记录越详细,可选参数,默认spider.log

--testself 程序自测,可选参数

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages