-
使用scrapy下载笔趣阁小说
下载scrapy可以直接使用pipinstallscrapy.创建项目:scrapystartprojectbqg创建爬虫:scrapygenspiderbqgspiderbqg.com...
-
scrapy基础
使用python做爬虫,scrapy是个十分优秀好用的框架,使用得当能大大的提高效率,本文简单介绍下scrapy的基础。结构:ScrapyEngine 引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。 ...
-
使用python爬取古诗文网
python在爬虫方面还是很给力的,要爬取数据,需要使用requests库,直接使用pipinstallrequests 就可以下载。步骤:1、使用requests.get发起get请求,部分网站有反爬需要设置user-agent,判断返回的状态码,如果状态码为200,就表示get成功,将响应的数据传到解析的def中:...