爬虫主流框架分享——Scrapy【第二期】

咱么继续接着上一期的支持讲解Scrapy框架,这一期讲解Scrapy进行多线程抓取

Scrapy框架写爬虫项目(单线程)的一般具体流程

第一步:在指定文件夹下创建爬虫项目文件夹 指令: scrapy startproject 爬虫项目文件名(第一个字母大写)

阅读全文

爬虫主流框架分享——Scrapy【第一期】

这一期文章记录自己从接触 Scrapy 框架到了解框架基本五大组件再到最后利用 Scrapy + scrapy_redis 部署分布式的过程,同样也是一起 Scrapy 的教程,加深自己对 Scrapy 框架的理解!开始!

阅读全文