爬虫主流框架分享--Pyspider

本文主讲内容：pyspider框架的简单使用

注意：pyspider 框架主要在windows平台上使用！

怎么 windows 安装 pyspider 框架

安装指令：

pip3 install pyspider

注意：

1：如果以上指令安装出现错误请手动下载后缀为 whl 的 pyspider 文件手动安装即可，手动安装过成功出现错误上网查一查即可

2：安装好 pyspider 框架后，一定要先关闭所有浏览器之后再从终端输入指令 ：pyspider all 运行这个框架

3：安装好 pyspider 框架后终端输入 pyspider all 指令出现 SyntaxError: invalid syntax 错误请看下面这篇文章进行解决

文章链接：https://blog.csdn.net/chenjiale_123/article/details/107730039

4：通过指令 pyspider all 运行 pyspider 框架时如果出现 ImportError: cannot import name ‘ContextVar’ from ‘werkzeug.local’ 这样的错误请看下面的文章

文章链接：https://blog.csdn.net/qq_46485161/article/details/118860024?ops_request_misc=&request_id=&biz_id=102&utm_term=pyspider%20all%E5%91%BD%E4%BB%A4%E6%8A%A5%E9%94%99%E5%A6%82%E4%B8%8B%EF%BC%9AImportError&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-3-118860024.first_rank_v2_pc_rank_v29&spm=1018.2226.3001.4187

pyspider 框架底层使用什么原理进行匹配解析数据

答：pyspider 框架底层是利用 pyquery 库的语法进行数据匹配的

利用 pyspider 框架爬取数据的步骤

第一步：终端输入下面指令开启 pyspider 框架，如果出现 webui running on 0.0.0.0:5000 代表框架运行成功

指令：

pyspider all

第二步：浏览器输入 localhost:5000 即可查看 pyspider 框架的 WebUl

第三步：点击右下角的 Create 即可创建爬虫项目

创建爬虫项目

第四步：创建完爬虫项目后进入下面界面开始写爬虫程序

第五步：运行写好的爬虫程序

pyspider 界面代码处的代码都有什么作用！

pyqpider 怎么将爬取的数据存储到 Mysql 数据库内

pyspider 框架怎么自动爬取全部数据并且保存为 json 格式或者 csv 文件

将数据保存为 json 格式或者 csv 文件