爬虫使用的在线工具网站分享【第一期】

字数统计405

大家好！我是一名非专业的爬虫攻城狮，因为热爱，所以坚持，今天将给大家带来几款超级实用的在线网站资源，这些网站将会在你编写爬虫程序时带来很大的遍历，分享给大家的通知自己也记录一下！

网站分享

在线User-Agent生成

1
https://www.toolnb.com/tools/createuseragent.html

在线构造Headers

1
https://curl.trillworks.com/

Xpath测试

1
https://www.toolnb.com/tools/xpath.html

模拟请求

1
http://www.fly63.com/php/http/

url格式化

1
https://tools.miku.ac/url_format/

正则大全

1
https://tools.miku.ac/any_rule/

测试正则

1
https://regex101.com/

Linux指令查询

1
https://tools.miku.ac/linux_command/

获取网页源码

1
2
3
https://tools.miku.ac/get_html/

https://www.toolnb.com/tools/getHttpData.html

解析User-Agent

1
https://tools.miku.ac/ua_parser/

时间戳转换

1
https://tools.miku.ac/timestamp/

Query测试

1
https://www.toolnb.com/tools/querylist.html

WebSocket测试

1
2
3
http://www.toolnb.com/tools/webSocketTools.html

https://www.toolfk.com/tool-online-runwebsocket.html

CSV格式转换

1
2
3
https://www.toolnb.com/tools/csvconvert.html

https://www.toolfk.com/tool-convert-csv.html

Http状态码含义

1
https://www.toolnb.com/tools/getHttpStatusCode.html

在线Scrapy项目

1
https://www.toolnb.com/dev/Scrapy.html

编码解码

1
2
3
http://tool.mkblog.cn/unicode/

https://www.toolfk.com/tool-encdec-transform.html

文本对比

1
2
3
4
5
https://tool.oschina.net/diff

https://text-compare.com/zh-hans/

https://www.toolfk.com/tool-online-difftext.html

持续更新中……..