SCRAPY命令

SCRAPY命令

1. 创建一个新的项目

scrapy startproject  一个项目的名称

注释:我们可以进入创建的项目执行相关的命令 cd demo1

2.生成爬虫

scrapy genspider  文件名 网址

3.运行(crawl)

scrapy crawl  爬虫名称

4.check检查错误

scrapy check

5.list返回项目所有spider名称

scrapy list

6.fetch 帮助我们下载网页，将网页源代码返回(前面是一些日志，后面是源代码)

也可以加一些参数，得到headers，并不输出日志文件
在这里插入图片描述

7.view请求Url,把它的网页源代码保存成文件，并打开网页

在做网页测试的时候很有用，可以测试ajax内容,我们知道淘宝的页面很复杂，很多网页内容都是用ajax保存的。

很多内容没有加载，采取其他方式爬ajax内容
8.shell方法,命令行交互模式

传入了url进入了交互模式

甚至可以调用CSS选择器

9.runspider运行爬虫文件，与crawl的去区别是runspider运行的是文件的名称 拓展名
10.version 输出scrapy版本参数-v可以输出依赖库的版本

11.bench 做测试用，反映当前性能，爬虫速度
自行测试~~~

这篇好文章是转载于：学新通技术网