• Scrapy爬虫框架与常用命令


    07.08自我总结

    一.Scrapy爬虫框架

    大体框架

    http://images.cnblogs.com/cnblogs_com/pythonywy/1452728/o_Scrapy%E7%88%AC%E8%99%AB%E6%A1%86%E6%9E%B6.png

    2个桥梁

    二.常用命令

    全局命令

    • startproject

      语法:scrapy startproject <project_name>

      这个命令是scrapy最为常用的命令之一,它将会在当前目录下创建一个名为<project_name>的项目。

    • settings

      语法: scrapy settings [options]

      该命令将会输出Scrapy默认设定,当然如果你在项目中运行这个命令将会输出项目的设定值。

    • runspider

      语法:scrapy runspider <spider_file.py>

      在未创建项目的情况下,运行一个编写在Python文件中的spider。

    • shell

      语法: scrapy shell [url]

      以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。

      例如,

      scrapy shell http://www.baidu.com
      

      将会打开百度URL,

      并且启动交互式命令行,可以用来做一些测试。

    • fetch

      语法:scrapy fetch <url>

      使用Scrapy下载器(downloader)下载给定的URL,并将获取到的内容送到标准输出。简单的来说,就是打印url的html代码。

    • view

      语法:scrapy view <url>

      在你的默认浏览器中打开给定的URL,并以Scrapy spider获取到的形式展现。 有些时候spider获取到的页面和普通用户看到的并不相同,一些动态加载的内容是看不到的, 因此该命令可以用来检查spider所获取到的页面。

    • version

      语法:scrapy version [-v]

      输出Scrapy版本。配合 -v 运行时,该命令同时输出Python, Twisted以及平台的信息。

    项目命令

    • crawl

      语法:scrapy crawl <spider_name>

      使用你项目中的spider进行爬取,即启动你的项目。这个命令将会经常用到,我们会在后面的内容中经常使用。

    • check

      语法: crapy check [-l] <spider>

      运行contract检查,检查你项目中的错误之处。

    • list

      语法:scrapy list

      列出当前项目中所有可用的spider。每行输出一个spider。

    • genspider

      语法:scrapy genspider [-t template] <name> <domain>

      在当前项目中创建spider。该方法可以使用提前定义好的模板来生成spider。您也可以自己创建spider的源码文件。

  • 相关阅读:
    设计模式入门
    Spring Boot 日志
    Spring Boot入门
    Vue--过滤器、指令、插件
    CentOS7更换yum源
    CentOS7中修改运行级别
    Xshell进行远程登录
    Linux的目录结构详情
    通过VMware Tools配置Centos7与本地主机的共享文件夹(亲测)
    eclipse中的Git操作
  • 原文地址:https://www.cnblogs.com/pythonywy/p/11153670.html
一二三 - 开发者的网上家园