博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Scrapy基础(七)————图片的简单下载
阅读量:6853 次
发布时间:2019-06-26

本文共 728 字,大约阅读时间需要 2 分钟。

scrapy 提供了自动下载图片到本地的功能,通过项目管道设置 

  : 在setting 文件中ITEM_PIPELINE添加: 'scrapy.pipelines.images.ImagesPipeline':1

1为处理顺序,顺序越小,越先处理;
 : 继续在setting中添加图片URL地址获取,
         IMAGES_URLS_FIELD = "front_image_url"    #front_image_url为Item 中存储图片URL的字段,应该为list类型;所以我们应将前面存入Item时设置为list

 

    

  : 设置图片下载到本地的路径
              绝对路径:IMAGES_STORE = ""
              相对路径: 多用相对路径,工程迁移后绝对路径不能使用了
              import os
              project_dir = os.path.abspath(os.path.dirname(__file__))

     #__file__ 是本文件,dirname(__file__)获取本文件名称,abspath("文件名")获取文件的所在路径     

              IMAGES_STORE = os.path.join(project_dir,'images')       #将两个路径连接起来
  四:运行 可见 在项目文件下新生成了images文件,并下载了图片,自动生成了图片名字

 五:扩展功能: 对图片进行过滤:

  在setting 文件中设置:

    IMAGES_MIN_HEIGHT = 100

    IMAGES_MIN_WIDTH = 100 

  过滤掉宽度高度小于100的图片

转载于:https://www.cnblogs.com/ruoniao/p/6891131.html

你可能感兴趣的文章
RtlWerpReportException failed with status code :-1073741823
查看>>
5-2 类型转换 @SuppressWarnings("unchecked")
查看>>
实验 5 编写、调试具有多个段的程序
查看>>
Verilog代码可移植性设计(转自特权同学博客http://bbs.ednchina.com/BLOG_ARTICLE_1983188.HTM)...
查看>>
浅析Linux网络子系统(三)
查看>>
jquery.validate ajax验证
查看>>
【风马一族_物理】维度空间的粒子
查看>>
手把手教你如何把java代码,打包成jar文件以及转换为exe可执行文件
查看>>
Codeforces Round #363 Fix a Tree(树 拓扑排序)
查看>>
hihocoder1455 Rikka with Tree III(bitset 莫队 dfs序)
查看>>
SQL Server 2008中的MERGE(不仅仅是合并)
查看>>
啤酒与饮料算法
查看>>
xxx is not in the sudoers file.This incident will be reported.的解决方法
查看>>
Java实现冒泡排序、折半查找
查看>>
[C++] 引用
查看>>
Drupal7 Module chapter 1 (猪扒7的开发)第一章
查看>>
Django - admin管理工具
查看>>
获取本月天数 和 本月日期
查看>>
js高阶函数map和reduce
查看>>
vue渲染时对象里面的对象的属性提示undefined,但渲染成功
查看>>