scrapy中的spider传参实现增量的方法
更新时间：2022年6月13日 08:57 点击：330 作者：retime123
有时候需要根据项目的实际需求向spider传递参数来控制spider的运行方式。
比如说，1.根据用户提交的url来控制spider爬取的网站。2.根据需求增量爬取数据。
今天就写一个增量（augmenter）的方式：
Spider参数通过 crawl 命令的 -a 选项来传递，比如：
scrapy crawl xxx -a augmenter=xxxxxx
注：augmenter=不为空
1.首先在spider里添加
注：在网上也看了不少的博客，最后发现*args, **kwargs这两个必须加上，要不然会出现bug，不信的话可以试试哦！
如果想减少代码量的话，可以写到类里面去继承！那这样的话，spider里面就不要在写了！！！要不然就不起作用了！！！
还有
super(eval(self.__class__.__name__), self).__init__(*args, **kwargs)
这里的eval()获取的是类名，这样写必须是最后一个是你要的类名，中间有继承什么的，就会出错！或者直接把类名粘过来！
2.spider实现方式：
这样就实现了简单的增量！增量的方式有很多，常见的：时间、计数、爬取特定的几页！
选择自己需要的增量方式写在这个parse_augmenter()里面，
这样需要从头开始run和增量run就不受影响！
到此这篇关于scrapy中的spider传参实现增量的方法的文章就介绍到这了,更多相关scrapy spider传参增量内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞！
原文出处：https://blog.csdn.net/qq_24760381/article/details/80361400
相关文章
- 这篇文章主要介绍了vue 中的动态传参和query传参操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-11-09
- 这篇文章主要给大家介绍了关于vue打开新窗口并实现传参的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-04
- 本篇文章主要介绍了AngularJS的ng-click传参的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧 ...2017-06-24
- 这篇文章主要介绍了浅谈vue中$event理解和框架中在包含默认值外传参，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-08-07
- 这篇文章主要介绍了使用Redis获取数据转json,解决动态泛型传参的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-15
- 这篇文章主要介绍了C# WebApi 接口传参详解，本篇打算通过get、post、put、delete四种请求方式分别谈谈基础类型（包括int/string/datetime等）、实体、数组等类型的参数如何传递。感兴趣的小伙伴们可以参考一下...2020-06-25
- 刚接触微信小程序，对里面的语法和属性还不怎么了解，最近正在努力学习中，下面这篇文章主要给大家介绍了微信小程序中多个页面传参通信的相关资料，是最近学习的一个内容总结，需要的朋友可以参考借鉴，下面来一起看看吧。...2017-05-09
- 这篇文章主要介绍了C#打开php链接传参然后接收返回值的关键代码，代码简单易懂，非常不错，具有参考借鉴价值，需要的朋友可以参考下...2020-06-25
- 这篇文章主要为大家介绍了Python爬虫进阶中Scrapy框架精细讲解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步...2021-10-22
- 今天又遇到这个问题了，问了问同事，他说最近面试的时候，也问道他了，于是给我讲了讲，现在大概是记住了，分享一下。...2020-06-25
- 这篇文章主要给大家介绍了关于axios封装与传参的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-10-18
- 这篇文章主要介绍了Go语言二维数组的传参方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-04-28
python实战scrapy操作cookie爬取博客涉及browsercookie
这篇文章主要为大家介绍了python实战scrapy操作cookie爬取博客涉及browsercookie，下面来学习一下 scrapy 操作 Cookie来爬取博客吧...2021-11-13Python中Scrapy+adbapi提高数据库写入效率实现
本文主要介绍了Python中Scrapy+adbapi提高数据库写入效率实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2021-10-21- 这篇文章主要介绍了C#实现向多线程传参的三种方式,以实例形式较为详细的分析了C#多线程及参数传递的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了Scrapy实现模拟登录的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-21
- 这篇文章主要介绍了详解基于Scrapy的IP代理池搭建，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-09-29
- 这篇文章主要介绍了超简单的scrapy实现ip动态代理与更换ip的方法实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-21
pycharm无法安装第三方库的问题及解决方法以scrapy为例(图解)
这篇文章主要介绍了pycharm无法安装第三方库的解决办法以scrapy为例,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2020-05-10- 这篇文章主要介绍了Python利用Scrapy框架爬取豆瓣电影,结合实例形式分析了Python使用Scrapy框架爬取豆瓣电影信息的具体操作步骤、实现技巧与相关注意事项,需要的朋友可以参考下...2020-04-27