scrapy中如何设置应用cookies的方法(3种)
本人是python3.6
总的来说，scrapy框架中设置cookie有三种方式。
第一种：setting文件中设置cookie
当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie
当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie
当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie
所以当我使用settings的cookie的时候，又把COOKIES_ENABLED设置为True，scrapy就会把settings的cookie关闭，
而且我也没使用自定义cookie，导致整个请求根本没有cookie,导致获取页面失败。
总结：
如果使用自定义cookie就把COOKIES_ENABLED设置为True
如果使用settings的cookie就把COOKIES_ENABLED设置为False
第二种：middlewares中设置cookie
在middlewares中的downloadermiddleware中的process_request中配置cookie，配置如下：
request.cookies={
'':'',
'':'',
}
等等。里面的cookie内容要以键值对的形式存在。
第三种：在spider爬虫主文件中，重写start_request方法，在scrapy的Request函数的参数中传递cookies
# 重载start_requests方法
def start_requests(self):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0"}
# 指定cookies
cookies = {
'uuid': '66a0f5e7546b4e068497.1542881406.1.0.0',
'_lxsdk_cuid': '1673ae5bfd3c8-0ab24c91d32ccc8-143d7240-144000-1673ae5bfd4c8',
'__mta': '222746148.1542881402495.1542881402495.1542881402495.1',
'ci': '20',
'rvct': '20%2C92%2C282%2C281%2C1',
'_lx_utm': 'utm_source%3DBaidu%26utm_medium%3Dorganic',
'_lxsdk_s': '1674f401e2a-d02-c7d-438%7C%7C35'}
# 再次请求到详情页，并且声明回调函数callback，dont_filter=True 不进行域名过滤，meta给回调函数传递数据
yield Request(detailUrl, headers=headers, cookies=cookies, callback=self.detail_parse, meta={'myItem': item}, dont_filter=True)
同时还要在setting中设置：
ROBOTSTXT_OBEY=False
到此这篇关于scrapy中如何设置应用cookies的方法(3种)的文章就介绍到这了,更多相关scrapy设置cookies内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞！
相关文章
- 这篇文章主要为大家介绍了Python爬虫进阶中Scrapy框架精细讲解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步...2021-10-22
python实战scrapy操作cookie爬取博客涉及browsercookie
这篇文章主要为大家介绍了python实战scrapy操作cookie爬取博客涉及browsercookie，下面来学习一下 scrapy 操作 Cookie来爬取博客吧...2021-11-13Python中Scrapy+adbapi提高数据库写入效率实现
本文主要介绍了Python中Scrapy+adbapi提高数据库写入效率实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2021-10-21- 这篇文章主要介绍了如何使用jQuery操作Cookies方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-09-08
- 这篇文章主要介绍了详解基于Scrapy的IP代理池搭建，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-09-29
- 这篇文章主要介绍了超简单的scrapy实现ip动态代理与更换ip的方法实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-21
- 这篇文章主要介绍了Python利用Scrapy框架爬取豆瓣电影,结合实例形式分析了Python使用Scrapy框架爬取豆瓣电影信息的具体操作步骤、实现技巧与相关注意事项,需要的朋友可以参考下...2020-04-27
pycharm无法安装第三方库的问题及解决方法以scrapy为例(图解)
这篇文章主要介绍了pycharm无法安装第三方库的解决办法以scrapy为例,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2020-05-10c# 获取CookieContainer的所有cookies函数代码
这篇文章主要介绍了c# 获取CookieContainer所有cookies的函数代码，需要的朋友可以参考下...2020-06-25- 在本篇文章里小编给大家整理的是一篇关于python scrapy简单模拟登录的代码分析，有兴趣的朋友们可以学习参考下。...2021-07-19
- 这篇文章主要介绍了Scrapy实现模拟登录的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-21
- 这篇文章主要给大家介绍了关于scrapy利用selenium爬取豆瓣阅读的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-09-21
- 以前觉得cookies操作无非就那么几种，但是“杯具事件”还是很多的,下面分享一下对cookies的简单操作...2020-06-25
- .ashx文件中获取cookies值对于一些高手们就不多说了，至于一些小白们还是有必要多多学习啊,好了话不多说，看代码，感兴趣的你可不要错过了哈...2021-09-22
- 这篇文章主要介绍了使用scrapy进行模拟登陆三种方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-21
- 在本篇文章里小编给大家整理的是一篇关于python中用Scrapy实现定时爬虫的实例讲解内容，有兴趣的朋友们可以学习下。...2021-01-18
详解Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库
这篇文章主要介绍了详解Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-01-25- 这篇文章主要介绍了Scrapy启动报错invalid syntax的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-09-18
selenium中get_cookies()和add_cookie（）的用法详解
这篇文章主要介绍了selenium中get_cookies()和add_cookie（）的用法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-04-29- 这篇文章主要介绍了python实现Scrapy爬取网易新闻，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-21