您的位置：首页 > 编程技术 > python  >  Scrapy 配置动态代理IP的实现

Scrapy 配置动态代理IP的实现

 更新时间：2020年9月28日 11:29  点击：1585

应用 Scrapy框架 ，配置动态IP处理反爬。

# settings 配置中间件
DOWNLOADER_MIDDLEWARES = {
  'text.middlewares.TextDownloaderMiddleware': 543,
  # 'text.middlewares.RandomUserAgentMiddleware': 544,
  # 'text.middlewares.CheckUserAgentMiddleware': 545,
  'text.middlewares.ProxyMiddleware': 546,
  'text.middlewares.CheckProxyMiddleware': 547
}

 
# settings 配置可用动态IP
PROXIES = [
  "http://101.231.104.82:80",
  "http://39.137.69.6:8080",
  "http://39.137.69.10:8080",
  "http://39.137.69.7:80",
  "http://39.137.77.66:8080",
  "http://117.191.11.102:80",
  "http://117.191.11.113:8080",
  "http://117.191.11.113:80",
  "http://120.210.219.103:8080",
  "http://120.210.219.104:80",
  "http://120.210.219.102:80",
  "http://119.41.236.180:8010",
  "http://117.191.11.80:8080"
]

# middlewares 配置中间件
import random

class ProxyMiddleware(object):

  def process_request(self, request, spider):
    ip = random.choice(spider.settings.get('PROXIES'))
    print('测试IP:', ip)
    request.meta['proxy'] = ip


class CheckProxyMiddleware(object):

  def process_response(self, request, response, spider):
    print('代理IP:', request.meta['proxy'])
    return response

到此这篇关于Scrapy 配置动态代理IP的实现的文章就介绍到这了,更多相关Scrapy 动态代理IP内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞！

[!--infotagslink--]

相关文章

  • Python爬虫进阶Scrapy框架精文讲解

    这篇文章主要为大家介绍了Python爬虫进阶中Scrapy框架精细讲解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步...2021-10-22

  • python实战scrapy操作cookie爬取博客涉及browsercookie

    这篇文章主要为大家介绍了python实战scrapy操作cookie爬取博客涉及browsercookie，下面来学习一下 scrapy 操作 Cookie来爬取博客吧...2021-11-13

  • Python中Scrapy+adbapi提高数据库写入效率实现

    本文主要介绍了Python中Scrapy+adbapi提高数据库写入效率实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2021-10-21

  • Scrapy实现模拟登录的示例代码

    这篇文章主要介绍了Scrapy实现模拟登录的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-21

  • 详解基于Scrapy的IP代理池搭建

    这篇文章主要介绍了详解基于Scrapy的IP代理池搭建，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-09-29

  • 超简单的scrapy实现ip动态代理与更换ip的方法实现

    这篇文章主要介绍了超简单的scrapy实现ip动态代理与更换ip的方法实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-21

  • pycharm无法安装第三方库的问题及解决方法以scrapy为例(图解)

    这篇文章主要介绍了pycharm无法安装第三方库的解决办法以scrapy为例,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2020-05-10

  • Python利用Scrapy框架爬取豆瓣电影示例

    这篇文章主要介绍了Python利用Scrapy框架爬取豆瓣电影,结合实例形式分析了Python使用Scrapy框架爬取豆瓣电影信息的具体操作步骤、实现技巧与相关注意事项,需要的朋友可以参考下...2020-04-27

  • python scrapy简单模拟登录的代码分析

    在本篇文章里小编给大家整理的是一篇关于python scrapy简单模拟登录的代码分析，有兴趣的朋友们可以学习参考下。...2021-07-19

  • scrapy利用selenium爬取豆瓣阅读的全步骤

    这篇文章主要给大家介绍了关于scrapy利用selenium爬取豆瓣阅读的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-09-21

  • 详解使用scrapy进行模拟登陆三种方式

    这篇文章主要介绍了使用scrapy进行模拟登陆三种方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-21

  • python中用Scrapy实现定时爬虫的实例讲解

    在本篇文章里小编给大家整理的是一篇关于python中用Scrapy实现定时爬虫的实例讲解内容，有兴趣的朋友们可以学习下。...2021-01-18

  • 详解Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库

    这篇文章主要介绍了详解Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-01-25

  • Scrapy启动报错invalid syntax的解决

    这篇文章主要介绍了Scrapy启动报错invalid syntax的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-09-18

  • python实现Scrapy爬取网易新闻

    这篇文章主要介绍了python实现Scrapy爬取网易新闻，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-21

  • Django-Scrapy生成后端json接口的方法示例

    这篇文章主要介绍了Django-Scrapy生成后端json接口的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-10-06

  • python编程scrapy简单代码实现搜狗图片下载器

    这篇文章主要为大家介绍了使用python scrapy简单代码实现搜狗图片下载器示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助...2021-11-13

  • 详解向scrapy中的spider传递参数的几种方法(2种)

    这篇文章主要介绍了详解向scrapy中的spider传递参数的几种方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-09-28

  • scrapy中如何设置应用cookies的方法(3种)

    这篇文章主要介绍了scrapy中如何设置应用cookies的方法(3种)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-09-22

  • Python爬虫基础讲解之scrapy框架

    scrapy是一个使用Python语言（基于Twisted框架）编写的开源网络爬虫框架,目前由scrapinghub Ltd维护.Scrapy简单易用、灵活易拓展、开发社区活跃，并且是跨平台的.在Linux、MaxOS以及windows平台都可以使用,需要的朋友可以参考下...2021-06-18