Python爬虫基础之selenium库的用法总结
更新时间：2021年5月25日 10:00 点击：3099
一、selenium简介
官网
总的来说： selenium库主要用来做浏览器的自动化脚本库。
二、selenium基本用法
from selenium import webdriver
url = 'http://www.baidu.com'
# 将webdriver实例化
path = 'C:\Program Files (x86)\Python38-32\chromedriver.exe'
browser = webdriver.Chrome(executable_path = path)
# 用谷歌浏览器访问百度
r = browser.get(url)
with open ('test.txt','wb+') as f:
f.write(r.content)
三、常用用法
'''
代码功能：selenium是的常用用法
时间：@Date: 2021-05-22 21:37:05
'''
from selenium import webdriver
# 导入Options类
from selenium.webdriver.chrome.options import Options
url = "https://movie.douban.com/"
# Options的实例化
chrome_options = Options()
# 设置浏览器参数
# --headless 是不显示浏览器启动以及执行过程
chrome_options.add_argument('--headless')
# 设置lang和User-Agent信息，防止反爬检测
chrome_options.add_argument('lang=zh_CN.utf-8')
UserAgent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
chrome_options.add_argument('User-Agent='+UserAgent)
# 启动浏览器并设置chrome_options参数
driver = webdriver.Chrome(chrome_options=chrome_options)
# 设置浏览器窗口最大化
# driver.maximize_window()
# # 设置浏览器窗口最小化
# driver.minimize_window()
driver.get(url)
# 获取网页的标题
print(driver.title)
# page_source是获取网页的HTML代码
print(driver.page_source)
四、cookie的设置、获取与删除
from selenium import webdriver
import time
# 启动浏览器
driver = webdriver.Chrome()
driver.get('https://www.youdao.com')
time.sleep(5)
# 添加cookie
driver.add_cookie({'name':'login','value':'登录'})
# 获取全部cookie
allCookies = driver.get_cookies()
print('全部cookies',allCookies)
# 获取name为login的cookie
cookie = driver.get_cookie('login')
print('name为login的cookie',cookie)
# 删除单个cookie
driver.delete_cookie('login')
print("\n--------------剩余的cookies\n",driver.get_cookies())
# 删除全部cookies
driver.delete_all_cookies()
print("-------------剩余的cookies------------\n",driver.get_cookies())
time.sleep(60)
五、文件的上传与下载 文件上传upload
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>Document</title>
</head>
<body>
<h1>配合selenium模拟上传文件</h1>
<input type='file' name='file' />
</body>
</html>
'''
代码功能：selenium上传文件 --配合upload.html使用
时间：@Date: 2021-05-23 09:56:53
'''
from selenium import webdriver
import time
driver = webdriver.Chrome()
url = 'http://localhost:52330/selenium/upload.html'
driver.get(url)
ele = driver.find_element_by_name('file')
print("获取到的元素",ele)
# 注意路径不能有中文字符
ele.send_keys('D:\dcsdk_eventv3.db')
time.sleep(10)
下载文件
'''
代码功能：模拟文件下载
时间：@Date: 2021-05-23 10:21:28
'''
from selenium import webdriver
import time
# 设置文件保存路径，如果不设置，会默认保存到Downloads文件夹
options = webdriver.ChromeOptions()
prefs = {'download.default_directory':'D:\\'}
options.add_experimental_option('prefs',prefs)
# 启动浏览器
driver = webdriver.Chrome()
# 下载PC版微信
driver.get('https://pc.weixin.qq.com')
# 浏览器窗口最大化
driver.maximize_window()
time.sleep(5)
# 点击下载按钮
driver.find_element_by_class_name('download-button').click()
time.sleep(30)
六、窗口的切换
from selenium import webdriver
import time
url = 'https://www.baidu.com/'
driver = webdriver.Chrome()
# 隐式等待，一次设置对整个driver的周期都起作用
driver.implicitly_wait(30)
driver.get(url)
# 使用js开启新的窗口
js = 'window.open("https://www.sogou.com/")'
driver.execute_script(js)
# 获取当前显示的窗口信息
current_window = driver.current_window_handle
print(driver)
# 获取浏览器的全部窗口信息
handles = driver.window_handles
print('获取到的窗口全部信息\n------------------\n',handles)
'''
获取到的窗口全部信息
------------------
['CDwindow-7FB808B4F24EF5385A9AFBDC21FA13B9', 'CDwindow-E879C0A64E734C3F88468A4388F48E3B']
'''
# 设置延时看切换的效果
time.sleep(3)
# 根据窗口信息进行窗口切换
# 切换到百度搜索的窗口
driver.switch_to_window(handles[0])
time.sleep(3)
# 切换到搜狗窗口
driver.switch_to_window(handles[1])
七、项目实战
'''
代码功能：熟悉selenium的自动化操作
时间：2020/5/22
'''
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
# Keys 类中定义了很多快捷键
url = 'https://wwww.baidu.com'
path = 'C:\Program Files (x86)\Python38-32\chromedriver.exe'
driver = webdriver.Chrome(executable_path=path)
driver.get(url)
# 获取输入框标签对象
element = driver.find_element_by_id('kw')
# 输入框输入内容
element.send_keys('python你')
time.sleep(2)
# 删除最后一个文字
element.send_keys(Keys.BACK_SPACE)
time.sleep(2)
# 添加空格加教程
element.send_keys(Keys.SPACE)
element.send_keys("教程")
time.sleep(2)
# ctrl+a 全选输入框内容
element.send_keys(Keys.CONTROL, 'a')
time.sleep(2)
# ctrl+x 剪切输入框内容
element.send_keys(Keys.CONTROL, 'x')
time.sleep(2)
# ctrl+v 复制
element.send_keys(Keys.CONTROL, 'v')
time.sleep(2)
# 回车键
driver.find_element_by_id('su').send_keys(Keys.ENTER)
time.sleep(10)
到此这篇关于Python爬虫基础之selenium库的用法总结的文章就介绍到这了,更多相关Python selenium库内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞！
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码，代码简单易懂，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 2022虎年新年即将来临，小编为大家带来了一个利用Python编写的虎年烟花特效，堪称全网最绚烂，文中的示例代码简洁易懂，感兴趣的同学可以动手试一试...2022-02-14
- 在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容，对此有兴趣的朋友们可以学习下。...2021-02-06
python-for x in range的用法(注意要点、细节)
这篇文章主要介绍了python-for x in range的用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-10- 这篇文章主要介绍了Python 图片转数组,二进制互转操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 这篇文章主要介绍了Python中的imread()函数用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python如何实现b站直播自动发送弹幕，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下...2021-02-20
python Matplotlib基础--如何添加文本和标注
这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注，帮助大家更好的利用Matplotlib绘制图表，感兴趣的朋友可以了解下...2021-01-26- 这篇文章主要介绍了解决python 使用openpyxl读写大文件的坑，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-13
- 今天小编就为大家分享一篇python 计算方位角实例(根据两点的坐标计算)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要为大家详细介绍了python实现双色球随机选号，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2020-05-02
- 在本篇文章里小编给大家整理的是一篇关于python中使用np.delete()的实例方法，对此有兴趣的朋友们可以学习参考下。...2021-02-01
- 这篇文章主要介绍了使用Python的pencolor函数实现渐变色功能,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-03-09
- 这篇文章主要介绍了python自动化办公操作PPT的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-05
Python getsizeof()和getsize()区分详解
这篇文章主要介绍了Python getsizeof()和getsize()区分详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-11-20- 这篇文章主要为大家详细介绍了python实现学生通讯录管理系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2021-02-25
- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-09-08
- 这篇文章主要介绍了解决python 两个时间戳相减出现结果错误的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-12
- 这篇文章主要介绍了Python绘制的爱心树与表白代码,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-04-06