视频版教程:一天掌握python爬虫【基础篇】 涵盖 requests服务器托管网、beautifulsoup、selenium
Chrome-headless 模式, Google 针对 Chrome 浏览器 59版 新增加的一种模式,可以让你不打开UI界面的情况下使用 Chrome 浏览器,所以运行效果与 Chrome 保持完美一致,因此速度快与要打开界面的selenium,其使用方法和selenium一样。 1.配置要求
1.系统要求:
Chrome
UnixLinux 系统需要 chrome >= 59
Windows 系统需要 chrome >= 60
Python3.6及以上
Selenium==3.4及以上
ChromeDriver==2.31及以上
2.配置代码
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable‐gpu')
# 自己的Chrome浏览器文件路径
path = r'C:Usersjava1234AppDataLocalGoogleChromeApplicationchrome.exe'
chrome_options.binary_location = path
browser = webdriver.Chrome(options=chrome_options)
参考代码:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable‐gpu')
# 自己的Chrome浏览器文件路径
path = r'C:Usersjava1234AppDataLocalGoogleChromeApplicationchrome.exe'
chrome_options.binary_location = path
browser = webdriver.Chrome(options=chrome_options)
url = "https://www.baidu.com"
browser.get(url)
time.sleep(2)
browser.get_screenshot_as_file("百度首页.png")
# 获取文本框的对象
input = browser.find_element(By.ID, "kw")
# 在文本框中输入python
input.send_keys('python')
time.sleep(2)
# 获取百度一下的按钮
button = browser.find_element(By.ID, 'su')
# 点击按钮
button.click()
time.sleep(2)
# 滑到底部
# js_bottom = 'window.scrollTo(0,document.body.scrollHeight)'
js_bottom = 'document.docum服务器托管网entElement.scrollTop=10000'
js_top = 'document.documentElement.scrollTop=0'
browser.execute_script(js_bottom)
time.sleep(2)
browser.execute_script(js_top)
time.sleep(2)
browser.get_screenshot_as_file("第一页截图.png")
# 获取下一页的按钮
next_button = browser.find_element(By.XPATH, '//a[@class="n"]')
# 点击下一页
next_button.click()
time.sleep(2)
browser.execute_script(js_bottom)
browser.get_screenshot_as_file("下一页截图.png")
time.sleep(2)
# 返回到前一个历史记录 相当于 浏览器的返回按钮
browser.back()
time.sleep(2)
# 返回到后一个历史记录 相当于 浏览器的前进按钮
browser.forward()
browser.execute_script(js_bottom)
time.sleep(2)
# 退出
browser.quit()
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
分布式学习是一种将多个学习任务分布在多个计算节点上进行并行处理的方法,旨在加速深度学习训练过程。 第一天,我们开始了分布式学习的探索之旅。首先,我们了解了分布式学习的基本概念和优势。与单节点学习相比,分布式学习可以利用多个计算资源,服务器托管网将学习任务划分为…