前言：

小说作为在自己空闲时间下的消遣工具，对我们打发空闲时间很有帮助，而我们在网站上面浏览小说时会被广告和其他一些东西影响我们的观看体验，而这时我们就可以利用爬虫将我们想要观看的小说下载下来，这样就不会担心广告的影响了。

一：环境配置

Python版本：3.7.3

IDE:PyCharm

所需库：requests，lxml，time

二：准备工作

1：安装好我们所需要的库。

2：我们需要在电脑上的指定位置来创建一个文件夹来保存我们爬取的小说。

3：需要去下载XPATH插件以便于我们获取小说的名字（资源已上传，可自行下载安装）。

三：具体代码实现

import requests
from lxml import etree
import time
url = 'https://www.biquge365.net/newbook/33411/'
head = {
    'Referer': 'https://www.biquge365.net/book/33411/',
    'users-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.服务器托管网0.1722.39'
}
response = requests.get(url,headers = head,v服务器托管网erify = False)
# print(response.text)
html = etree.HTML(response.text)
novel_name = html.xpath('/html/body/div[1]/div[3]/div[1]/h1/text()')[0]
novel_directory = html.xpath('/html/body/div[1]/div[4]/ul/li[*]/a/@href')
#由于网站可能具有反扒措施，所以我们设置一下时间，防止被反扒
time.sleep(6)
for i in novel_directory:
    com_url = 'https://www.biquge365.net'+i
    response2 = requests.get(com_url,headers=head)
    html2 = etree.HTML(response2.text)
    novel_chapter = html2.xpath('//*[@id="neirong"]/h1/text()')[0]
    novel_content = 'n'.join(html2.xpath('//*[@id="txt"]/text()'))
    with open('E:python源码爬虫教程小说.txt'+novel_chapter+'.txt','w',encoding='utf-8') as file:
        file.write(novel_chapter+'n'+novel_content+'n')
        file.close()
        print("下载成功"+novel_chapter)

四：结果展示

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

相关推荐: 《最新出炉》系列初窥篇-Python+Playwright自动化测试-4-playwright等待浅析

1.简介 在介绍selenium的时候，宏哥也介绍过等待，是因为在某些元素出现后，才可以进行操作。有时候我们自己忘记添加等待时间后，查了半天代码确定就是没有问题，奇怪的就是获取不到元素。然后搞了好久，或者经过别人的提示才恍然大悟没有添加等待时间。而playwr…