Python（爬虫时代）——爬虫开发01

Posted on by hackdl

爬虫基本概念

爬虫的定义

  • 网络爬虫（被称为网页蜘蛛，网络机器人），就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序

  • 一般来说，只要浏览器上能做的事情，爬虫都可以做

爬虫的分类

  • 通用爬虫：通常指搜索引擎的爬虫

  • 聚集爬虫：针对特定网站或某些特定网页的爬虫

ROBOTS协议

  • Robots协议：也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的

  • 如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令，也不是防火墙，如同守门人无法阻止窃贼等恶意闯入者
     

举例：

  • 访问淘宝网的robots文件: https://www.taobao.com/robots.txt

    • 很显然淘宝不允许百度的机器人访问其网站下其所有的目录

    • 如果允许所有的链接访问应该是：Allow:　/

http和https的概念

  • http

    • 超文本传输协议

    • 默认端口号：80

  • https

    • HTTP+SSL(安全套接字层）

    • 默认端口号：443

  • HTTPS比HTTP更安全，但是性能更低

URL的形式

  • sheme://host[:port#]/path/…/[?query-string][#anchor]

    • scheme：协议（例如：http、https、ftp)

    • host：服务器ip地址/域名

    • port：服务器端口号

    • path：访问资源的路径

    • query-string：请求的参数

    • anchor：锚（跳转到网页的指定锚点位置）

    • 例：http://item.jd.com/100008959687.html#product-detail

Http常见请求头

  • Host (主机和端口号)

  • Connection(链接类型)

  • Upgrade-insecure-Requests(升级为https请求）

  • User-Agent(浏览器名称）

  • Accept(传输文件类型）

  • Referer(页面跳转处）

  • Accept-Encoding(文件编解码格式）

  • Cookie

  • x-requested-with:XMLHttpRequest（是Ajax异步请求）

Http常见响应码

  • 200：成功

  • 302：临时性重定向到新的url

  • 404：请求的路径找不到

  • 500：服务器内部错误

rquests模块

requests的官网

  • https://docs.python-requests.org/zh_CN/latest/index.html

示例：下载官网上的图片

import requests

url="https://docs.python-requests.org/zh_CN/latest/_static/requests-sidebar.png"
response=requests.get(url)

# 响应状态码为200，表示请求成功
if response.status_code==200:
    # 生成图片
    with open("aa.png","wb") as f:
        f.write(response.content)

response.text 和 response.content 的区别

  • response.text

    • 类型：str

    • 解码类型：根据http头部对响应的编码作出有根据的推测，推测的文本编码

    • 修改编码的方法：response.encoding=’gbk’

  • response.content

    • 类型：bytes

    • 解码类型：没有指定

    • 修改编码的方法：response.content.decode(‘utf-8’)

requests请求带header

  • 主要是模拟浏览器，欺骗服务器，获取和浏览器一致的内容

  • header的数据结构是 字典

示例

import requests

respons=requests.get("http://www.baidu.com")
print(respons.request.headers)

# 设置header 模拟谷歌浏览器
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"
}
respons2=requests.get("http://www.baidu.com",headers=headers)
print(respons2.request.headers)

获取User-Agent的值

带参数的requests请求

import requests

url="http://www.baidu.com/s?"
# 添加参数
params={
    "wd":"hello"
}

# 方式一
respons=requests.get(url,params=params)
# 方式二
respons2=requests.get("http://www.baidu.com/s?wd={}".format("hello"))

print(respons.status_code)
print(respons.request.url)
print(respons2.status_code)
print(respons2.request.url)

requests发送post请求

  • 语法

    • response=requests.post(“http://www.baidu.com/”,data=data,headers=headers)

    • data的数据结构是 字典

  • 示例

import requests

url="https://www.jisilu.cn/data/cbnew/cb_list/?___jsl=LST___t=1617719326771"
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"
}

params={
    "curr_iss_amt": 20
}

respons=requests.post(url,data=params,headers=headers)
print(respons.content.decode())


requests使用代理方式

  • 使用代理的原因

    • 让服务器以为不是同一个客户端请求

    • 防止我们的真实地址被泄露，防止被追究

  • 语法

    • requetst.get(“http://www.baidu.com”,proxies=proxies)

    • proxies的数据结构 字典

    • proxies={ “http”:”http://12.33.34.54:8374″,”https”:”https://12.33.34.54:8374″  }

  • 示例

import requests

url="http://www.baidu.com"
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"
}

proxies={
    "http": "175.42.158.211:9999"
}
respons=requests.post(url,proxies=proxies)
print(respons.status_code)

 

cookie和session的区别

  • cookie数据存放在客户的浏览器上，session数据放在服务器上

  • cookie不是很安全,别人可以分析存放在本地的cookie并进行cookie欺骗

  • session会在一定时间内保存在服务器上。当访问增多会比较占用服务器性能

  • 单个cookie保存的数据不能超过4k,很多浏览器都限制一个站点最多保存20个cookie

爬虫处理cookie和session

  • 带上cookie、session的好处

    • 能够请求到登录之后的页面

  • 带上cookie、session的坏处

    • 一套cookie和session往往和一个用户对应，请求太快，请求次数太多，容易被服务器识别为爬虫

  • 如果不需要cookie的时候尽量不去使用cookie

requests 处理cookies、session请求

  • reqeusts 提供了一个session类，来实现客户端和服务端的会话保持

  • 使用方法

    • 实例化一个session对象

    • 让session发送get或者post请求

  • 语法

    • session=requests.session()

    • response=session.get(url,headers)

  • 示例

import requests

headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"
}

data={
    "email":"用户名",
    "password":"密码"
}

session=requests.session()
# session发送post请求，cookie保存在其中
session.post("http://www.renren.com/PLogin.do",data=data,headers=headers)
# 使用session请求登录后才能访问的页面
r=session.get("http://www.renren.com/976564425",headers=headers)
print(r.content.decode())

程序猿与投资生活实录已改名为  程序猿知秋，WX 公众号同款，欢迎关注！

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

服务器托管，北京服务器托管，服务器租用，机房机柜带宽租用

服务器托管

咨询：董先生

电话13051898268 QQ/微信93663045！

上一篇:
下一篇: