Python 网页请求：requests库的使用

小嗷犬2022-09-072024-10-10

requests库简介

requests 是 Python 中比较常用的网页请求库，主要用来发送 HTTP 请求，在使用爬虫或测试服务器响应数据时经常会用到，使用起来十分简洁。

requests 为第三方库，需要我们通过pip命令安装：

1	`pip install requests`

下表列出了requests库中的各种请求方法：

每次调用 requests 请求之后，会返回一个 response 对象，该对象包含了具体的响应信息。

response 对象具有以下属性：

属性	描述
apparent_encoding	编码方式
content	返回响应的内容，以字节为单位
cookies	返回一个 CookieJar 对象，包含了从服务器发回的 cookie
elapsed	返回一个 timedelta 对象，包含了从发送请求到响应到达之间经过的时间量，可以用于测试响应速度。比如 r.elapsed.microseconds 表示响应到达需要多少微秒。
encoding	解码 r.text 的编码方式
headers	返回响应头，字典格式
history	返回包含请求历史的响应对象列表（url）
is_permanent_redirect	如果响应是永久重定向的 url，则返回 True，否则返回 False
is_redirect	如果响应被重定向，则返回 True，否则返回 False
links	返回响应的解析头链接
next	返回重定向链中下一个请求的 PreparedRequest 对象
ok	检查 “status_code” 的值，如果小于400，则返回 True，如果不小于 400，则返回 False
reason	响应状态的描述，比如 “Not Found” 或 “OK”
request	返回请求此响应的请求对象
status_code	返回 http 的状态码，比如 404 和 200（200 是 OK，404 是 Not Found）
text	返回响应的内容，unicode 类型数据
url	返回响应的 URL

response 对象还具有一些方法：

方法	描述
close()	关闭与服务器的连接
iter_content()	迭代响应
iter_lines()	迭代响应的行
json()	返回结果的 JSON 对象 (结果需要以 JSON 格式编写的，否则会引发错误)
raise_for_status()	如果发生错误，方法返回一个 HTTPError 对象

有了这些我们就可以自由的发送页面请求了。

下面这段代码使用 GET 请求获取了CSDN首页的网页内容：

import requests

x = requests.get('https://www.csdn.net/')

print(x.text)

可以查看 response 对象的各种响应信息：

import requests

x = requests.get('https://www.csdn.net/')

print(x.reason)
print(x.status_code)
print(x.apparent_encoding)

学会了网页请求，我们很快就可以进行爬虫了。