是什么
requests模块:python中原生的一款基于网络请求的模块,功能非常强大,简单便携,效率极高。
作用:模拟浏览器发请求
如何使用
(编码流程)
- 指定url
- 发起请求
- 获取响应数据
- 持久化存储
环境安装
pip install requests
实战编码
需求:爬取百度首页的页面数据
导入模块
import requests
指定url
# step 1: 指定url
url = 'https://www.baidu.com'
发起请求
# step 2: 发起请求
# get方法会返回一个响应对象
response = requests.get(url=url)
获取响应数据
# step 3: 获取响应数据 text返回的是字符串形式的响应数据
response.encoding='utf-8' # 先转换为utf-8格式编码 避免乱码
page_text = response.text
print(page_text)
持久化存储
# step 4: 持久化存储
with open('./baidu.html','w',encoding='utf-8') as fp:
fp.write(page_text)