网络爬虫之信息获取CurlRequests库信息获取Selenium库信息网API获取络能虫BeautifulSoup库XPath信息解析正则表达式网络爬虫包含信息两部分内容解析通常来说，Pvthon中有三种不同的方法来获取网页的源代码（其中包含我们所需要的所有信息），分别是Curl、Requests库和Selenium库；调用AP接口也是常用的信息获取方式
网络爬虫之信息获取 信息 获取 网络爬虫包含 两部分内容 信息 解析 通常来说，Python中有三种不同的方法来获取网页的源代码 （其中包含我们所需要的所有信息），分别是Curl、Requests库和 Selenium库；调用API接口也是常用的信息获取方式
Curl方法代码演示Curl是用于在命令行或脚本中进行数据传输的工具，可以获取服务器#Curl命令的基础语法（命令行窗口运行）#获取某网页内容：返回的信息，其中包含我们需要进curlwww.baidu.com行解析和提取的源代码#打印请求和响应的相关信息：curl-vwww.baidu.com#抓取网页并写入文件：利用Curl命令可以完成网页的请求?curl-ohome.htmlhttp://www.sina.com.cncurl-Ohttp./www.mvdomain.com/linux/index.html响应过程，并且将返回的结果进行#有关curl命令的帮助文件解析和存储curl-h
Curl方法 ◆ Curl是用于在命令行或脚本中进行 数据传输的工具，可以获取服务器 返回的信息，其中包含我们需要进 行解析和提取的源代码 ◆ 利用Curl命令可以完成网页的请求- 响应过程，并且将返回的结果进行 解析和存储 #Curl命令的基础语法（命令行窗口运行） #获取某网页内容： curl www.baidu.com #打印请求和响应的相关信息： curl -v www.baidu.com #抓取网页并写入文件： curl -o home.html http://www.sina.com.cn curl -O http://www.mydomain.com/linux/index.html #有关curl命令的帮助文件 curl -h ◆ 代码演示
Requests库-GET方法在爬虫的信息获取阶段，Requests库是使用最广泛使用的库之一◆实际中使用的是Requests库中的.geto方法和.posto方法代码演示首先通过.get0方法，我们获取了百度首页的源代码，并存储在r对象中#GET方法的基本用法importrequests通过状态码r.statuscode=200可知r=requests.get(https://www.baidu.com/)返回结果为成功。print(type()print(r.status_code)若要显示返回内容，则利用print(r.content.decode(utf-8))r.content.decode(utf-8')进行解码，即可得到百度首页源代码
Requests库-GET方法 ◆ 在爬虫的信息获取阶段，Requests库是使用最广泛使用的库之一 ◆ 实际中使用的是Requests库中的.get()方法和.post()方法 ◆ 代码演示 #GET方法的基本用法 import requests r = requests.get('https://www.baidu.com/') print(type(r)) print(r.status_code) print(r.content.decode('utf-8')) 首先通过.get()方法，我们获取了百度 首页的源代码，并存储在r对象中。 通过状态码r. status_code=200可知， 返回结果为成功。 若要显示返回内容，则利用 r.content.decode(‘utf-8’)进行解码， 即可得到百度首页源代码