Python爬虫教程：01网页的请求与服务器的响应

Original 作者一小红牛我的Python教程 2024-01-14

Python，速成心法

敲代码，查资料，问度娘

练习，探索，总结，优化

#前面的Python基础入门教程基本上结束了，今天开始，和大家一起逐渐进入开发阶段的学习了，本期将主要介绍爬虫的相关知识点。

Python爬虫是指使用Python编程语言编写的一种自动化工具，用于从互联网上抓取数据。它可以自动访问网页，解析网页上的HTML代码，提取出需要的数据，并将其保存到本地文件或数据库中。Python爬虫可以用来爬取各种类型的数据，包括但不限于文本、图片、音频、视频等。使用Python编写爬虫可以大大提高数据获取的效率和准确性，同时也可以减少人工干预，节约人力成本。

#01.请求与响应是指客户端与服务器之间的交互过程，通常用于计算机网络或互联网中。

请求：客户端向服务器发送一个请求，以获取或操作某些资源。请求通常包括请求方法、请求头和请求体。请求方法指定请求类型，如GET、POST、PUT、DELETE等；请求头包含客户端和服务器之间的元数据信息，如Content-Type、Accept、Cookie等；请求体是请求的内容主体，通常用于POST和PUT请求。

响应：服务器接收到客户端的请求后，会做出响应，向客户端发送一个响应消息。响应消息包括状态码、响应头和响应体。状态码描述了请求的处理结果，如返回200表示成功、404表示未找到等；响应头包含服务器返回的元数据信息，如Content-Type、Content-Length等；响应体是响应的内容主体，通常包含请求结果或错误信息。

响应体是指HTTP响应消息的正文部分，通常是由服务器返回的资源或错误信息。响应体可以包含HTML、XML、JSON等多种格式的数据，也可以是二进制数据或文本。

响应体的格式和内容由应用业务需求决定，常见的响应体类型包括：

HTML：用于呈现Web页面，通常由服务器端模板引擎生成。
XML：用于传输结构化数据，通常用于API接口。
JSON：用于传输结构化数据，相对于XML更为轻量级和便捷，也更为广泛使用。
二进制数据：如图片、视频等文件，通常通过文件流的形式返回给客户端。

#02.一个网址的组成部分一般包括以下：

1. 协议（Protocol）：网址协议指定了使用什么协议来访问网站。常见的协议有HTTP、HTTPS、FTP等。协议通常位于网址的最开始并紧随着“//”，例如http://、https://等。

2. 域名（Domain Name）：网址的域名部分指定了网站的地址。例如，www.example.com或www.baidu.com. 域名通常位于协议后的://和最后一个斜杠/之间。

3. 端口（Port）：指定连接的端口号，HTTP的默认端口是80，HTTPS的默认端口是443。如果URL的端口号和协议的默认端口号相同，也可以省略。

4. 路径（Path）：指定访问页面的路径，例如/index.html, /search等，路径在域名之后，参数之前，由斜杠（/）分隔。

5. 参数（Parameters）：参数提供额外的信息，例如网站需要用户数据或者查询字符串。参数通常由问号（?）分隔路径和查询字符串，并由“&”，“=”连接。例如，www.example.com/search?q=query1。

6. 片段（Fragment）：片段指定在文档/ web页面中的位置。片段通常以#开始，并由页面的名字或标识符组成。例如，www.example.com/about#company。