分类： Python

Requests库的官方文档指出：让HTTP服务人类。 细心的读者会发现， Requests库的 作用就是请求网站获取网页数据的。

一般情况下，大多数网站都会拦截 Python 爬虫。这个时候就需要伪装成普通浏览器的 User Agent。（点击此处以获取常用 User Agent）

这里，就需要把请求头（headers）中的 User Agent 选项定义为你选择的 User Agent，如下：

import requests

headers={
    'User Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36'
}
get=requests.get('https://wrsblog.cn/', headers=headers)
print(get)

程序输出的结果如下：

<Response [200]>

这也就说明网站服务器返回 200 代码，意思就是网站服务器响应正常。

Requests 库请求并不会 ”一帆风顺” ，当遇到一些情况时， Requests库会抛出错误或者异常， Requests库的错误和异常主要有以下4种。

• Requests抛出一个ConnectionError异常， 原因为网络问题（如DNS查询失败、 拒绝连接等）。
• Response.raise_ for_ status(）抛出一个HTTPError异常，原因为 HTTP请求返回了不成 功的状态码（如网页不存在， 返回404错误）。
• Requests抛出一个Timeout异常， 原因为请求超时。
• Requests抛出一个TooMany Redirects 异常， 原因为请求超过了设定的最大重定向次数。

所有Requests显式抛出的异常都继承自requests.exceptions.RequestException,当发现这些错误或异常进行代码修改重新再来时，爬虫的程序又开始重新运行了，爬取到的数据又会重新爬取一次，这对千爬虫的效率和质量来说都是不利的。 这时，便可通过Python 中的 try来避免异常了， 具体使用方法如下：

import requests

headers={
    'User Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36'
}
get=requests.get('https://wrsblog.cn/', headers=headers)
try:
    print (get.text)

except ConnectionError:
    print ("连接错误")

抓取Wr 博客首页的输出内容如下：

通过try和except, 如果请求成功了，会打印网页的源代码。 如果请求出现了 ConnectionError异常，则会打印“连接错误” ，这样程序就不会报错，而是给编程者一个提示，不会影响下面代码的运行。

---

要学习完整的 Python 爬虫的话，可以下载《从零开始学Python网络爬虫》这本书的 PDF，下载地址在下面：

介绍

元组和列表十分相似，但是两者不同之处在于：

• 列表的元素可以修改，但是元组的元素不能；
• 列表使用中括号，元组使用小括号。

创建

#!/usr/bin/python3

group=("one","two","three",1,2,3,4)

打印

#!/usr/bin/python3

group=("one","two","three",1,2,3,4)
# 打印整个元组
print (group)
# 打印元组中的指定元素
print (group[0])

程序返回：

('one', 'two', 'three', 1, 2, 3, 4)
one

合并

#!/usr/bin/python3

group1=("one","two","three")
group2=(1,2,3,4)
group3=group1+group2

如果打印 group3，程序会返回：

('one', 'two', 'three', 1, 2, 3, 4)

删除

#!/usr/bin/python3

group=("one","two","three")
del group

运算符

代码	返回	解释
len(("pen", "pineapple", "apple", "ppap"))	4	计算元素个数
("pen", "pineapple") + ("apple", "ppap")	('pen', 'pineapple', 'apple', 'ppap')	连接
('Oh no!',) * 4	('Oh no!', 'Oh no!', 'Oh no!', 'Oh no!')	复制
"Oh no!" in ("pen", "pineapple", "apple", "ppap")	False	元素是否存在
for ppap in ('pen', 'pineapple', 'apple', 'ppap'): print (ppap,)	pen pineapple apple ppap	迭代

运行实例：

>>> len(("pen", "pineapple", "apple", "ppap"))
4
>>> ("pen", "pineapple") + ("apple", "ppap")
('pen', 'pineapple', 'apple', 'ppap')
>>> ('Oh no!',) * 4
('Oh no!', 'Oh no!', 'Oh no!', 'Oh no!')
>>> "Oh no!" in ("pen", "pineapple", "apple", "ppap")
False
>>> for ppap in ('pen', 'pineapple', 'apple', 'ppap'): print (ppap,)

pen
pineapple
apple
ppap

索引，截取

示例元组：

demo=("Google","Bing","DuckDuckGo","Baidu")

代码	返回	解释
demo[1]	'Bing'	读取第2个元素
demo[-1]	'Baidu'	反向读取第1个元素（倒数第1个元素）
demo[1:]	('Bing', 'DuckDuckGo', 'Baidu')	截取元素，从第2个开始后的所有元素。

运行实例：

>>> demo=("Google","Bing","DuckDuckGo","Baidu")
>>> demo[1]
'Bing'
>>> demo[-1]
'Baidu'
>>> demo[1:]
('Bing', 'DuckDuckGo', 'Baidu')

函数

代码	解释
cmp(group1, group2)	比较两个元组元素。
len(group)	计算元组元素个数。
max(group)	返回元组中元素最大值。
min(group)	返回元组中元素最小值。
tuple(group)	将可迭代系列转换为元组。

Python 列表 List 可以用来存储各种不同的数据类型。

用法

元素

trueOrFalse= ['true','false','unknown']

在列表里设定了三个元素，它们分别为 ture，false 和 unknown

索引

输出第二个元素，即 false：

print(trueOrFalse[1])

输出最后一个元素，即 unknown：

print(trueOrFalse[-1])

切片

输出第一个元素后的数据：

print(trueOrFalse[1:])

输出最后一个元素前的数据：

print(trueOrFalse[:-1])

倒序输出：

print(trueOrFalse[::-1])

重复

输出三遍：

print(trueOrFalse * 3)

输出四遍：

print(trueOrFalse * 4)

合并列表

添加另一个列表，命名为 demo

demo = ['yes','no']

将 trueOrFalse 与 demo 合并：

print(trueOrFalse + demo)

判断

判断 unknown 是否存在于 trueOrFalse 列表里：

print('unknown' in trueOrFalse)

全部输出

将列表里的所有元素都输出一遍：

for a in trueOrFalse:
	print(a)

添加元素

extend 追加：

trueOrFalse.extend(['yes','no'])

连接添加：

print(trueOrFalse + ['yes'])

append 追加：

trueOrFalse.append('yes')

指定位置追加（此处的位置以第二个元素为例）：

trueOrFalse.insert(1,'yes')

删除元素

方法一：

trueOrFalse.pop()   #最后一个元素
var = trueOrFalse.pop(0)  #第1个元素 (可赋值)

方法二：

trueOrFalse.remove('true') #直接删除 (不可赋值)

方法三：

del trueOrFalse # 删除整个列表

介绍

前几期过于烧脑(不是)，这一期我们来放松一下，学习 turtle 模块。

Turtle Graphics 内置于 Python，是一个简单的绘图工具。

导入

就像 math 模块一样，turtle 模块同样也要使用 import 语句导入模块

import turtle

基础函数

left(50)	向左移动 50°
right(50)	向右移动 50°
forward(50)	向前移动 50px
backward(50)	向后移动 50px
pensize(50)	设置笔的大小为 50
pencolor(green)	设置笔的颜色为绿色
clear()	清空窗口
speed(8)	设置速度为 8 (从 1-10)
pendown()	放下笔
penup()	提笔
circle(50)	画一个半径为 50 的圆形
undo()	撤销

实例 1

import turtle

turtle.speed(7)
turtle.circle(100)

实例 2

import turtle  
  
turtle.pensize(5) 
turtle.pencolor("yellow") 
turtle.fillcolor("red") 
  
turtle.begin_fill()
for i in range(5):
    turtle.forward(200)
    turtle.right(144) 
turtle.end_fill()

介绍

Python 中内置了许多的模块，其中就包含 math 模块

math 模块为 Python 提供了许多对浮点数的数学运算函数。

导入

要使用模块，你首先需要使用 import 导入模块。导入 math 模块的代码如下：

import math

模块函数

ceil	取大于等于x的最小的整数值，如果x是一个整数，则返回x
copysign	把y的正负号加到x前面，可以使用0
cos	求x的余弦，x必须是弧度
degrees	把x从弧度转换成角度
e	表示一个常量
exp	返回math.e,也就是2.71828的x次方
expm1	返回math.e的x(其值为2.71828)次方的值减１
fabs	返回x的绝对值
factorial	取x的阶乘的值
floor	取小于等于x的最大的整数值，如果x是一个整数，则返回自身
fmod	得到x/y的余数，其值是一个浮点数
frexp	返回一个元组(m,e),其计算方式为：x分别除0.5和1,得到一个值的范围
fsum	对迭代器里的每个元素进行求和操作
gcd	返回x和y的最大公约数
hypot	如果x是不是无穷大的数字,则返回True,否则返回False
isfinite	如果x是正无穷大或负无穷大，则返回True,否则返回False
isinf	如果x是正无穷大或负无穷大，则返回True,否则返回False
isnan	如果x不是数字True,否则返回False
ldexp	返回x(2*i)的值
log	返回x的自然对数，默认以e为基数，base参数给定时，将x的对数返回给定的base,计算式为：log(x)/log(base)
log10	返回x的以10为底的对数
log1p	返回x+1的自然对数(基数为e)的值
log2	返回x的基2对数
modf	返回由x的小数部分和整数部分组成的元组
pi	数字常量，圆周率
pow	返回x的y次方，即x**y
radians	把角度x转换成弧度
sin	求x(x为弧度)的正弦值
sqrt	求x的平方根
tan	返回x(x为弧度)的正切值
trunc	返回x的整数部分

用法

假设我要让 Python 打印出 π：

import math
pi = math.pi
print (pi)

Python 返回：

3.141592653589793

本期，我们将学习 continue 和 pass 语句

continue 语句

continue 与 break 语句一样，都是用在 for 或者 while 的语句中。但是两者的含义不同：

break 会退出所有的循环；而 continue 只会退出目前所在的一个循环。

格式

continue

实例

#!/usr/bin/python3
# -*- coding: UTF-8 -*-


num = 6
while num > 0:
    num = num -1
    if num == 6:
        continue
    print ("剩余:", num)
print("\n\n程序结束")

运行

剩余: 5
剩余: 4
剩余: 3
剩余: 2
剩余: 1
剩余: 0


程序结束

pass 语句

pass 其实什么事情都不会做，只不过是用来做占位语句，保持程序的完整性。

格式

pass

实例

#!/usr/bin/python3
# -*- coding: UTF-8 -*-


num = 6
while num > 0:
    num = num -1
    if num == 2:
        pass
        print("Hey, I'm pass!")
    print ("剩余:", num)
print("\n\n程序结束")

运行

剩余: 5
剩余: 4
剩余: 3
Hey, I'm pass!
剩余: 2
剩余: 1
剩余: 0


程序结束

目录

本期，我们将会学习 break 语句

解释

break 语句跟它字面上的意思一样，就是打破循环的意思。

该语句用于 for 或者 while 的循环语句中。如果执行该语句，解释器将会退出循环，继续执行代码。

实例

#!/usr/bin/python3
# -*- coding: UTF-8 -*-

question1=input("43+87=")
question1=int(question1)
while question1==130:
    print("Congratulations! You're Right!\n恭喜！你对了！\n\n")
    break
else:
    print("You're Wrong! Try again!\n你错了！再试试看吧！\n\n")
question2=input("956+44=")
question2=int(question2)
while question2==1000:
    print("Congratulations! You're Right!\n恭喜！你对了！\n\n")
    break
else:
    print("You're Wrong! Try again!\n你错了！再试试看吧！\n\n")

最后几行大字我输了好久 😎 （由于排版问题，我就不拷贝过来了。如果要试试看的话，就直接在文末下载资料包就可以了）

运行结果：

43+87=130
Congratulations! You're Right!
恭喜！你对了！


956+44=1000
Congratulations! You're Right!
恭喜！你对了！

我故意在这几行代码里放了一个bug，要你自己把这个bug给找出来并修正。