Python笔记003-生成器和生成器表达式
以下是我学习《流畅的Python》后的个人笔记,现在拿出来和大家共享,希望能帮到各位Python学习者。
首次发表于: 微信公众号:科技老丁哥,ID: TechDing,敬请关注。
本篇主要知识点:
-
生成器使用yield做关键字,一次只返回一个值给调用者,然后暂停执行,其作用是:节省内存空间。
-
生成器可以用next()函数,也可以用for迭代的方式获取元素值,中间还可以用close()来随时终止生成器。
-
生成器表达式可以认为是一种特殊的生成器,其代码更简洁,更容易理解,且和别的函数结合会更加灵活。
1. 生成器
生成器是Python中一个特殊的程序,用于控制循环的迭代行为。相对于一般函数用return来一次性返回所有值,生成器使用yield关键字,一次只返回一个值。
这样的设计有很大的好处:在数据处理时,如果函数return出来的是一个非常大的数组,那么会非常占用内存,有时会报MemoryError的错误,而使用yield后一次仅仅返回一个元素值,可以优化内存占用的情况。
从这种角度来讲,生成器函数每一次调用都返回一个元素值,这种特性使得生成器长得像函数,但行为却像迭代器。
def
squares
(
x
)
:
# 计算0-x的所有数的平方
# return [i*i for i in range(x)] # 普通写法,一次返回一个list,包含所有元素
for
i
in
range
(
x
)
:
yield
i
*
i
# 生成器:一次只返回一个值
print
(
squares
(
5
)
)
#
# 获取生成器中的元素值
for
value
in
squares
(
5
)
:
# 行为类似于迭代器,循环获取元素值
print
(
'value: '
,
value
)
生成器并不像一般的函数,它返回一个值后,生成器函数会自动挂起,等到下一次调用时(使用其内部成员方法
__next__
来实现),再返回到这个函数中继续执行。
所以要想获取生成器的元素值,需要通过成员方法next()来进行,比如:
square_five
=
squares
(
5
)
print
(
next
(
square_five
)
)
# 0
print
(
next
(
square_five
)
)
# 1
print
(
next
(
square_five
)
)
# 4
print
(
next
(
square_five
)
)
# 9
print
(
next
(
square_five
)
)
# 16
print
(
next
(
square_five
)
)
# 报错:StopIteration: 超过yield的所有元素
next()函数每次执行时,都会继续执行挂起的生成器函数,直到执行完毕。
生成器的这种特点被称为"延迟计算"或"惰性求值(Lazy evaluation)",可以有效的节省内存。惰性求值实际上是体现了协同程序的思想。
虽然生成器的这种行为类似于迭代器,但两者有较大差别,迭代器不具备这种执行-暂停-再执行-再暂停的特性,所以迭代器不具有延迟计算,没有协同程序的思想。
使用延迟计算后,可以极大的节省内存,比如对大文件进行读取操作时,可以用下列生成器方法:
## 读取大文件的生成器方法:
def
load_big_file
(
file_path
)
:
BLOCK_SIZE
=
1024
with
open
(
file_path
,
'rb'
)
as
f
:
while
True
:
block
=
f
.
read
(
BLOCK_SIZE
)
if
block
:
yield
block
# 一次只加载一个block到内存中,避免MemoryError
else
:
return
生成器除了用next()函数来处理之外,还可以用close()来随时退出生成器。如下代码:
## 使用close()可以随时退出生成器
square_five
=
squares
(
5
)
print
(
next
(
square_five
)
)
# 0
print
(
next
(
square_five
)
)
# 1
print
(
next
(
square_five
)
)
# 4
square_five
.
close
(
)
# 退出生成器
print
(
next
(
square_five
)
)
# Error: StopIteration:
print
(
next
(
square_five
)
)
# Error: StopIteration:
2. 生成器表达式
从形式上来看,生成器表达式和列表推导式很像,仅仅是将列表推导式中的[]替换为(),但是两者差别挺大,生成器表达式可以说组合了迭代功能和列表解析功能。
生成器表达式可以认为是一种特殊的生成器函数,类似于lambda表达式和普通函数。但是和生成器一样,生成器表达式也是返回生成器generator对象,一次只返回一个值。
# 上面的squares函数可以改写为:
# 列表推导式的写法是:
squares_list
=
[
i
*
i
for
i
in
range
(
5
)
]
# 一次性返回整个list
print
(
'列表推导式:'
,
squares_list
)
# 列表推导式: [0, 1, 4, 9, 16]
# 生成器表达式:
squares2
=
(
i
*
i
for
i
in
range
(
5
)
)
# 生成器表达式一次返回一个值
print
(
'生成器表达式:'
,
squares2
)
# 生成器表达式:
print
(
next
(
squares2
)
)
# 0
print
(
next
(
squares2
)
)
# 1
print
(
next
(
squares2
)
)
# 4
生成器表达式是一种特殊的生成器,所以它也有生成器的特性,可以使用for循环来获取元素值,for循环内部自动调用了next()函数来执行。
# generator对象可以直接用for来获取所有元素值
squares2
=
(
i
*
i
for
i
in
range
(
5
)
)
# 生成器表达式就是一个generator对象
for
i
in
squares2
:
print
(
'i: '
,
i
)
# 上面可以简写为:
[
print
(
'i: '
,
i
)
for
i
in
(
i
*
i
for
i
in
range
(
5
)
)
]
生成器表达式如果作为某个函数的参数,则可以省略掉(),直接使用即可,eg:
## 如果生成器表达式整个作为某个函数的参数,可以省略掉()
max_value
=
max
(
i
*
i
for
i
in
range
(
5
)
)
# 计算生成器的所有元素中的最大值
print
(
max_value
)
# 16
首次发表于: 微信公众号:科技老丁哥,ID: TechDing,敬请关注。
本文所有代码都已经上传到我的github,欢迎下载
参考资料:
- 《流畅的Python》,Luciano Ramalho (作者) 安道 , 吴珂 (译者)。