Python中的生成器函数和
yield关键字，是处理大量数据或构建高效迭代器时非常强大的工具。它们的核心思想在于“按需生成”数据，而不是一次性将所有数据加载到内存中，这在很多场景下能显著提升性能和资源利用率。简单来说，
yield让一个函数能够暂停执行并返回一个值，然后在下次需要时从暂停的地方继续执行。
当我第一次接触
yield的时候，说实话，感觉有点“反直觉”。我们习惯了函数执行到
return就彻底结束，但
yield完全打破了这个模式。一个函数如果包含了
yield语句，它就不再是一个普通的函数，而变成了一个生成器函数。调用它并不会立即执行函数体，而是返回一个生成器对象。这个对象才是真正可迭代的。
每次我们从生成器对象中请求下一个值（比如通过
for循环或者手动调用
next()），生成器函数就会从上次暂停的地方继续执行，直到遇到下一个
yield语句，再次暂停并“吐出”一个值。当函数体执行完毕，或者遇到
return（在生成器中
return会终止迭代，并可选地返回一个值，但通常我们不这么用），生成器就会抛出
StopIteration异常，表示没有更多的数据了。
这种“惰性求值”的机制，是我认为
yield最迷人的地方。想象一下，你要处理一个几GB甚至几十GB的文件，如果一次性读入内存，你的程序可能直接就崩溃了。但用生成器，你可以一行一行地读取、处理，每次只占用极少的内存。
# 一个简单的生成器函数示例
def my_range(n):
i = 0
while i < n:
yield i
i += 1
# 使用生成器
print("通过for循环迭代:")
for num in my_range(5):
print(num)
print("\n手动通过next()获取:")
gen = my_range(3)
print(next(gen)) # 输出 0
print(next(gen)) # 输出 1
print(next(gen)) # 输出 2
try:
print(next(gen)) # 尝试获取第四个值，会触发StopIteration
except StopIteration:
print("迭代结束了！") 你看，它就像一个聪明的工厂，不是一次性生产所有产品，而是接到订单才生产一个，然后等着下一个订单。
Python生成器函数与普通函数有何本质区别？我觉得理解生成器和普通函数的核心差异，是掌握
yield的关键一步。最直观的区别在于，普通函数执行到
return语句后，会立即终止，并将
return后的值（或
None）作为结果返回给调用者。函数的局部变量和执行状态都会被销毁。
而生成器函数，它遇到
yield后，会暂停当前的执行，将
yield后面的值返回。但关键在于，它会“记住”当前的执行状态——包括所有的局部变量和执行到哪一行。下次调用它时，它会从上次暂停的地方继续执行，而不是从头开始。这就像你读一本小说，读到一半合上书，下次打开时能直接从上次的章节继续读，而不是每次都从第一页开始。
从技术层面讲，普通函数返回的是一个具体的值，而生成器函数返回的是一个迭代器（或者说生成器对象），这个对象实现了迭代器协议（即有
__iter__和
__next__方法）。这意味着你可以用
for循环去遍历它，或者用
next()函数逐个获取值。这种差异，直接决定了它们在内存管理和处理大型数据集时的效率天壤之别。 在哪些实际场景下，我们应该优先考虑使用Python生成器？
我个人在使用Python处理数据时，一旦发现需要迭代处理大量数据，或者数据源是流式的、无限的，我几乎会本能地想到生成器。
-
处理大型文件或数据集： 这是最典型的应用场景。比如你需要读取一个日志文件，分析其中包含特定关键字的行。如果文件有几十GB，你不可能一次性读入内存。用生成器，你可以逐行读取，逐行处理，内存占用始终保持在一个非常低的水平。
def read_large_file(filepath): # 实际应用中，这里应该处理文件不存在等异常 try: with open(filepath, 'r', encoding='utf-8') as f: for line in f: yield line.strip() except FileNotFoundError: print(f"文件未找到: {filepath}") # 可以选择抛出异常或返回空生成器 return # 假设有一个很大的'access.log'文件 # 创建一个模拟的大文件 with open('test_access.log', 'w') as f: for i in range(10000): f.write(f"Line {i}: This is a log entry. {'ERROR' if i % 100 == 0 else ''}\n") print("\n处理模拟日志文件:") for log_entry in read_large_file('test_access.log'): if "ERROR" in log_entry: print(f"发现错误日志: {log_entry}") -
生成无限序列： 比如斐波那契数列，或者一个计数器。你无法一次性生成所有这些数字，因为它们是无限的。生成器可以按需提供。
def fibonacci_sequence(): a, b = 0, 1 while True: # 无限循环，因为斐波那契数列是无限的 yield a a, b = b, a + b print("\n生成斐波那契数列的前10个数字:") fib_gen = fibonacci_sequence() for _ in range(10): print(next(fib_gen)) # 打印前10个斐波那契数 -
数据管道和流式处理： 当你需要对数据进行一系列转换时，生成器可以构建一个高效的“管道”。每个生成器函数负责一个步骤，数据在管道中流动，每次只处理一小块，而不是在每个步骤都创建中间列表。
def filter_evens(numbers): for num in numbers: if num % 2 == 0: yield num def square_numbers(numbers): for num in numbers: yield num * num data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] # 传统方式可能需要创建中间列表，占用更多内存 # evens = [n for n in data if n % 2 == 0] # squared_evens = [n*n for n in evens] # 生成器管道 print("\n通过生成器管道处理数据:") processed_data = square_numbers(filter_evens(data)) for res in processed_data: print(res) # 输出 4, 16, 36, 64, 100这种链式调用，在我看来，不仅高效，代码也更清晰。
当我们谈到生成器时，除了生成器函数，还有一个非常简洁且同样强大的工具——生成器表达式。我常常把它看作是列表推导式（List Comprehension）的“惰性”版本。
生成器表达式的语法非常像列表推导式，只是它使用圆括号
()而不是方括号
[]。
# 列表推导式：立即创建一个包含所有元素的列表
# my_list = [x * x for x in range(1000000)] # 会立即占用大量内存，慎用大范围
# 生成器表达式：创建一个生成器对象，按需生成值
my_gen_exp = (x * x for x in range(1000000)) # 几乎不占用内存，直到你迭代它
print("\n生成器表达式示例:")
print(f"生成器表达式对象: {my_gen_exp}")
print(f"第一个值: {next(my_gen_exp)}") # 输出 0
print(f"第二个值: {next(my_gen_exp)}") # 输出 1
# 我们可以继续迭代
for _ in range(3):
print(next(my_gen_exp)) # 输出 4, 9, 16 区别：
-
语法： 生成器函数使用
def
定义和yield
关键字；生成器表达式是类似推导式的单行语法，用圆括号包裹。 - 返回类型： 生成器函数返回一个生成器对象；生成器表达式直接生成一个生成器对象。
- 复杂性： 生成器函数可以包含多行逻辑、条件判断、循环甚至异常处理，适合复杂的逻辑；生成器表达式更适合简单的、单行可表达的转换或过滤操作。
- 重用性： 生成器函数可以有参数，可以被多次调用以创建新的生成器实例；生成器表达式通常是即时创建，如果需要多次迭代同一个逻辑，可能需要重新创建表达式（或者将其封装到函数中）。
相同点：
- 惰性求值： 两者都实现了惰性求值，按需生成数据，而不是一次性生成所有数据。
- 内存效率： 都非常内存高效，尤其是在处理大型数据集时。
-
迭代器协议： 两者都返回实现了迭代器协议的对象，可以被
for
循环遍历，或通过next()
获取值。
在我看来，如果你需要一个简单的、一次性的迭代器，生成器表达式是优雅且高效的选择。但如果逻辑更复杂，或者你需要封装更强的复用性，那么生成器函数无疑是更好的工具。选择哪一个，更多时候取决于你代码的复杂度和可读性需求。
以上就是Python中生成器函数用法详解 Python中yield关键字教程的详细内容，更多请关注知识资源分享宝库其它相关文章！
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。