Pandas DataFrame差异识别与来源追溯教程（追溯.识别.差异.来源.教程...）

本教程详细介绍了如何使用Pandas库高效比较两个DataFrame，识别出它们之间的差异行，并明确这些差异行来源于哪个原始DataFrame。我们将利用pd.merge函数的indicator=True参数来自动生成来源标识，并进一步探讨在合并过程中如何保留并追踪原始DataFrame的行索引，从而实现更精细的数据差异分析。识别DataFrame差异行及其来源

在数据分析中，经常需要比较两个结构相似但内容可能存在差异的DataFrame，例如比较当前估算与历史估算数据。Pandas提供了强大的合并（merge）功能，结合特定的参数，可以轻松实现这一目标。

核心方法是使用pd.merge函数，并设置how='outer'和indicator=True。

• how='outer'：执行外连接，这意味着它会保留两个DataFrame中所有不匹配的行，以及匹配的行。
• indicator=True：这个参数是关键，它会在结果DataFrame中添加一个名为_merge的特殊列。这个列会指示每一行来源于哪个原始DataFrame：
  • left_only：该行仅存在于左侧DataFrame（合并时传入的第一个DataFrame）。
  • right_only：该行仅存在于右侧DataFrame（合并时传入的第二个DataFrame）。
  • both：该行在两个DataFrame中都存在且匹配。

通过筛选_merge列不为'both'的行，我们就能得到所有存在差异的行。

示例代码：识别差异行并标注来源

假设我们有两个DataFrame，df_current_est代表当前估算，df_previous_est代表历史估算。

import pandas as pd

# 模拟数据
df_current_est = pd.DataFrame({
    'EstimateID': [10061, 10062, 10063],
    'Season': [2023, 2023, 2023],
    'RPIN': ['R1000', 'R2000', 'R3000'],
    'GrowMethodCode': ['FO', 'FO', 'FO'],
    'Variety_code': ['002', '068', '001'],
    'Packout_pc': [0.60, 0.76, 0.80],
    'QtyBins': [320, 1000, 500]
})

df_previous_est = pd.DataFrame({
    'EstimateID': [10061, 10062, 10064],
    'Season': [2023, 2023, 2023],
    'RPIN': ['R1000', 'R2000', 'R4000'],
    'GrowMethodCode': ['FO', 'FO', 'FO'],
    'Variety_code': ['002', '068', '003'],
    'Packout_pc': [0.60, 0.76, 0.90],
    'QtyBins': [9000, 90000, 600]
})

print("df_current_est:")
print(df_current_est)
print("\ndf_previous_est:")
print(df_previous_est)

# 执行外连接并添加指示器
merged_df = pd.merge(df_current_est, df_previous_est, how='outer', indicator=True)

# 筛选出存在差异的行（即不完全匹配的行）
changed_df = merged_df[merged_df['_merge'] != 'both'].copy()

# 打印结果，_merge列清晰地指示了行的来源
print("\n差异行及其来源:")
print(changed_df)

输出解释： 在上述示例中，changed_df将包含所有在df_current_est和df_previous_est之间不完全匹配的行。_merge列的值（left_only或right_only）明确告诉我们该差异行是来自当前估算还是历史估算。例如，如果EstimateID为10061的行在df_current_est中QtyBins为320，而在df_previous_est中QtyBins为9000，那么即使其他列相同，由于QtyBins不同，这两行也会被视为差异，并分别显示为left_only和right_only。

注意事项：

• 不要删除_merge列： _merge列是indicator=True参数生成的关键信息，如果将其删除，就无法直接判断行的来源了。
• 定义“差异”： pd.merge默认是基于所有共享列进行匹配。如果只想基于部分列进行匹配并找出其他列的差异，需要明确指定on参数，并在后续处理中比较非on列。本教程的例子是基于所有列进行匹配。

保留原始DataFrame的行索引

在某些情况下，除了知道差异行来自哪个DataFrame外，我们可能还需要知道这些差异行在原始DataFrame中的具体行索引。_merge列本身不保留原始的行索引信息，因为它生成的是一个新的DataFrame。为了追踪原始索引，我们需要在合并之前将索引转换为普通列。

示例代码：保留原始索引

import pandas as pd

# 模拟数据，带有自定义索引
df1 = pd.DataFrame({'key': ['one', 'two', 'three'], 'value1': [1, 2, 3]},
                   index=[101, 102, 103])
df2 = pd.DataFrame({'key': ['two', 'four', 'three'], 'value2': [20, 40, 30]},
                   index=[201, 202, 203])

print("df1 (带索引):")
print(df1)
print("\ndf2 (带索引):")
print(df2)

# 在合并前将索引重置为列，并指定后缀以区分
merged_df_with_indices = (
    pd.merge(df1.reset_index(),  # 将df1的索引转换为'index'列
             df2.reset_index(),  # 将df2的索引转换为'index'列
             on='key',           # 以'key'列为基准进行合并
             suffixes=('_df1', '_df2'), # 为重复列名（包括'index'）添加后缀
             how='outer',
             indicator=True)
)

# 筛选出差异行
changed_df_with_indices = merged_df_with_indices.query('_merge != "both"')

print("\n差异行及其来源和原始索引:")
print(changed_df_with_indices)

输出解释： 在这个例子中：

1. df1.reset_index()将df1的索引（101, 102, 103）转换为一个名为index的普通列。df2也进行同样操作。
2. suffixes=('_df1', '_df2')参数在合并时，如果遇到相同名称的非合并键列（如这里的index），会自动添加后缀，生成index_df1和index_df2。
3. 最终的changed_df_with_indices不仅包含_merge列指示来源，还包含了index_df1和index_df2列，分别对应差异行在原始df1和df2中的索引。对于left_only的行，index_df2会是NaN；对于right_only的行，index_df1会是NaN。

总结

通过本教程，我们学习了如何利用pd.merge函数的how='outer'和indicator=True参数来有效地识别Pandas DataFrame之间的差异行，并清晰地追溯每条差异行的原始来源。此外，我们还探讨了通过在合并前重置索引的方法，来保留并追踪差异行在原始DataFrame中的具体行索引，这对于需要回溯数据源的复杂分析场景至关重要。掌握这些技巧，将极大地提升您在处理和比较DataFrame数据时的效率和准确性。

以上就是Pandas DataFrame差异识别与来源追溯教程的详细内容，更多请关注知识资源分享宝库其它相关文章！