Pandas数据处理：将多层字典列表转换为统一DataFrame并进行词频统计（词频.数据处理.转换为.多层.字典...）

在处理从数据库或API获取的复杂数据时，将分散的、多层结构的字典列表高效地转换为单个Pandas DataFrame并进行词频统计是一个常见需求。本文将详细介绍如何通过数据整合、利用Pandas的explode和value_counts等功能，避免生成多个独立的DataFrame，最终获得一个清晰、整合的词频统计结果。1. 引言：处理多层字典列表的挑战

在数据分析和处理的实践中，我们经常会遇到从各种数据源（如数据库查询结果、API响应等）获取的数据，其结构可能并非直接适合Pandas DataFrame的创建。一个典型场景是，数据以列表的列表形式存在，或者在处理过程中，由于迭代方式不当，导致每次循环都生成一个独立的DataFrame。例如，原始数据可能看起来像是多个独立的字典列表拼接在一起：

[{'case_id': 22, 'case_subject': 'followup'}, {'case_id': 22, 'case_subject': 'rma'}, ...]
[{'case_id': 26, 'case_subject': 'c'}, {'case_id': 26, 'case_subject': 'ge'}, ...]
...

如果直接尝试将这种结构转换为DataFrame，或者在循环中反复调用pd.DataFrame()，就会导致生成多个DataFrame，而不是我们期望的一个统一的DataFrame。我们的目标是，无论原始数据如何分散，最终都能得到一个包含所有信息的单一DataFrame，并在此基础上进行进一步的分析，例如对case_subject字段中的词进行频率统计。

2. 数据准备与整合：构建统一的字典列表

解决上述问题的关键在于，在将数据传递给pd.DataFrame()构造函数之前，确保所有待处理的数据行都已经被收集到一个单一的Python列表中，其中列表的每个元素都是一个字典，代表DataFrame的一行。

以下代码示例模拟了从原始数据源（如数据库游标cur.fetchall()）获取数据，并将其转换为这种统一格式的过程。假设raw_db_data变量包含了从数据库获取的原始行，每行包含一个case_id和一个case_subject的字符串描述。

Teleporthq

一体化AI网站生成器，能够快速设计和部署静态网站

182 查看详情

import pandas as pd
import re

# 模拟从数据库获取的原始数据
# 实际场景中，data可能来自 cur.fetchall()，例如：
raw_db_data = [
    (22, 'followup rma ticket 61555'),
    (26, 'c ge app logs request'),
    (30, 'refund request return refund pending partial payment'),
    (34, 'unable control devices via mfg configured devices'),
    (38, 'trouble connecting alexa')
]

# 用于收集所有字典的单一列表
output_data = []

for row in raw_db_data:
    case_id = row[0]
    raw_subject_string = str(row[1])

    # 清理和标准化主题字符串
    # 移除特殊字符，保留字母数字和空格
    cleaned_subject = ''.join(e for e in raw_subject_string if (e.isalnum() or e.isspace()))
    # 替换多个空格为单个空格，并转换为小写，去除首尾空格
    standardized_subject = re.sub(r'\s+', ' ', cleaned_subject).lower().strip()

    # 将主题字符串分割成词列表
    subject_words = standardized_subject.split(" ")

    # 为每个词创建一个字典，并添加到 output_data 列表中
    for word in subject_words:
        if word: # 确保不是空字符串，避免生成无效行
            each_row = {"case_id": case_id, "case_subject": word}
            output_data.append(each_row)

# 此时，output_data 是一个包含所有扁平化字典的单一列表
print("整合后的数据示例 (output_data):")
print(output_data[:10]) # 打印前10个元素作为示例

代码解析：

• output_data = []：这是核心，它是一个空的列表，用于累积所有处理后的字典。
• 循环遍历raw_db_data中的每一行。
• cleaned_subject和standardized_subject：对原始主题字符串进行预处理，包括去除特殊字符、统一空格和转换为小写，以确保后续词频统计的准确性。strip()用于移除字符串两端的空白符。
• subject_words = standardized_subject.split(" ")：将清理后的主题字符串按空格分割成独立的词。
• 内层循环for word in subject_words:：对于每个分割出的词，我们都创建一个新的字典{"case_id": case_id, "case_subject": word}。
• output_data.append(each_row)：将这个新创建的字典添加到output_data列表中。

通过这种方式，无论原始数据有多少行或每个主题包含多少个词，所有的case_id和对应的case_subject词都将被收集到一个output_data的单一列表中。

3. 创建单一DataFrame并进行词频统计

一旦output_data这个统一的字典列表准备就绪，就可以轻松地创建一个单一的Pandas DataFrame，并在此基础上进行词频统计。以下是完整的处理流程：

# 假设 output_data 已经通过上一步骤生成
# output_data = [...]

# 1. 从整合后的字典列表创建单一DataFrame
df = pd.DataFrame(output_data)

# 2. 执行词频统计和数据整形
# 注意：在我们的 output_data 生成过程中，case_subject 已经是单个词了。
# 但为了兼容原始问题中可能存在多词字符串的情况，保留 str.split() 操作，
# 它会将单个词转换为单元素列表，后续 explode 仍能正常工作。
out = (df
       .assign(case_subject = lambda x: x['case_subject'].str.split()) # 将 case_subject 列的字符串按空格分割成列表
       .explode('case_subject')                                       # 展开列表，为每个词创建一行
       .value_counts(['case_id', 'case_subject'])                     # 对 case_id 和 case_subject 组合进行计数
       .rename('Case_Subject_Split_

以上就是Pandas数据处理：将多层字典列表转换为统一DataFrame并进行词频统计的详细内容，更多请关注知识资源分享宝库其它相关文章！

相关标签： word python app red Python pandas for 构造函数 字符串 循环 append 数据库 数据分析 word 大家都在看： Python怎样操作Word文档？python-docx库详解 Python怎样操作Word文档？python-docx教程 Python中如何操作Word文档？python-docx模块详细解析 如何用Python操作Word文档？python-docx教程 怎样用Python批量处理Word文档？python-docx操作技巧