在数据处理过程中，我们经常会遇到需要从一列字符串中提取多个子信息的情况。例如，一个数据列可能包含用逗号分隔的原始价格和折扣价格，但这些价格数字本身又使用了逗号作为千位分隔符。
考虑以下示例数据：
'$1,149.99,$1,249.99' # 两个价格，都含千位分隔符 '$124.99' # 单个价格 '$549.95' # 单个价格 '$149.00,$159.99' # 两个价格，都含千位分隔符
如果直接使用Pandas的str.split(',')方法进行拆分，例如：
data_phones[['actual_price', 'installment_price']] = data_phones['prices'].str.split(',', n=1, expand=True) 由于数字内部的千位分隔符也是逗号，这种方法会导致错误的拆分。例如，'$1,149.99,$1,249.99' 可能会被错误地拆分成 ['$1', '149.99', '$1', '249.99']，而不是我们期望的 ['$1,149.99', '$1,249.99']。这显然无法满足数据清洗的需求。
2. 基于正则表达式的精确拆分策略为了克服上述问题，我们需要一种更智能的拆分机制，能够区分作为值分隔符的逗号和作为千位分隔符的逗号。正则表达式提供了一种强大的解决方案，允许我们定义更复杂的匹配模式。
核心思想是：只在紧接着一个美元符号（或其他特定模式）的逗号处进行拆分。这可以通过使用正向先行断言 (Positive Lookahead) 来实现。
我们将使用的正则表达式是 ",(?=\$)"。
- ,：匹配一个字面意义上的逗号。
- (?=$)：这是一个正向先行断言。它表示“匹配前面的逗号，但只有当这个逗号后面紧跟着一个美元符号 $ 时才匹配”。$ 在正则表达式中通常表示行尾，但在这里，它被反斜杠 \ 转义，表示匹配字面意义上的美元符号。
通过这种方式，我们确保只有在两个价格字符串之间的逗号才会被识别为分隔符，而价格数字内部的千位分隔符则会被忽略。
Post AI
博客文章AI生成器
50
查看详情
3. 示例代码与实现
下面是一个完整的Pandas示例，演示如何使用正则表达式进行精确拆分：
import pandas as pd
# 示例数据
data = [
'$1,149.99,$1,249.99',
'$124.99',
'$549.95',
'$149.00,$159.99'
]
# 创建DataFrame
df = pd.DataFrame(data, columns=['prices'])
print("原始数据：")
print(df)
print("\n" + "="*30 + "\n")
# 使用正则表达式进行拆分
# ",(?=$)" 匹配一个逗号，但仅当该逗号后面紧跟着一个美元符号时
df_split = df['prices'].str.split(",(?=\$)", expand=True)
# 为拆分后的列命名
df_split.columns = ['actual_price', 'discounted_price']
print("拆分后的数据：")
print(df_split) 代码解释：
- import pandas as pd：导入Pandas库。
- df = pd.DataFrame(data, columns=['prices'])：创建一个包含示例数据的DataFrame。
- df['prices'].str.split(",(?=\$)", expand=True)：
- df['prices'].str：访问Series的字符串方法。
- split()：执行字符串拆分操作。
- ",(?=$)"：我们定义的正则表达式模式。
- expand=True：将拆分结果扩展为新的DataFrame列，而不是一个Series的列表。
运行上述代码，我们将得到以下输出：
原始数据：
prices
0 $1,149.99,$1,249.99
1 $124.99
2 $549.95
3 $149.00,$159.99
==============================
拆分后的数据：
actual_price discounted_price
0 $1,149.99 $1,249.99
1 $124.99 None
2 $549.95 None
3 $149.00 $159.99 从输出可以看出，正则表达式成功地将包含两个价格的字符串拆分成了两列：actual_price 和 discounted_price。对于只包含一个价格的行，第二列 discounted_price 则被填充为 None，这符合预期行为。现在，每个价格字符串都保持了其完整的格式，包括千位分隔符。
5. 注意事项与扩展-
数据格式依赖性： 本教程中的正则表达式 ",(?=$)" 强烈依赖于价格以美元符号 $ 开头的特定格式。如果您的数据使用不同的货币符号（例如 €、¥）或根本没有货币符号，则需要相应地调整正则表达式。
- 例如，如果价格以欧元符号开头：",(?=€)"
- 如果价格不含货币符号，但下一个价格总是以数字开头：",(?=\d)" (匹配逗号后紧跟一个数字)。
- 处理 None 值： 拆分后可能出现 None 值（如本例中只有单个价格的情况）。在后续的数据处理中，您可能需要对这些 None 值进行填充、转换或过滤。
- 进一步的数据清洗： 拆分后的价格仍然是字符串类型，并且包含货币符号和逗号。通常，您需要进一步处理这些列，将其转换为数值类型以便进行计算。这通常涉及使用 str.replace() 移除 $ 和 ,，然后使用 astype(float) 转换为浮点数。
在Pandas中处理复杂的字符串拆分任务时，简单的 str.split() 方法往往不足以应对包含混合分隔符的情况。通过结合正则表达式和Pandas的字符串方法，我们可以构建出强大而灵活的数据清洗方案。本文介绍的 ",(?=$)" 正则表达式及其正向先行断言，为在特定上下文（如价格字符串）中精确区分分隔符提供了一个高效的范例，确保了数据拆分的准确性和完整性。掌握这种技术，将有助于您更有效地处理真实世界中复杂多变的数据格式。
以上就是使用Pandas和正则表达式高效拆分含混合分隔符的字符串列的详细内容，更多请关注知识资源分享宝库其它相关文章！
相关标签： 正则表达式 数据清洗 币 正则表达式 pandas Float 字符串 值类型 字符串类型 大家都在看： 获取 GitHub 仓库最后更新时间：使用 PyGithub 的正确方法 python如何将list转换为set_python列表list与集合set的相互转换 Python 列表元素添加与顺序索引管理教程 如何正确合并PEFT LoRA适配器与基础模型 Python 列表元素交换：len() 函数、负索引与Pythonic实践
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。