使用正则表达式实现基于子字符串的 Pandas DataFrame 左连接

霞舞 2026-01-12 00:00:00 次阅读

本文介绍如何在 pandas 中对两个 dataframe 进行基于子字符串匹配的左连接：从 `b["id"]` 中提取 `a["name"]` 的精确单词匹配项，并完成一对一（`a` 行）到多对一（`b` 行）的关联，最终生成含匹配 id 或 nan 的结果表。

在实际数据处理中，常遇到“字段不完全相等但存在包含关系”的连接需求——例如 a["Name"] 是人名，而 b["ID"] 是形如 "Dale-999999" 的复合标识符。此时无法直接使用 merge(on=...)，需先构造语义对齐的连接键。

核心思路是：在 b 表中新增一列 _name，该列从 b["ID"] 中精确提取出属于 a["Name"] 集合的子字符串（要求单词边界匹配，避免误匹配如 "Bill" 匹配 "Billy"），再以此列与 a["Name"] 执行左连接。

具体实现如下：

import pandas as pd

a = pd.DataFrame({"Name": ["Boomhaur", "Dale", "Bill", "Hank"]})
b = pd.DataFrame({"ID": ["Boomhaur-2345", "Dale-999999", "Bill-000", "Bill-001", "Peggy-420"]})

# 1. 构建正则模式：使用 \b 确保单词边界，防止部分匹配（如 'ill' 匹配 'Bill'）
names_pattern = r'\b(' + '|'.join(a['Name'].str.replace(r'([\\.^$*+?{}\[\]|()])', r'\\\1', regex=True)) + r')\b'

# 2. 从 b["ID"] 中提取匹配的 Name（返回首匹配项，符合“至多一个 a 行匹配”约束）
b['_name'] = b["ID"].str.extract(names_pattern)

# 3. 左连接：a 每行保留，b 中匹配的行展开（支持一对多）
result = a.merge(b, how='left', left_on='Name', right_on='_name')

# 4. 清理中间列（可选）
result = result.drop(columns=['_name'])

输出结果为：

       Name             ID
0  Boomhaur  Boomhaur-2345
1      Dale    Dale-999999
2      Bill       Bill-000
3      Bill       Bill-001
4      Hank            NaN

⚠️ 注意事项：

正则转义：若 a["Name"] 中含正则元字符（如 ., *, +），必须预先转义（如示例中 str.replace(...)），否则会导致匹配异常；
匹配优先级：str.extract() 默认返回首个成功匹配，符合题设“每个 b["ID"] 至多对应一个 a["Name"]”的约束；
性能提示：当 a["Name"] 规模较大（>1000）时，建议改用 b["ID"].apply() + 预编译正则对象提升效率；
空值处理：未匹配的 a 行在 ID 列自动填充 NaN，符合左连接语义。

该方法兼顾准确性（单词边界）、可读性与扩展性，是处理“命名前缀式 ID 关联”场景的标准实践。