本文介绍一种高效、可扩展的方法，使用 pd.concat() 配合布尔索引实现两表按指定列（支持单列或多列）合并：保留 df2 的全部行，仅补充 df1 中在 df2 中完全不存在的行（含重复），避免 combine_first 导致的重复膨胀问
题。
在 Pandas 数据处理中，当需要“以 df2 为主、df1 为辅”合并两个结构相同的数据框（即：保留 df2 的所有行，同时只追加 df1 中在 df2 中完全未出现过的记录（包括重复行）），直接使用 combine_first 或 merge 往往会因索引对齐逻辑导致重复行被错误广播——正如示例中 A=123 的行从 df2 的 4 行 + df1 的 2 行，意外膨胀为 8 行。
正确解法是：显式分离“覆盖部分”与“补充部分”，再垂直拼接：
✅ 推荐方案：concat + 布尔索引（高效、清晰、支持多列）
import pandas as pd
from io import StringIO
# 示例数据
csv1_data = """A,B,C,D
123,xyz,S1,1111
123,xyz,S1,1111
234,mno,S3,2222
999,abc,S9,9999
999,abc,S9,9999"""
csv2_data = """A,B,C,D
123,abc,S1,1234
123,abc,S1,1234
123,abc,S1,1234
123,cde,S2,2345
234,nop,S3,
567,pqr,S5,5555"""
df1 = pd.read_csv(StringIO(csv1_data), dtype=str, keep_default_na=False)
df2 = pd.read_csv(StringIO(csv2_data), dtype=str, keep_default_na=False)
# ✅ 核心逻辑：取 df2 全部 + df1 中 A 值不在 df2.A 中的行（保留原始重复）
key_col = 'A'
result = pd.concat([
df2,
df1[~df1[key_col].isin(df2[key_col])]
], ignore_index=True)
print(result)输出：
A B C D 0 123 abc S1 1234 1 123 abc S1 1234 2 123 abc S1 1234 3 123 cde S2 2345 4 234 nop S3 5 567 pqr S5 5555 6 999 abc S9 9999 7 999 abc S9 9999
? 支持多列联合标识（动态适配）
当关键标识不止一列（如 ['A', 'B'] 或 ['A', 'A1', 'A2']），只需将列名列表传入，并利用 MultiIndex.isin() 进行精确匹配：
key_cols = ['A'] # 可动态替换为 ['A', 'B']、['A', 'A1', 'A2'] 等 # 构建 MultiIndex 进行成员判断 df1_mask = ~df1.set_index(key_cols).index.isin(df2.set_index(key_cols).index) result = pd.concat([df2, df1[df1_mask]], ignore_index=True)
? 性能提示：该方法时间复杂度为 O(n + m)，远优于基于索引重排的 combine_first（易触发内部广播），特别适合百万级数据场景。
⚠️ 注意事项与最佳实践
- 不要用 set_index 后 combine_first：它会将 df1 中每个匹配索引的所有行与 df2 中对应索引的所有行做笛卡尔式填充，导致重复爆炸；
- isin 判断基于值而非位置：确保 key 列类型一致（如都为字符串），避免因 int/str 混合导致匹配失败；
-
空值（NaN）需预处理：isin() 对 NaN 默认返回 False，若业务允许 NaN 作为有效键，建议先用 fillna() 统一占位符（如 "
"）； - 内存友好：全程不修改原 DataFrame，无需 .copy()，ignore_index=True 保证结果索引连续。
综上，pd.concat([df2, df1[~df1[key].isin(df2[key])]]) 是解决“主从式去重合并”的简洁、健壮且高性能的标准范式，兼顾可读性与工程可维护性。
