先给结论:不要直接删掉重复的转化记录,也不要只保留修复后的干净数据。正确做法是把修复前的原始记录冻结留存,修复后另建一套可对照的记录,再用一个明确的对照口径回答“修复是否真的减少了重复”。下面以你手上的一份转化明细或后台导出表为对象,一步步说明怎么落地。
重复触发的成因不同,保留策略也不同。常见有三类:
判断依据不是“看起来像”,而是可核对的字段:转化标识、时间戳、来源标识、事件类型。如果这几项高度一致,才更可能是同一动作的重复;如果时间跨度大、来源不同,则更可能是两件独立的事,不能当成重复处理。把这条判断写进你的记录表,后续修复才有依据。
动手修之前,先做一份只读快照,这是保留“修复前”的关键动作。具体做法:
这一步的结果会直接影响下一步:如果快照缺失,修复后你将无法回答“到底少了多少条、少的是不是重复”,只能凭感觉判断,后续任何调整都失去参照。
修复动作(例如加去重规则、改上报逻辑、调整回传时机)执行后,不要在原表上直接改数。新建一份对照记录,字段至少包含:转化标识、事件时间、来源、修复前是否计入、修复后是否计入、判定为重复的理由。
这样做的价值在于,你能同时看到两个数:修复前的计数和修复后的计数。两者之差就是被去掉的重复量。如果只留修复后的数,你无法区分“重复被正确去掉”和“真实转化被误删”——这两种情况在总数下降时长得一模一样。
一个假设例子说明比较方法:假设修复前某时间窗内记录为 100 条,其中 30 条判定为重复,修复后为 70 条。若这 30 条确实都是同一动作的重复,则真实转化约为 70;若其中混入了 5 条独立转化,则真实值应接近 75。差别不在数字本身,而在于你是否保留了逐条判定依据去复核。
有效性不能只看总量下降。建议固定一个观察窗口,分别统计修复前后同一窗口内的记录数,并逐条核对被去掉的部分。判断标准可以写成:
这里要提醒一点:请求量、抓取量或某条统计突然归零,并不能单独证明修复正确。它也可能是数据延迟、上报中断或时间窗取错造成的。遇到归零,先检查这几项,再下结论。
个别样本成立,不等于规模化后仍然成立。以下边界需要提前说明:
因此,规模化之前先在一小段数据上跑通“冻结快照—对照记录—逐条复核”这条链路,确认去重不会误伤真实转化,再扩大到全量。这样每一步的结果都能反过来指导下一步,而不是修完才发现无从对照。