番号列表去重方法

去重的准准则

1. 规范化后再比对：把所有番号统一为"全大写 + 有分隔符 + 补零到标准位数 + 保留后缀"
2. 后缀视为不同版本：ABC-123 与 ABC-123-VR 是不同条目，不去重
3. 大小写视为同一条：abc-123 与 ABC-123 视为同一条
4. 分隔符统一后视同：ABC123 与 ABC-123 规范化后视同

规范化流程

1. 全部大写: abc-123 → ABC-123
2. 加分隔符: ABC123 → ABC-123
3. 补零位数: ABC-1 → ABC-001（若厂牌标准是 3 位）
4. 保留后缀: ABC-123-VR 与 ABC-123 分开
5. 结果：形成唯一 key 用于去重

常见误去重

• 把 -VR / -C 后缀版本当重复
• 把复刻版与原版当重复
• 把合集与合集内组成片段当重复

跨库合并

从多家番号库获取的列表合并去重时，除了番号规范化，还需处理：

• 同一作品在两库的片名不同：以厂牌官方为准
• 字段冲突：以更权威源为准
• 库特有字段：合并保留

去重后的验证

1. 抽样检查规范化是否误合并了不同作品
2. 检查去重前后总数差是否合理
3. 随机抽 20 条与原始 metadata 对照