ひとことで言うと
データ重複排除は、同じ会社や設備などを複数行で登録してしまった状態を見つけ、代表レコードを決めて整理することです。
実務で何をする?
名称、住所、識別子などを照合して重複候補を抽出します。統合前に原本と更新日時を確認し、削除ではなく統合履歴を残します。
よくある誤解
文字列が同じ行だけを削除すればよいとは限りません。表記ゆれや別名を見落とすと、重複を残したり別の対象を誤統合したりします。
具体例
拠点名の表記ゆれと住所を突き合わせ、同じ工場の電力データを一つの拠点IDに統合して集計する。
よくある誤解
重複候補を確認せず、行番号だけを頼りに片方のレコードを一括削除すること。