データリネージ

データリネージ(データ系譜)とは、あるデータが「どこから来て、どのような加工を経て、どこで使われているか」という履歴・経路を指す。dbtコースで学んだref()によるモデル間の依存関係の可視化も、データリネージの一種の実践にあたる。

データリネージを把握できていることの効用:

• あるデータに誤りが見つかったとき、どの下流のレポート・システムに影響するかをすぐに特定できる(影響範囲分析)
• レポートの数値の根拠を、元データまで遡って説明できる(説明責任の担保)
• ソースシステムを変更する際に、どのデータ基盤に影響するかを事前に把握できる

データリネージは、メタデータ管理の一部として、データカタログと合わせて整備されることが多い。手作業でドキュメント化するのは大変なため、dbtのようなツールがモデル定義から自動的にリネージ図を生成する仕組みを提供していることも多い。