dbtとは何か

dbt(data build tool)は、DWH(データウェアハウス)に読み込んだ生データを、SQLのSELECT文だけで信頼できるデータプロダクトへと変換するためのツールである。

ETL(Extract-Transform-Load)が抽出・変換をロード前に行うのに対し、dbtはデータをまず抽出・ロードしたあとにウェアハウス内で変換を行う「ELT(Extract-Load-Transform)」の「T(変換)」を担う。

dbtの特徴は、SQLを書くだけのアナリティクス業務に、以下のようなソフトウェアエンジニアリングのベストプラクティスを持ち込むことにある:

• バージョン管理: Gitでモデルの変更履歴を管理
• テスト: データ品質を自動的に検証
• ドキュメント: コードと一緒にドキュメントを生成
• 依存関係の管理: モデル同士の依存関係を自動的に解決し、正しい順序で実行

このコースでは、dbtの基本的な考え方と仕組みを扱う。