ソースのfreshnessチェック

source freshness(ソースの鮮度チェック)は、ソーステーブルのデータがどれくらい新しいかを検証する機能。「このデータは1時間以内に更新されているはずだ」といったSLA(サービスレベル合意)を満たしているかを確認するために使う。

sources:
  - name: my_source
    tables:
      - name: orders
        loaded_at_field: updated_at
        freshness:
          warn_after: {count: 1, period: hour}
          error_after: {count: 2, period: hour}

loaded_at_fieldで「データがいつ読み込まれたか」を示すカラムを指定し、warn_after・error_afterでどれくらい遅延したら警告・エラーとするかを設定する。dbt source freshnessコマンドで検証を実行し、SLAより短い間隔(目安としてSLAの半分程度)で定期的にチェックすることが推奨されている。