[dbt] 作成したデータモデルの使い方を示すことができるExposuresを使ってみた

[dbt] 作成したデータモデルの使い方を示すことができるExposuresを使ってみた

露出していること。人前や社会に出ること。
Clock Icon2022.01.11

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

大阪オフィスの玉井です。

最近、見ていない間に、dbtにも色々な機能が増えております。

今回は、Exposuresという機能を使ってみたいと思います。

概要

公式ドキュメントの解説を(多少崩しながら)そのまま読むならば、「dbtのプロジェクトの下流での利用を定義する」といったところでしょうか。もう少し、自分なりの解釈を挟むと、dbtで生成したデータモデルの使いみちを記述できる(補足する)機能かと思いました。

使ってみるとわかりますが、dbt docs generateで生成できるドキュメントに、そのデータモデルの「使いみち」を追記できる形となります。

というわけで、実際に使ってみたいと思います。

やってみた

環境

  • dbt Cloud
    • dbt v1.0

Exposuresはymlファイルに追記する

ここでいうymlファイルとは、sourceとかtestとかを書いているymlファイルのことです。modelsディレクトリ下に作成するymlファイルです(dbt_project.ymlではない)。

結論から先に言うと、下記のように記述します。

exposures:
  
  - name: 顧客情報
    type: dashboard
    maturity: medium
    url: https://dev.classmethod.jp/author/tama/
    description: >
      このデータは、Tableauの顧客分析ダッシュボードに使われるテーブル群ですわ!!!!!!!!。
    
    depends_on:
      - ref('dim_customers')
      - ref('stg_customers')
      - ref('stg_orders')
      - source('jaffle', 'raw_order')
      - source('jaffle', 'raw_customer')
      
    owner:
      name: 玉井励
      email: [email protected]

パラメータのうち、入力が必須なのは、以下の3点です。

  • name
    • Exposuresの名前
  • type
    • データモデルの使いみちの種類を指定します。値は決まっており、dashboardとかml等があります(ドキュメント上でこれらのカテゴリ別に整理されるようです)。
  • owner: email
    • Exposuresを定めた人物のメールアドレスを入力します。このデータモデル群の詳細を聞く相手…って感じでしょうか。

重要なパラメータなのはdepends_onです。Explosuresで示した使いみちの対象となるデータモデルを指定します(私が検証した限り、各順番はテキトーで大丈夫です。依存関係はdbt側が認識するようです)。

コマンドを叩いてExposuresを適用する

dbt docsにExposuresを反映するには、dbtコマンドを実行するのですが、例えば下記を実行すると、depends_onで指定しているデータモデルに対してrunが実行され、かつexposuresがドキュメントに反映されます。runじゃなくてtestとかでもいけるようです。

dbt run -s +exposure:顧客情報

公式ドキュメントには特に言及されていないのですが、(例えば、Exposuresの内容を編集した後)普通にdbt docs generateを実行するだけでも、dbt docsに内容が反映されました。

Exposuresを確認する

反映したら、dbt docsを見てみましょう。

まず、左側のメニューに「Exposures」が追加されており、その下に今回追加したものが反映されています(typeで指定したカテゴリ的なやつも、ここに反映されるようです)。

これをクリックすると、Exposuresの詳細を確認することができます。ymlファイルに記述した内容が反映されていますね。ちなみに、右上の「View this exposure」を押すと、urlパラメータに指定されているURLに遷移します。BIツール用のデータモデルであれば、そのBIツールのダッシュボードに飛ばす等が理想の設定でしょうか。

DAGも見ることが出来ます。depends_onで指定したデータモデルの依存関係がわかります。最終的には、別色で表現されたExposuresに集約されるようになっていました。

おわりに

データカタログのちょっとした代替になるかな?という感じでした(タグとかもつけれそうなので)。dbtの活用が進めば進むほど「これはどういう理由で作られたデータモデルなんだろう…」となるので、ある程度dbtに慣れてきたら、ぜひ活用していきたい機能ですね。

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.