[2024年7月3日号]個人的に気になったModern Data Stack情報まとめ

[2024年7月3日号]個人的に気になったModern Data Stack情報まとめ

Clock Icon2024.07.03

さがらです。

Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。

そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。

※注意事項:記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。

Data Warehouse/Data Lakehouse

Snowflake

Streamlit in SnowflakeのカスタムUI機能がパブリックプレビュー

Streamlit in Snowflakeの新機能として、Cutsom HTML、CSS、JavaScriptを用いたUIのカスタマイズを行える機能がパブリックプレビューとなりました。

https://docs.snowflake.com/release-notes/2024/other/2024-06-28-sis

https://docs.snowflake.com/developer-guide/streamlit/additional-features

Snowflake Summit 2024の最終日に開催されたDev Dayのまとめ記事

先月行われたSnowflake Summit 2024ですが、最終日にSnowflakeとしては初のDev Dayが開催され、その内容をまとめた記事が出ていました。

私は残念ながらSummitに参加できていなかったのですが、各社からの登壇やコミュニティミートアップイベントまで、様々な催し物があったことがわかりますね!

https://medium.com/snowflake/the-ultimate-recap-of-snowflakes-dev-day-3255799e9f2f

Onehouse

新しく3500万USDの資金調達を発表

Apache Hudiの創設者がCEOであり、Apache XTableの開発とその技術を用いたUniversal Data Lakehouseのサービスを提供するOnehouse社が、新しく3500万USDの資金調達を行ったことを発表しました。

https://www.onehouse.ai/blog/series-b

Onehouseがどういったサービスかについては、下記の公式ページがわかりやすいと思います。

https://www.onehouse.ai/product

https://www.onehouse.ai/universal-data-lakehouse

Data Transform

dbt

dbt Meshとdbt Semantic Layerに関する公式のベストプラクティス

こちらの記事によると、最近dbt Meshとdbt Semantic Layerに関する公式のベストプラクティスのページをアップデートしたとのことです。

どちらも以下のリンクから見ることができ、複数のページに渡って構成されています。気になる方はぜひご覧ください。

https://docs.getdbt.com/best-practices/how-we-mesh/mesh-2-who-is-dbt-mesh-for

https://docs.getdbt.com/best-practices/how-we-build-our-metrics/semantic-layer-1-intro

AutomateDVに関する概要説明記事

dbt Labs社の公式ブログにおいて、Data VaultのモデリングをサポートするパッケージであるAutomateDVに関する概要説明の記事が出ていました。

Data Vaultを学ぶための書籍やオンラインリソースについての紹介も記載されております。

https://www.getdbt.com/blog/getting-started-with-data-vault-on-automatedv-and-dbt-cloud

SDF

SDFがOSSとして提供開始

DWH内の変換を担うツールとして、SDFがOSSとして提供開始となりました。

https://blog.sdf.com/p/announcing-sdf-general-availability

下図は上記のリンクからの引用ですが、dbtと異なりローカルに閉じてコンパイルを行うことができるようです。

2024-07-02_11h52_45

Semantic Layer

Cube

AI Assistant機能とSemantic Catalog機能を発表

Cubeが新機能として、Cubeで定義したSemantic Layerに対してシステムのUI上で自然言語で問い合わせを行える「AI Assistant」機能と、Cube上で定義されたオブジェクトとそれを参照するBIコンテンツをまとめて検索・リネージ表示できる「Semantic Catalog」機能を発表しました。

https://cube.dev/blog/announcing-cubes-ai-assistant

https://cube.dev/blog/introducing-semantic-catalog-preview

Business Intelligence

全般

2024 Gartner® Magic Quadrant for Analytics and Business Intelligence Platformsが公開

各製品の位置づけを参考にする際に見る人も多いであろう、Gartner® Magic Quadrant for Analytics and Business Intelligence Platformsの2024年版が公開されました。

Google、ThoughtSpotが新たにLEADERSになったことで、両社からブログも公開されています。

https://cloud.google.com/blog/products/data-analytics/2024-gartner-magic-quadrant-analytics-and-business-intelligence?e=48754805&hl=en

https://www.thoughtspot.com/blog/leading-with-generative-ai

2022年と2023年の図と比較したい場合は、下記のQlik社の記事に記載されていますので参考になると思います。

https://www.climber.eu/qlik-in-2023-gartner-magic-quadrant-for-analytics-and-business-intelligence-platforms/

Looker

Tableau DesktopからLookerに接続する方法

私の記事で恐縮ですが、Tableau DesktopからLookerに接続し、Lookerで定義したExploreをTableau Desktopで使用する方法についてまとめました。

気になる点もいくつかありましたが、Lookerを外部ツールから接続するSemantic Layerとして使えるのはとても新鮮で検証していて面白かったですね!

https://dev.classmethod.jp/articles/try-tableau-desktop-connect-to-looker-explore/

Tableau

2024.2が提供開始

2024年7月1日より、Tableauの各Releaseページにて最新バージョンである2024.2が利用できるようになりました。今回はTableau Serverもリリースされていますね。

https://www.tableau.com/ja-jp/support/releases/desktop/2024.2

https://www.tableau.com/ja-jp/support/releases/prep/2024.2

https://www.tableau.com/ja-jp/support/releases/server/2024.2

2024.2で提供される新機能については下記のページでまとめられています。併せてご覧ください。

https://www.tableau.com/ja-jp/products/new-features

Data Catalog

Atlan

循環参照が行われている場合の依存関係をリネージで可視化できるように

Atlanの新機能として、循環参照が行われている場合の依存関係もリネージ上で可視化できるようになりました。

私が知っているデータカタログの中では、初めて見る機能だと思います!たまに循環参照しないといけないパイプラインが必要となりますので、ありがたいですね。

https://shipped.atlan.com/explore-enhancements-to-cyclic-dependencies-in-lineage-11wQSI

2024-07-02_14h38_50

Select Star

Select Starを用いたデータ廃止プロセスの手順まとめ

データ基盤の規模が拡大してくると、不要なデータを廃止することも必要になってくると思います。

廃止するための手順は複雑ですが、Select Starの機能を用いてどのようにデータ廃止を進めることができるかをまとめた記事が出ていました。

https://www.selectstar.com/resources/data-deprecation-with-confidence-a-step-by-step-guide

Quollio

新しく7.5億円の資金調達を発表

日本発のデータインテリジェンスソリューションを提供するQuollio Technologies社が、新しく7.5億円の資金調達を発表しました。

https://quollio.com/news/release_20240626

併せて、CEOの松元氏によりQuollio Technologies社が提供するプロダクトやビジョンについてまとめられた記事が出ていました。

https://note.com/rytmq/n/n00d70e196035?sub_rt=share_h

特に以下の記述が私は気になり、こういった観点を持っているQuollio Technologies社が今後どんな機能を提供していくのかとても楽しみです!

データカタログにおける検索ポータルがコモディティ化するのは既に書いた通りだが、データ資産統制に関わる業務周辺の特筆事項については、加えて以下の2つが重要となると見ている。
1.戦略からの優先順位付けとアジャイルの発想が重要
データ資産統制業務で扱うべきビジネスメタデータは膨大であるため、戦略やビジネス要求からの優先順位付けとイタレーションによる改善がより重要になる。膨大な準備を行いリリースする静的なデータガバナンスと違って、これは俗にアジャイル・データガバナンスと呼ばれ、オンデマンド的・マーケットイン的なデータ資産統制の立ち位置を取る。つまりビジネス要求の情報整備が非常に重要。
2.設計によりHuman-in-the-loopを自動化することが重要
上記のみならず、改善フローをプロアクティブ的・プロダクトアウト的に回すことも依然として重要。ここで、ビジネスメタデータ入力業務に関してAI自動生成は強力な補助になるが、保証の観点からドラフト作成に留まる。今後のデータ資産統制では、人間による承認の仕組みをどう組むかが重要であり、前提となる役割や運用フローの設計とシステムへの落とし込みが以前にも増して重要。

Data Activation (Reverse ETL)

Hightouch

Marketing CampaignsとAudience Managersの解説記事

Hightouch社より、一般的な意味合いとしてのMarketing CampaignsとAudience Managersの解説記事が出ていました。

HightouchはDWHと組み合わせてのComposable CDPとして売り出しているため、このあたりのマーケティング用語の解説記事を定期的に出していますね。

https://hightouch.com/blog/marketing-campaigns

https://hightouch.com/blog/audience-manager

Data Orchestration

Prefect

Prefect 3.0を発表

Prefectの新しいメジャーバージョンとして、Prefect 3.0が発表されました。

https://www.prefect.io/blog/introducing-prefect-3-0

https://docs-3.prefect.io/3.0rc/resources/upgrade-prefect-3

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.