個人的にうれしかった 2024 年 BigQuery アップデート 7 選 #cm_google_cloud_adcal_2024

[Google Cloud] あの機能/サービスは今！？ #cm_google_cloud_adcal_2024

GCS ファイルのカスタムメタデータでバッチの処理ステータスを管理してみた。

BigQuery テーブルデータを Cloud Spanner にリバース ETL してみた。

GA になった BigQuery の history-based optimizations で SQL が最適化されるか確認してみた。

BigQuery サブスクリプションで、Pub/Sub メッセージを BigQuery に直接取り込んでみた。

transfer_manager で GCS へのファイルアップロードが高速化できるか確認してみた。

BigQuery テーブル作成イベントで、description の日本語をカラム名にしたビューをバッチ処理で作成してみた。

BigQuery テーブル更新トリガで、Dataplex のプロファイリングを実行してみた。

Google Cloud の不要リソースを Asset Inventory で断捨離してみた。

「クロスクラウドデータ管理の未来: BigLakeで実現するAWS S3とBigQueryのデータ統合戦略」というタイトルで登壇させていただきました #devio2024

愛すべき IT 系キャラクターやロゴたち

Cloud Functions と Secret Manager でサービスアカウントキーローテーションを自動化してみた。

Dataform CLI からテストコードを実行して、BigQuery UDF のユニットテストを実施してみる。

Dataplex で何ができるの？

BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。

Cloud Functions から Cloud Scheduler ジョブを作成/更新して、1つ目の関数実行から一定時間経過後に次の関数を実行してみた。

プロジェクト間でイベントルーティングして、別プロジェクトの BigQuery INSERT トリガで Cloud Functions を実行してみた。

イベント駆動できるようになった Storage Transfer Service で、S3 から GCS にファイル転送してみた。

BigQuery のデフォルトタイムゾーンを JST に変更してみた。

BigQuery へのデータ INSERT をトリガに、Cloud Functions を実行してみた。

Google Cloud Batch ジョブを VPC を指定して実行してみた。

Google Cloud に統合された Dataform を使って BigQuery にテーブル＆ビューを作成してみた。

Storage Transfer Service で AssumeRoleWithWebIdentity を使用して、キー情報なしで S3 から GCS にファイル転送してみた。

Data Validation Tool (DVT) で、BigQuery と Redshift のデータが一致してるか検証してみた。

沖縄の愛すべき看板たち

Cloud Asset Inventory で一般公開されたリソースを自動検出してみた。

BigQuery リモート関数で Natural Language API を使って、SQL でお客様レビューの感情分析してみた。

Google Cloud プロジェクトの既存リソースを Terraform コードに出力＆ドキュメントを作成する方法

ファイルや環境変数を読むように Cloud Functions から Secret Manager にアクセスしてみた。

Storage Transfer Service のログ出力を追加して、ファイル転送エラーをアラート通知してみた。

Cloud DLP で BigQuery テーブルの特定のカラムの機密情報をマスキングしてみた 〜カスタム infoType の指定方法を添えて〜

Cloud Functions で SFTP サーバから GCS にファイル転送してみた。

Secret Manager に保存した機密情報を、Cloud Functions の Python コードから取得してみた。

Cloud Functions 関数の IP を固定してみた。

Google Workflows で、BigQuery に SQL を実行するサーバレスなバッチ処理を実装してみた。

沖縄で釣れる魚

BigQuery でトランザクション処理がサポート開始！！

Airflow Study #1 「Airflowの内部構造と動かし方を理解する」で LT してきました

BigQuery で SQL を実行する時に便利なオプション７選

BigQuery に Shift-JIS ファイルのデータをロードするには？

データ統合基盤 CS アナリティクスでデータ出力機能をリリースしました

Cloud DLP で半角カタカナや難読苗字は検出できる？ 〜カスタム辞書の登録方法を添えて〜

漢字でもOK？！ DLP API で個人情報をマスキングしてから BigQuery にロードしてみた。

Cloud DLP を使って BigQuery の個人情報を検出してみた。

BigQuery の ALTER 文でテーブル名が変更できるようになったので挙動を確認してみた！

Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。

BigQuery テーブルチューニングに効果的なクラスタリングが、既存テーブルにも追加できるようになりました！

BigQuey の SQL チューニングや Slot 利用状況確認に BQ Visualizer を使ったら便利でした。

BigQuery で INFORMATION_SCHEMA から CREATE TABLE 文が取得できるようになりました！

AI Platform Notebooks を使って、さくっとノートブック環境を立ち上げて BigQuery にアクセスしてみた

BigQuery で GCS 外部テーブルにもキャッシュが使えるようになったので、どのくらい速くなるのか確認してみた

CS アナリティクスでは BigQuery のテーブルや UDF などの情報も一覧表示で確認できます

Google Apps Script で BigQuery のテーブル定義をスプレッドシートに自動で出力してみた

テーブル作成めんどくさくないですか？　CS アナリティクスで BigQuery のテーブルを自動作成してみた

マルチタブ対応！BigQuery の管理コンソールが新しくなったので使い勝手を確かめてみた

2020 年の BigQuery リリースまとめ

Bigtable にある位置情報を BigQuery Geo Viz で可視化してみた　～ IoT センサーから緯度経度データが送られてくるていで～

データ移動不要！Cloud SQL のマスタデータと BigQuery のトランザクションデータを結合して SQL で分析してみた。

Google スプレッドシートで管理しているデータを BigQuery から参照して SQL で集計してみた。