[速報] OpenSearch ServiceのETLが簡単に。「Amazon OpenSearch Service zero-ETL integration with Amazon S3」リリース(preview)　#AWSreinvent

AWS re:Invent 2023

#AWS

せーの

2023.11.30

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

せーのでございます。ただいま、AWS re:Invent 2023 keynoteをラスベガス現地にて聞いております。

Amazon OpenSearch Service向けのZero-ETLサービス「Amazon OpenSearch Service zero-ETL integration with Amazon S3」が発表されたのでお伝えします。

昨日のキーノートでもZero-ETL関連のサービスが発表されていましたが、今回、OpenSearch ServiceとS3のzero-ETLが可能になった、という発表です。これは便利そうですね。

S3でのデータ分析が格段に便利に

S3というサービスはそもそもデータストアとしての意義が強く、低コストで大量のデータを保管できるため、とりあえずデータはS3に放り込んで、分析が必要なデータはOpenSearch Serviceにコピーし、データを理解し、異常を特定し、潜在的な脅威を検出する必要がありました。

今回のこの「Amazon OpenSearch Service zero-ETL integration with Amazon S3」によって、S3に保存された様々なデータを移動することなく、複雑なクエリや可視化を簡単に実行することができます。

S3内の運用ログを可視化

OpenSearch ServiceとS3をZero-ETL連携することで、特に様々なログタイプのテンプレートを活用し、そのログタイプに合わせたデータ高速化を設定することができます。

テンプレートには、VPC フローログ、Elastic Load Balancingログ、NGINX ログが含まれ、選択するとすぐにこれらのログの分析、可視化が可能となります。

AWS Glue Data Catalogを使用

AWS Management Consoleまたは API を使って、OpenSearch Service 用の新しい Amazon S3 ダイレクトクエリデータソースを作成することで、簡単に始めることができます。新しいデータソースは、AWS Glue Data Catalogを使用して、S3 バケットを表すテーブルを管理します。データソースを作成したら、OpenSearch ダッシュボードでAmazon S3テーブルとデータのインデックスとクエリデータを設定できます。

データソースとしてGlueを通したS3データをセットしたら、あとはSQLクエリを書けばOpenSearch Dashboard上にログデータの分析用グラフが表示されます。

課金は「インデックス維持」+「使用OCU」

気になる料金ですが、S3の料金、AWS Glue Data Catalogの料金の他に、OpenSearch Compute Units (OCUs)単位でクエリ量に応じて課金されます。またOpenSearch Service のインデックスとしてのインスタンス料金も維持として課金されますので、業務目的の際にはランニングコストを必ず試算した上で使用するようにしましょう。