EC2にKinesisエージェントをインストールして、Kinesis Data Firehose経由でS3にログファイルを送信してみた
Kinesis Data FirehoseからS3に送信するオブジェクトに付くプレフィックスをJSTにするため動的パーティショニングを使ってみた
Kinesis Data Firehoseの送信先エラーログをAmazon SNS経由で通知する
API Gateway のアクセスログを Kinesis 経由で S3 に保管してみた
Kinesis Data Firehoseの「動的パーティショニング機能」でJSONが1行で繋がった形式をパース処理させる
Kinesis Data FirehoseのJSONが1行で繋がった形式をAWS Glueジョブでパース処理出来ないか検証してみた
Sumo Logic に CloudWatch Logs のログを送信してみる
S3バケットへの送信元での「暗号化しない」という選択肢
Amazon Connect→Kinesis Data Streams→S3構成におけるカスタマーマネージドキーを用いた暗号化について
AWS CDK CloudWatchLogsからS3へAthenaでクエリできる形でログデータを出力する
[Amazon Connect]録音データの検索やS3を参照するQuickSight ダッシュボードを作ってみた
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年1月号
VPC フローログの配信先に Kinesis Data Firehose を指定してみた
[レポート][ワークショップ]GAM205 Analytics for games #GAM205 #reinvent
[速報] Amazon Kinesis Data Firehose Amazon OpenSearch Serverless へのデータストリーム配信をサポートしました! #reinvent
[レポート]Building a serverless data consumption platform on AWS #PEX304-R #reinvent
AWS Amazon Kinesis คืออะไร? การแนะนำฟังก์ชันล่าสุดของ AWS
[CDK] クロスアカウントでSNSからKinesisDataFirehoseに配信する
Redshift Serverlessの監査ログをCloudWatch Logs→S3バケットに転送してRedshift Spectrumで分析してみた
Kinesis Data Firehoseで分単位のパーティション(yyyy/MM/dd/HH/mm)を設定してみた
การใช้ Lambda Function เพื่อแปลงข้อมูลใน Firehose
AWS Step FunctionsからAmazon Kinesis Data Firehoseに複数のJSONデータをPutRecordBatch APIでPutする(AWS CDK)
AWS Step FunctionsからAmazon Kinesis Data FirehoseにJSONデータを”改行コード付きで”Putする(AWS CDK)
การส่งข้อมูลจาก EC2 ไปยัง Firehose
Amazon Kinesis Data FirehoseでLambda Processorを使わずにレコード間に改行コードを自動挿入するアイデア(AWS CDK)
การใช้งาน S3 ควบคู่กับ Amazon Kinesis Data Firehose
Pythonのboto3を実行してAmazon Kinesis Data Firehoseを触ってみた
CloudWatch Logs に取り込んだ syslog を Kinesis Data Firehose + Lambda で動的パーティショニングしつつ S3 に出力してみた
AWS WAFのログで記録されたBlockログのみSyslogサーバに転送する
Amazon RedshiftからAmazon Kinesisのストリームデータをニアリアルタイムにインジェストしてみた
Amazon Kinesis
SESのメール送信履歴をOpenSearch Serviceで表示してみた
Making use of Amazon Kinesis Firehose to pump Data to S3
Amazon Kinesis Data Firehose に Coralogix統合機能が追加されたのでためしてみた
API GatewayのカスタムアクセスログをAthenaでクエリ出来るようにするためのログ形式の追加設定
Amazon Auroraでデータベースアクティビティストリームを有効にしてKMSで暗号された監査ログを復号してS3保存してみた
© Classmethod, Inc. All rights reserved.