AWS Lake Formationを有効にした時の既存リソース(Glue,S3)へのアクセスについて整理してみる

【AWS CDK】 Glue L2 Construct alphaがリリースされたのでPython Shell Jobsで試してみる

Vertex AIのGemini 1.5 Proで動画ファイルから議事録を生成する

【CDK】AppFlowでSalesforceからS3へデータロード

【Informatica CDI】S3からSnowflakeへのデータロード

Amazon Athenaのパーティション射影でNOWを使用したyear/month/day パーティショニングの実装方法

DevcontainerでPostgreSQL学習環境を手軽に構築する

aws-samplesでCDKによるAmazon DataZoneの構築

Amazon DataZoneでデフォルトのデータレイクプロファイルで既存のS3 Bucketと連携しAthenaでクエリしてみた

Amazon DataZoneのワークショップをやってみて理解した概念をまとめてみる

【小ネタ】Amazon DataZoneのドメインを再作成して環境作成時にdata lake administrator: invalid principal detected. エラー

【小ネタ】Amazon Bedrock Knowledge Basesのデータソースの同期ボタンが反応しない時の対処法

AWS CDKとPythonでの開発環境をDevcontainerで作成

【初心者向け】S3バケット内の特定ファイルを一括で別フォルダに移動するコマンド

【CDK】Lambda Python で構造化された JSON ログをカスタムフォーマッターにしてみる

Informatica CLAIRE GPTを試してみた

【CDK】Glue Python Shellで自作関数を用いる方法

【CDK】EventBridgeとS3をマッチングして特定パス・ファイル名でトリガーを制御する方法

バージョニングファイルと処理済みファイルをタグ付けしてS3 ライフサイクルポリシーで削除

【CDK】Step FuctionsでLambdaを実行

【CDK】Step FuctionsでGlue Python Shellを実行

【CDK】Step FunctionsでS3のCOPY Objectを実行

クラスメソッドに入社してもうすぐ２年なのでエンジニアとしてどのように働き学んできたかを振り返る

Windowsインスタンスを構築してCloudWatch Alarmを試験してみる

S3の特定フォルダへのクロスアカウントアクセスをIAM Roleで制限する

Microsoft Copilot Proがリリースされたので試してみる

paho-mqttをpytestでmock化してみる

Googleスプレッドシートの英単語をクリックしたら音声で聞き取れる実装してみたが車輪の再発明だった件

【Python】ExcelのTable定義書からRedshift DDLを自動生成

gpt-4-vision-preview APIを使って画像からmdやjsonを生成してみる

【書評】世界一流エンジニアの思考法

【CDI】Informatica Cloud Data IntegrationでCSVデータ件数チェック処理の実装

【CDI】Informatica Cloud Data Integrationでハンズオン課題を考えてみた

【Informatica IDMC】Amazon S3 csvファイル ターゲット の形式オプション検証

【IICS】GitHub Actionsを使用したIICS JOB自動テスト

【小ネタ】シェルスクリプトからLambdaを呼び出す際のJSONエスケープエラーとその解決策

【Python】Excelへの画像挿入とサイズ調整の自動化

【IICS】マッピングのパラメータに現在日付を指定する方法

Azure Computer Visionを用いて日本語画像から文字を出力してみた

【new Bing】PDFが要約できるようなので試してみました

【S3 Bucketへのアクセス管理】 特定のIAM RoleにのみS3 Bucketへのアクセスを許可し、IAM User GroupとIAM Roleで厳密にスイッチングする方法

ChatGPTの履歴データがExportできるようになっていました

【レポート】モバイルアプリの新しいBing Preview版を使ってみた

【小ネタ】 IICS CDIの通知タスクでメール通知が送信されない場合の対処法

【Python】 loggingモジュールでLEVEL毎にファイルの出力先を変更しrotateさせる方法

IICS CDIのファイルリスナがS3へリスニングする際のAPIと料金について調べてみた

IICS CDIでNormalizer transformationを使用してカラム名やカラム順を変更してみた

IICS CDI Mappingでクエリ選択時にパラメータを使用する方法

API Gateway + REST + Lambda 非プロキシ(カスタム)統合をServerless Frameworkで実装してみた

Lambda(Amazon Redshift Data API)からRedshift severlessへリクエストした際に「permission denied for relation」エラー

IICS CDI Amazon Redshift V2 ConnectorでRedshift Serverlessと接続できるか試してみた

API Gateway + REST + Lambda 非プロキシ(カスタム)統合でステータス200以外返ってこない

IICS CDI Mappingで文字桁数調整とLPAD関数を使ってみた

【初心者向け】IPアドレスについての理解を深める

Udemy使用歴２年のPythonバックエンドエンジニアが受講してよかったおすすめ講座一覧

M1 MacでPySparkローカル環境構築

【初心者向け】python3インストール後にpython3を実行できるがpythonコマンドでエラーになる？

データアナリティクス事業本部 ビッグデータチームにジョインしましたyosh-kです。