2024-03-06から1日間の記事一覧

Glueでパーティションキーを設定してパーティション化する

目的・やりたいこと 前回、[技術検証]S3に保存された監査ログをGlueで可読性を上げてAtenaで抽出する検証では、ネスト化されたログをフラット化するところまでやりました。しかし前回のS3のログ配置では、Hive形式になっておらず、パーティションが使えない…

S3に保存された監査ログをGlueで可読性を上げてAtenaで抽出する検証

サービス概要 Glueとは、ETL(抽出、変換、ロード)プロセスの検出、準備、統合、近代化を容易にするサーバーレスデータ統合サービスです。ちなみにglueは「接着剤」という意味の英単語Atenaとは、S3に格納されているデータを、SQLを使用して直接分析でき、…

OktaのシステムログをS3に掃き出す検証

サービス概要 Oktaとは、IDやパスワードの管理、認証を行うIDaaSサービスです。 目的・やりたいこと Oktaのシステム監査ログを、AWSと連携してS3に掃き出す。 対象者 OktaのシステムログをS3に保管したい運用管理者 対象となる技術 Okta EventBridge Kinesis…