2024-03-01から1ヶ月間の記事一覧

AWS Certified Data Engineer - Associate(DEA-C01)試験対策資料

内容 試験には次の内容ドメインと重み付けがあります。 ドメイン 1: データの取り込みと変換 (34%) ドメイン 2: データ ストア管理 (26%) ドメイン 3: データの運⽤とサポート (22%) ドメイン 4: データ セキュリティとガバナンス (18%) ドメイン 1: データ…

FSx for NetApp ONTAPで階層的にクォーターを掛ける方法

サービス概要 前回、[技術検証]FSx for ONTAPでドメイン参加できなかったのでCIFSサーバーを立ててドメイン参加⇨ファイル共有までしてみたで、FSx for ONTAPをドメイン参加させてファイル共有まで作成しました。今回は、フォルダ階層構造でクォーター制限を…

S3 File Gatewayでのファイル閲覧をADでアクセス制御できるか

目的・やりたいこと 要件1. AD参加のユーザーを Storage Gateway(SGW)にアクセスさせる2. SGWに用意したフォルダごとにWindowsの共有設定を用いて、閲覧権限を設定したい(AD参加ユーザーが見れる/見れないフォルダを制御)3. AD参加ユーザーのクライアン…

Storage Gatewayを必要な時だけ起動させて利用料を削減する検証

サービス概要 Storage Gatewayとは、オンプレミスやEC2をAWSストレージと接続するサービスです。Storage Gatewayの実態は、Storage Gateway用にAWSが準備したAMIイメージをもつEC2インスタンスで、マウント元のEC2インスタンスとS3とを標準マウントプロトコ…

Glueでパーティションキーを設定してパーティション化する

目的・やりたいこと 前回、[技術検証]S3に保存された監査ログをGlueで可読性を上げてAtenaで抽出する検証では、ネスト化されたログをフラット化するところまでやりました。しかし前回のS3のログ配置では、Hive形式になっておらず、パーティションが使えない…

S3に保存された監査ログをGlueで可読性を上げてAtenaで抽出する検証

サービス概要 Glueとは、ETL(抽出、変換、ロード)プロセスの検出、準備、統合、近代化を容易にするサーバーレスデータ統合サービスです。ちなみにglueは「接着剤」という意味の英単語Atenaとは、S3に格納されているデータを、SQLを使用して直接分析でき、…

OktaのシステムログをS3に掃き出す検証

サービス概要 Oktaとは、IDやパスワードの管理、認証を行うIDaaSサービスです。 目的・やりたいこと Oktaのシステム監査ログを、AWSと連携してS3に掃き出す。 対象者 OktaのシステムログをS3に保管したい運用管理者 対象となる技術 Okta EventBridge Kinesis…