【フルリモート／週5／AWS】AdTech/DataBridge・超大規模ログリアルタイムインジェスト＆データレイク基盤アーキテクツ

お任せしたいこと
［役割］
AWS（Kinesis / EKS / Terraform）を用いた、ミリ秒単位で発生する秒間数十万件（ペタバイト級）の広告配信・行動ログを欠損なく処理するリアルタイムインジェスト＆データレイク（Data Lake）基盤の設計・構築
［役割に対して求める成果］
Amazon Kinesis Data Streams のシャード動的自動調整および AWS Glue / Amazon EMR (Spark) によるデータ変換（Parquet化・パーティショニング）の効率化により、データ配信遅延を 5秒以下へ短縮し、データパイプライン処理のクラウドインフラコストを 30% 削減

具体的な業務内容
Amazon Kinesis Data Streams / Amazon Managed Streaming for Apache Kafka (MSK) を用いた超高トラフィックログ受領・バッファリング基盤の構築
Terraform / AWS CDK (TypeScript) を用いた、マルチアカウント（AWS Organizations）環境における完全コード化（IaC）インフラデプロイ
Amazon EMR (Apache Spark / Apache Iceberg) または AWS Glue を用いた、S3 データレイク向けリアルタイム ETL パイプラインの設計・チューニング
Amazon Athena / Amazon Redshift を用いた、クエリパフォーマンス最適化（パーティション、ソートキー、圧縮フォーマット調整）
Datadog / Amazon CloudWatch を用いた、パイプライン滞留・スロットリング検知などのリアルタイム可観測性（Observability）の確立

必須スキル・経験
AWS 環境における大規模（ペタバイト・テラバイト級）データパイプラインの設計・構築・運用経験（4年以上）
Terraform または AWS CDK を用いた Infrastructure as Code (IaC) の実務構築・保守実績
Kinesis, Kafka (MSK), EMR, Spark, Glue 等を用いたリアルタイム・バッチストリーミング処理基盤の開発経験
S3, Athena, Redshift 等のデータプラットフォームにおけるパフォーマンスチューニング知見

歓迎スキル・経験
AdTech、データ分析プラットフォーム、大規模ログ解析、IoTプラットフォーム領域でのデータインフラ構築経験
Apache Iceberg, Delta Lake 等のモダンデータレイクハウスフォーマットの運用実績
AWS 資格（Certified Solutions Architect - Professional / Data Engineer - Associate 等）の保有
Snowflake, BigQuery 等のマルチクラウドデータプラットフォームとのインテグレーション経験

開発環境
クラウド/サービス: AWS (Kinesis, MSK, EMR, Glue, S3, Athena, Redshift, EKS)
IaC / CI/CD: Terraform, AWS CDK, GitHub Actions
監視/可観測性: Datadog, Amazon CloudWatch, AWS X-Ray
コミュニケーション: Slack, Notion, Jira, GitHub

働き方
リモート環境
[フルリモート] フルリモートで働いていただけます。