【フルリモート/週5/AWS】データメッシュ(Data Mesh)思想に基づく Amazon Redshift × AWS Lake Formation 超大規模データ基盤構築・データガバナンス案件

案件要件
- 職種
- エンジニア
- 業務内容
- システム開発・運用SES
- 報酬目安
- 4,800 ~ 5,600円/時
- 稼働時間目安
- 週5日 (時間目安 160時間)
- はたらく場所
- フルリモート
- スキル
【フルリモート/週5/AWS】データメッシュ(Data Mesh)思想に基づく Amazon Redshift × AWS Lake Formation 超大規模データ基盤構築・データガバナンス案件
お任せしたいこと
[役割]
全社横断データプラットフォームにおける、Amazon Redshift Serverless および AWS Lake Formation を統合した分散型データメッシュ(Data Mesh)基盤の設計・デプロイおよびデータ共有パイプラインの高速化
[役割に対して求める成果]
ドメイン間でのデータ共有(Redshift Data Sharing)基盤構築による重複パイプラインの削減、および AWS Lake Formation によるカラム/セルレベルアクセス制御の自動化によるガバナンス強化
具体的な業務内容
Amazon Redshift Serverless / Amazon S3 (Iceberg / Delta Lake) を活用したペタバイト級データウェアハウス・データレイクのアーキテクチャ設計・構築
AWS Lake Formation を用いた細粒度アクセス制御(カラム・行・セルレベル)およびデータ共有アクセス権限管理のデプロイ・自動化
AWS Glue (PySpark) / Amazon EMR / AWS Step Functions を用いた高スルーパットな ETL / ELT パイプラインの設計・パフォーマンスチューニング
Terraform および AWS CDK を用いたデータインフラ全体の Infrastructure as Code (IaC) 化および CI/CD パイプライン運用
Datadog / Amazon CloudWatch を用いたデータパイプライン遅延のモニタリングおよび、Redshift クエリパフォーマンス分析・ソートキー/分散キー最適化
必須スキル・経験
AWS 環境におけるデータ基盤(Redshift, S3, Glue 等)の設計・構築・運用実務経験(4年以上)
AWS Lake Formation を用いたデータレイクのセキュリティ・ガバナンス設計・運用経験(1年以上)
Terraform または AWS CDK を用いたデータインフラの IaC 構築実績(2年以上)
SQL (Complex Query Optimization) および Python / PySpark を用いた大量データ処理パイプラインの開発経験
歓迎スキル・経験
データメッシュ(Data Mesh)アーキテクチャや Apache Iceberg などのモダンデータスタックに関する実践知見
Amazon Redshift Data Sharing や Zero-ETL 統合を活用したマルチアカウントデータ共有の実績
dbt (data build tool) を用いたデータモデリングおよびデータ品質管理テストの導入経験
AWS Certified Data Analytics - Specialty または AWS Certified Solutions Architect - Professional の保有
開発環境
クラウド/サービス: AWS (Redshift Serverless, Lake Formation, Glue, EMR, S3, Step Functions, Athena)
IaC / データ基盤: Terraform, AWS CDK, Python, PySpark, dbt
監視/可観測性: Datadog, Amazon CloudWatch, Monte Carlo
コミュニケーション: Slack, Notion, Jira, Confluence
開発チームについて
データプラットフォームチームは、データアーキテクト1名、データエンジニア3名(今回募集枠を含む)、データアナリスト2名の計6名構成です。
各事業部が自立してデータを活用できるよう、民主化と安全性を両立した次世代のデータ基盤を構築・推進している先鋭的なチームです。
求める人物像
単なるETL構築にとどまらず、データアクセス制御やアーキテクチャ全体の可観測性・コスト効率まで視野に入れて設計できる方
各事業部のデータアナリストや事業サイドの要望を理解し、データ活用を支援するマインドを持つ方
フルリモート環境において、Notionでの設計仕様の明文化やSlackでのタイムリーな報告・相談ができる方
仕事の魅力
ペタバイト規模の大規模データ基盤において、データメッシュや Redshift Serverless といった先進的なアーキテクチャを最前線で構築できます。
データガバナンスからデータパイプラインの高速化まで、データエンジニアおよびクラウドアーキテクトとして非常に強い希少価値を獲得できるポジションです。
働き方
リモート環境
[フルリモート] フルリモートで働いていただけます。
株式会社Kaizen Tech Agent
株式会社Kaizen Tech Agentは、「人と技術をつなぐ」ことを企業理念に掲げ、日々向上していく『技術』と『人』を最適な形でむつび付け提供することで、
お客様にとって真にプラスとなる価値でありたいと考えております。
私たちはそれぞれの個性を尊重し、ほっとする和みの社風でありながら、変化する時代に対して受け身にならず、未来への挑戦心を宿しています。
事業領域は、WEBアプリ開発、業務システム開発、スマホアプリ開発、インフラ構築など幅広く展開しており、
フリーランス様に対して最適な案件をご提案させて頂いております。どんな些細な事でも結構ですので是非いつでもお気軽にご相談ください。
