【フルリモート／週5／AWS】全社のデータ活用を支えるAWSデータ基盤（データレイク／DWH）の構築および運用保守 お任せしたいこと ［役割］データインフラエンジニアとして、社内の各プロダクトや業務システムから生成される膨大なログ・業務データを集約し、ビジネス部門が活用するための「AWS上のデータ基盤（データレイクおよびデータウェアハウス）」の構築、および日々の安定稼働を支える運用保守をお任せします。 ［役割に対して求める成果］「必要なデータがどこにあるか分からない」「バッチ処理が落ちていて今日のレポートが見られない」といった現場の混乱を防ぐこと。AWSのマネージドサービス（Glue, Athena, Redshift等）を適切に組み合わせ、データ量の増加にも耐えうるスケーラブルで障害に強いデータパイプラインを構築し、全社が信頼できるデータ基盤を提供し続けること。 具体的な業務内容 ・AWS（S3, Glue, Athena, Redshift, Step Functions等）を利用した、スケーラブルなデータレイクおよびデータウェアハウスのアーキテクチャ設計・構築 ・各プロダクトのデータベース（RDS等）や外部SaaSAPIからデータを抽出し、DWHへロードするためのETL/ELTパイプラインの開発（Python / SQL） ・AWS Step FunctionsやApache Airflowを利用した、複雑なデータ処理ジョブのワークフロー定義とスケジューリング管理 ・データ処理バッチの失敗や遅延を検知するためのCloudWatch / Datadog監視設計、およびエラー発生時の迅速なリカバリ対応 ・Amazon Redshift等のDWHにおける、データ分析クエリのパフォーマンスチューニング（分散キー・ソートキーの最適化等） ・TerraformまたはAWS CDKを用いた、データ基盤リソースのコード化（IaC）およびGitHubによる構成管理 ・S3のライフサイクルルールの設定や、不要なリソースの棚卸しによるAWSクラウドコスト（ストレージ・コンピューティング費用）の最適化 ・AWS Lake Formation等を用いた、機密データに対する適切なアクセス制御とデータガバナンスの運用サポート 必須スキル・経験 ・AWSを利用したシステムインフラの設計、構築、および運用保守経験（3年以上） ・Pythonを用いたデータ処理スクリプト、またはバッチ処理プログラムの実務開発経験 ・複雑なSQLの記述、およびRDBMSやDWHに対するクエリチューニングの経験 ・Git/GitHubを用いたプルリクエストベースでのチーム開発・運用経験 歓迎スキル・経験 ・AWSのデータ分析サービス（S3, Glue, Athena, Redshift, EMR, Kinesis等）の運用経験 ・Apache Airflowなどのワークフローエンジンの構築・運用経験 ・dbt (data build tool) 等のモダンなデータ変換ツールの利用経験 ・Terraform、CloudFormation、またはAWS CDKを用いたIaCの実務経験 ・大規模なログデータ、またはストリーミングデータの処理基盤の構築経験 ・データカタログの整備やデータガバナンス推進に関わった経験 ・AWS認定データエンジニア、またはAWS認定ソリューションアーキテクト（プロフェッショナル）等の資格 開発・業務環境 クラウド・データ基盤：AWS (S3, Glue, Athena, Redshift, Step Functions, Lambda, Lake Formation等) 開発言語：Python, SQL IaC・CI/CD：Terraform, GitHub Actions 監視・アラート：Datadog, CloudWatch, PagerDuty コミュニケーション・管理：GitHub, Jira, Confluence, Slack プロジェクトチームについて データ戦略本部のデータエンジニアリングチームへの配属となります。「AIや機械学習の華やかなモデルを作る」ことよりも、その前提となる「欠損のない綺麗なデータを、毎日決められた時間に確実に届ける」という泥臭いインフラ整備に最も価値を置く堅実なカルチャーです。バッチ処理が失敗した際も、単に再実行するだけでなく「なぜメモリ不足が起きたのか」「データ量が想定以上に増えた原因は何か」をチームで分析し、恒久対応策を地道に積み重ねています。 求める人物像 ・「とりあえず動くデータ連携」を作るのではなく、エラー発生時のリトライ処理や冪等性（何度実行しても結果が同じになること）を考慮した堅牢なバッチ処理を設計できる方 ・散在するデータソースや複雑なテーブル定義に対しても、根気強く仕様を紐解き、クリーンな状態に整えることに知的な喜びを感じる方 ・アプリケーションエンジニアやデータアナリストなど、データを「作る側」と「使う側」の双方と円滑にコミュニケーションを取り、パイプラインの要件を整理できる方 仕事の魅力 全社の意思決定を左右する「データ」という重要な資産の土台を支える、非常に責任とやりがいのあるポジションです。数テラバイト〜ペタバイト級のデータを安定して捌くためのAWSアーキテクチャ設計や、コストとパフォーマンスのバランスを取るための高度なチューニングなど、ビッグデータ領域における専門性の高いクラウドエンジニアリングスキルを実践的に磨くことができます。 働き方 リモート環境 [フルリモート] 基本的にフルリモートで働いていただけます。
