【フルリモート／週5】AWSデータエンジニア・MLOpsアーキテクト（ペタバイト級データ基盤構築・AI/MLパイプライン）

お任せしたいこと

自社で展開する大規模Webサービス、または全社横断のデータ分析組織において、AWSのマネージドサービスをフル活用したスケーラブルなデータレイク／データウェアハウス（DWH）の設計・構築、および機械学習モデルの実運用化（MLOps）を支えるパイプラインの泥臭い開発をお任せします。
「とりあえずS3にデータを溜めておく」「手作業でバッチを回してダッシュボードを作る」といった負債の温床となる運用を完全に廃止し、データエンジニアリングとソフトウェアエンジニアリングのベストプラクティスを融合させ、事業の意思決定とAI活用を最速化するための強固なデータ基盤を作り上げていただくポジションです。

具体的な業務内容

・AWS（S3, Glue, Athena, Redshift 等）を利用した、ペタバイトスケールのデータレイクおよびDWHのアーキテクチャ設計・構築
・PythonおよびSQL（dbt等を利用）を用いた、複雑な業務ロジックを反映するETL / ELTデータパイプラインの実装とパフォーマンス最適化
・Amazon MWAA（Managed Workflows for Apache Airflow）やStep Functionsを利用した、数千のジョブが依存し合う複雑なワークフローのオーケストレーション
・Amazon SageMakerを活用した、データサイエンティストが作成した機械学習モデルの学習・評価・デプロイ（推論エンドポイント化）の自動化（MLOpsパイプラインの構築）
・Terraform、またはAWS CDKを用いたデータインフラストラクチャの完全なコード化（IaC）と、CI/CDパイプラインによるデプロイの自動化
・DatadogやAWS CloudTrail等を利用した、データ品質（Data Quality）の継続的なモニタリング基盤の構築と、異常検知時のインシデント対応
・個人情報（PII）や機密データを保護するための、AWS Lake FormationやIAM等を用いた厳格なアクセス制御とデータガバナンスの策定

必須スキル・経験

・AWSを利用したデータ基盤（DWH、データレイク等）、または大規模バックエンドシステムの構築・運用実務経験（目安として3年以上）
・Python、および高度なSQLを用いたデータ処理（ETL/ELT）の実務経験
・Terraform、またはAWS CDK等を用いたIaC（Infrastructure as Code）の実践経験
・Git / GitHubを用いた構成管理、およびプルリクエストベースでのチーム開発経験
・Airflow等のワークフローエンジンを利用したジョブ管理経験

歓迎スキル・経験

・Apache Spark（AWS Glue等のマネージド環境含む）を用いた分散データ処理のパフォーマンスチューニング経験
・Amazon SageMaker等を利用したMLOps環境の構築、または機械学習モデルの実運用化経験
・dbt（data build tool）を用いたデータモデリング、およびデータ品質テストの実装経験
・Snowflake、またはBigQuery等のモダンなクラウドデータプラットフォームの運用経験
・データマネジメント、データガバナンスに関する専門的な知見

開発・業務環境

クラウド・データ基盤：AWS (S3, Glue, Athena, Redshift, Lake Formation, EMR 等)
MLOps：Amazon SageMaker
ワークフロー管理：Amazon MWAA (Apache Airflow), AWS Step Functions
データ変換・モデリング：dbt, Python, SQL
IaC・CI/CD：Terraform (または AWS CDK), GitHub Actions
監視・可観測性：Datadog, AWS CloudWatch
コミュニケーション・管理：GitHub, Jira, Slack, Zoom

プロジェクトチームについて

データ基盤開発・MLOps推進チームへの配属となります。
「ビッグデータやAI」といったバズワードに踊らされることを強く嫌い、「そのデータパイプラインは事業のどのKPIを改善するのか？」「この機械学習モデルはインフラコストに見合う精度を出しているか？」をROIの観点から極めてシビアに評価する手堅いカルチャーです。データサイエンティストが投げたJupyter Notebookのコードをそのまま本番化するのではなく、クラス設計やテストコードを泥臭くリファクタリングし、ソフトウェアとしての品質を担保する実直なメンバーが集まっています。

求める人物像

・「データを分析すること」自体よりも、「データが安全かつ高速に流れ続ける強固なインフラ（パイプライン）を作ること」にエンジニアとしての美学を持てる方
・数億件のレコードを処理するSQLの実行計画（Explain）を読み解き、ミリ秒単位のパフォーマンスチューニングに泥臭く没頭できる方
・データサイエンティストや事業部門からの「このデータが今すぐ欲しい」という要求に対し、場当たり的なパッチを当てるのではなく、データアーキテクチャの全体像から最適な実装方法を提案・交渉できる方

仕事の魅力

企業の競争力の源泉である「データ」と、それを活用する「AI/ML」の中核基盤を、AWSのエコシステムを駆使してゼロから設計・スケールさせる極めて影響力の大きいポジションです。複雑な分散処理フレームワークとソフトウェアエンジニアリングを掛け合わせる経験を通じて、単なるインフラエンジニアやデータアナリストを完全に凌駕し、AI時代において最も需要が爆発している「クラウド・データエンジニア（MLOpsアーキテクト）」としての圧倒的な市場価値を築くことができます。

働き方

リモート環境

[フルリモート] 基本的にフルリモートで働いていただけます。