【フルリモート／週5】AWSデータエンジニア（大規模データレイク基盤構築・ETLパイプライン開発）

お任せしたいこと

自社で展開する複数サービスから生成される膨大なログや業務データを統合し、ビジネス部門やデータサイエンティストが価値を引き出すための「データレイクおよびデータウェアハウス（DWH）基盤」をAWS上で設計・構築・運用する役割をお任せします。
「とりあえずデータをS3に放り込んで終わる（データスワンプ化させる）」のではなく、スキーマの管理、アクセス制御、そしてパフォーマンスを両立させたガバナンスの効いたデータ基盤を作り上げ、AI活用やデータ駆動型の意思決定を根底から支える泥臭くも極めて重要なエンジニアリングにチームで取り組んでいただきます。

具体的な業務内容

・Amazon S3を中心としたデータレイクの設計、およびAWS Lake Formationを利用したセキュアなデータアクセス（権限管理）の統制
・AWS Glue（PySpark / Python）を利用した、大規模データの抽出・変換・ロード（ETL / ELT）パイプラインの構築と最適化
・Amazon Redshiftのテーブル設計、分散キー/ソートキーのチューニング、および複雑な分析用SQLのコスト最適化
・Amazon Athenaを利用したサーバーレスなデータ検索環境の整備と、パーティショニングによるスキャン量（クエリコスト）の削減
・Amazon Managed Workflows for Apache Airflow (MWAA)、またはAWS Step Functionsを利用した複雑なバッチ処理のオーケストレーション
・Amazon Kinesis Data Streams / Firehoseを利用した、リアルタイム（ストリーミング）データパイプラインの設計・構築
・Terraformを用いたデータ基盤インフラのコード化（IaC）、およびCI/CDパイプラインを通じた自動デプロイ

必須スキル・経験

・データエンジニアリング（ETL/ELTパイプライン構築やバッチ処理）の実務開発経験（目安として3年以上）
・AWSのデータ系サービス（S3, Glue, Redshift, Athena等）を利用した実運用環境での開発・構築経験
・RDBMSを用いた複雑なテーブル設計、および高度なSQL（分析関数など）の記述経験
・Pythonを用いたデータ処理の実装経験
・Git / GitHubを用いた構成管理、およびプルリクエストベースでのチーム開発経験

歓迎スキル・経験

・PySpark、またはScalaを用いた大規模データの分散処理アーキテクチャ設計経験
・Apache Airflow等のワークフロー管理ツールを用いたパイプライン構築・運用経験
・Lake FormationやAWS Glue Data Catalogを利用したデータガバナンス・メタデータ管理の経験
・dbt（data build tool）を利用したデータモデリング、およびデータ品質テストの導入経験
・AWS認定データエンジニア – アソシエイト（DEA）、またはデータ分析 – 専門知識（DAS）等の資格

開発・業務環境

クラウド・データ基盤：AWS (S3, Glue, Redshift, Athena, Lake Formation, Kinesis, MWAA, Step Functions等)
開発言語：Python (PySpark), SQL
IaC・CI/CD：Terraform, GitHub Actions
監視・管理：Datadog, Amazon CloudWatch
コミュニケーション・管理：GitHub, Jira, Backlog, Slack, Zoom

プロジェクトチームについて

データ基盤（データプラットフォーム）開発チームへの配属となります。
「最新のAIモデルを作る」ことよりも、「欠損や遅延のない、綺麗で信頼できるデータを毎日安定して届けること」にエンジニアとしての誇りを持つ手堅いカルチャーです。上流システムの仕様変更によって突然ETLバッチがエラーを吐いた際にも、文句を言うのではなく「どうすればスキーマ変更を自動で検知できるか」「データの品質（Data Quality）をパイプラインの途中でどう担保するか」を前向きに議論し、仕組みでの解決を目指しています。

求める人物像

・散らかっているデータやフォーマットが不揃いなログに対して、パズルを解くように地道にクレンジング・構造化していくプロセスを楽しめる方
・「とりあえず動く重いクエリ」を放置せず、実行計画を読み解いてインデックスやパーティションを見直し、処理時間とインフラコストを削減することに喜びを感じる方
・ビジネスサイド（企画や営業）からの「こういう指標をダッシュボードで見たい」という曖昧な要望をヒアリングし、具体的なデータマートのテーブル設計に落とし込める方

仕事の魅力

どれだけ高度な機械学習モデルやBIツールを導入しても、その土台となる「データパイプライン」が貧弱であればビジネス価値は生まれません。AWSの強力なマネージドデータエコシステムをフル活用し、スケーラビリティとコスト効率を極限まで両立させるアーキテクチャ設計を通じて、これからのAI時代に最も重宝され、あらゆる企業で必要不可欠となる「モダンデータスタックのスペシャリスト」としての息の長い実務スキルを着実に磨くことができます。

働き方

リモート環境

[フルリモート] 基本的にフルリモートで働いていただけます（※毎日の日次バッチ処理等でクリティカルなエラーが発生した場合、ログの調査やリカバリ・再実行をお願いする場合がありますが、チーム内で持ち回り・負荷分散を行っています）。