【フルリモート／週5／AWS】企業にはびこる「データのサイロ」を完全に破壊し、ペタバイト級の情報の海から真理を抽出するグローバル・データ基盤アーキテクト

お任せしたいこと

［役割］クラウドアーキテクト（データ基盤）として、各事業部に散在しブラックボックス化した無数のデータソースを単一の「Single Source of Truth（信頼できる唯一の情報源）」へと統合し、全社のAI活用とデータ駆動（Data-driven）な意思決定を根底から支える、極限のスケーラビリティを備えたデータプラットフォームの設計・構築をお任せします。
［役割に対して求める成果］「必要なデータがどこにあるか分からない」「集計クエリに何時間もかかる」という巨大組織特有のデータインフラの呪縛を完全に解き放つこと。AWSの多彩なマネージドサービスを強固に連携させ、ペタバイト級に膨張し続けるバッチ／ストリーミングデータを遅延なく処理し、データサイエンティストや経営層が「欲しい時に、欲しいデータを、即座に」引き出せる美しく統制されたデータレイク・アーキテクチャを確立すること。

具体的な業務内容

・Amazon S3、Amazon Redshift（Serverless）、およびAmazon Athenaを中核とした、極めてスケーラブルでコスト効率の高いデータレイクハウス（Data Lakehouse）の詳細設計、構築、およびパフォーマンスチューニング
・AWS Glue、Amazon EMR（Apache Spark）、およびStep Functionsを活用した、無数の外部システムからのデータ抽出・変換・ロード（ETL/ELT）パイプラインの構築と自動化
・Amazon Kinesis Data Streams / Firehose、およびAmazon MSK（Kafka）を利用した、秒間数百万のログデータに対する超低遅延なリアルタイム・ストリーム処理の実装
・AWS Lake FormationおよびAWS IAMを駆使した、列レベル（Column-level）／行レベル（Row-level）での極めて厳格なアクセス制御と、エンタープライズ水準のデータガバナンス・セキュリティの実装
・TerraformまたはAWS CDKを用いた、複雑なデータ基盤インフラの完全なコード化（IaC）と、dbt（data build tool）等を組み込んだデータモデルの継続的デリバリー（CI/CD）環境の構築
・Amazon MacieやAWS CloudTrailを利用した機密データ（PII）の自動検知・監査対応、およびDatadog等によるデータパイプラインのオブザーバビリティ（エラー検知、レイテンシ監視）の確立
・FinOps（クラウドコスト最適化）プラクティスに基づいた、膨大なストレージコストとコンピュートコストの継続的な可視化・削減施策のリード

必須スキル・経験

・AWSを利用した大規模なインフラストラクチャ、またはデータ基盤の設計・構築・運用経験（3年以上）
・Python、Scala、Goいずれかの言語を用いたバックエンド開発、またはデータ処理パイプラインの開発経験
・複雑なSQLの記述、およびRDBMSやデータウェアハウス（Redshift, BigQuery, Snowflake等）のクエリチューニング・データモデリング経験
・Terraform、AWS CDK等を用いたIaC（Infrastructure as Code）の運用経験
・Git/GitHubを用いたチーム開発およびPull Requestベースのコードレビュー経験

歓迎スキル・経験

・ペタバイト規模のデータレイク、またはデータウェアハウスのアーキテクチャ設計・移行経験
・Apache Spark、Apache Flink等を利用した大規模な分散データ処理（バッチ／ストリーミング）の経験
・dbt、Apache Airflow等のモダン・データスタック（MDS）ツールの導入・運用経験
・AWS Lake Formationを用いたデータガバナンス、アクセス制御の設計経験
・機械学習基盤（Amazon SageMaker等）と連携したMLOpsパイプラインの構築支援経験
・AWS認定ソリューションアーキテクト – プロフェッショナル（SAP）、またはAWS認定データエンジニア（DEA）等の資格

開発環境

クラウド・データストア：AWS (S3, Redshift, RDS, DynamoDB, ElastiCache)
データ統合・処理：AWS Glue, Amazon EMR, Amazon Kinesis, Step Functions, AWS Lake Formation
IaC・オーケストレーション：Terraform, AWS CDK, Apache Airflow, dbt
開発言語・クエリ：Python, SQL, Scala
監視・CI/CD：Datadog, GitHub Actions, AWS CloudTrail

開発チームについて

CDO（最高データ責任者）直下の「データプラットフォーム部」への配属となります。データアーキテクト4名（今回募集枠含む）、データエンジニア6名、データサイエンティスト多数の体制です。「ダーティなデータ（Dirty Data）はシステムの毒である」という強烈な信念を持ち、上流のマイクロサービスから流れてくるスキーマ変更や欠損値に対し、インフラとコードの力で強靭な防波堤（バリデーション）を築くことに情熱を燃やす、非常に職人気質なハッカー集団です。

求める人物像

・カオスのように絡み合った無数のデータソースを解きほぐし、スタースキーマやデータボルト（Data Vault）といった美しい構造へと整理することに無上の快感を覚える方
・「データは単なるログではなく、企業の未来の意思決定そのものである」という強い当事者意識を持ち、1バイトの欠損や遅延も許さない高いプロフェッショナリズムを持てる方
・フルリモート環境下において、アプリケーションエンジニア（データ生成側）やデータアナリスト（データ消費側）の間に入り、円滑に合意形成と仕様策定をリードできる方

仕事の魅力

企業の競争力の源泉である「ビッグデータ」を、AWSの多彩なエコシステムを駆使して自由自在に操る基盤を構築する、極めてビジネスインパクトの大きなポジションです。単なるインフラ構築にとどまらず、全社のデータガバナンスからリアルタイム処理の限界までを追求する経験を積むことで、AI・データ駆動時代において最も枯渇し求められる「トップティア・データアーキテクト」としての圧倒的な市場価値を獲得することができます。

働き方

リモート環境

[フルリモート] フルリモートで働いていただけます。