【フルリモート／週5／データ基盤】数億件規模のビッグデータを扱う、次世代データプラットフォーム（データ基盤）アーキテクト
お任せしたいこと
［役割］
全社のプロダクトから生成される膨大なログ、ユーザー行動データ、および各種外部SaaSのデータを一元管理する「スケーラブルなデータプラットフォーム（データ基盤）」の設計・構築・運用を担当していただきます。
［役割に対して求める成果］
サイロ化されたデータソースを統合し、データアナリストや機械学習エンジニア、ビジネスサイドのメンバーが「安全」「高速」「容易」にデータにアクセスできる環境を構築すること。また、データの肥大化に伴うストレージおよびコンピュートコストの最適化を達成すること。
具体的な業務内容
クラウドデータウェアハウス（Snowflake / BigQuery等） を用いた、ペタバイト規模に対応するデータ分析基盤のアーキテクチャ設計・移行
dbt (data build tool) を活用した、SQLベースのデータモデリング、データ変換（ELT）
パイプラインの構築、およびデータ品質（テスト）の自動化
Apache Airflow や Prefect を用いた、複雑な依存関係を持つデータパイプライン（DAG）のワークフロー管理・運用自動化
各種サービスDB（MySQL / PostgreSQL）やログデータ、外部SaaSからデータをニアリアルタイムに収集するパイプライン（Embulk, Fivetran, Kafka等）の構築
Terraform を用いた、データ基盤インフラ（IAM、バケット、DWHリソース）のInfrastructure as Code（IaC）による構成管理・統制
必須スキル・経験
大規模データ基盤（データレイク／DWH／データマート）の設計・構築・運用実務経験（3年以上）
Snowflake、BigQuery、または AWS Redshift のいずれかを用いた実務経験、およびクエリパフォーマンスの最適化知見
SQL の高度な記述・チューニングスキル、および Python または Go を用いたデータ処理スクリプトの開発経験
ワークフロー管理ツール（Apache Airflow, Digdag, Prefect等）を用いたデータパイプラインの構築・運用経験
歓迎スキル・経験
dbt（dbt Core / dbt Cloud） を用いたデータモデリングおよびソフトウェアエンジニアリング手法（Git管理、CI/CD）の導入経験
大規模なオンプレミスDWHや、レガシーなデータパイプラインからモダンデータスタック（MDS）への移行プロジェクト実績
データガバナンス、メタデータ管理、データカタログツール（OpenMetadata, DataHub等）の導入・運用経験
Spark / Flink 等を用いたストリーミング（リアルタイム）データ処理パイプラインの開発経験
開発・運用環境
DWH / データレイク: Snowflake, Google BigQuery, AWS S3
データパイプライン / モデリング: dbt, Embulk, Fivetran, Apache Airflow
言語: SQL, Python, Go
構成管理 (IaC): Terraform
監視・オブザーバビリティ: Datadog, Monte Carlo (Data Observability)
ツール: GitHub, Slack, Jira, Notion
開発チームについて
データエンジニアやアナリティクスエンジニアが集まる専門組織です。技術への投資に非常に理解があり、レガシーな仕組みをモダンデータスタックへ刷新していくプロセスをチーム全員で楽しむ文化があります。
パイプラインやモデリングの変更はすべてGitHub上のプルリクエストベースで管理されており、データの冪等性（Idempotency）やテストコード、命名規則がコードレビューで厳格にチェックされます。
完全フルリモート環境ながら、データ定義（データカタログ）やアーキテクチャの選定理由、トラブル時の事後分析（ポストモーテム）がNotionへクリアにドキュメント化されており、非同期で迷いのない開発が可能です。
工作の魅力
モダンデータスタック（MDS）の最先端に触れながら、プロダクトの意思決定を劇的に変えるエンタープライズ規模のデータ基盤構築を最上流からリードできます。
単なるデータの「抽出・加工」に留まらず、セキュリティ、コスト最適化、データ品質の担保など、データプラットフォームの根幹に関わる高度なエンジニアリングを追求できます。
フルリモート・フルフレックスの柔軟な環境が整っており、無駄な社内調整を排除し、アーキテクチャの選定やコーディングに100%集中できます。
働き方
リモート環境
[フルリモート] フルリモートで働いていただけます。