【一部出社あり／週2〜3／Python】Data/AdTech・大規模リアルタイムデータ基盤＆分散ETLパイプライン構築開発

お任せしたいこと
［役割］
Python (Polars / PySpark) / dbt / Airflow を用いた、月間数十億レコード規模のアドテク・マーケティングデータ分析基盤におけるデータパイプライン（ETL/ELT）の再設計およびクエリ最適化

［役割に対して求める成果］
Pandas から Polars / PySpark への処理移行および BigQuery / Snowflake のパーティション最適化により、デイリー集計バッチの処理時間を従来の 70% 削減し、BI レポート用データマートの鮮度を 1時間以内に短縮

具体的な業務内容
Python (Polars / DuckDB / PySpark) を用いた、分散データ変換・クレンジング処理ロジックの設計・実装
Apache Airflow / Dagster を用いた、データパイプラインのワークフロー管理・有向非巡回グラフ（DAG）の保守・運用
dbt (data build tool) を活用した、BigQuery / Snowflake 上のデータモデリングおよび自動テスト基盤の導入
Sentry / Datafold などのツールを用いた、パイプライン障害検知およびデータ品質（Data Observability）モニタリング
分析者・BI エンジニア向けマート設計および SQL クエリパフォーマンスの改善支援

必須スキル・経験
Python を用いたデータ処理（ETL/ELT）、バッチ開発、またはデータエンジニアリングの実務経験（3年以上）
クラウドDWH（BigQuery, Snowflake, Redshift 等）での高度な SQL 作成・パフォーマンスチューニング経験
Apache Airflow, Prefect, Dagster いずれかのワークフローエンジンの運用経験
Git / GitHub を用いたチーム開発およびデータパイプラインのコード管理経験

歓迎スキル・経験
Polars, PySpark, DuckDB などの高速データ処理ライブラリの実務活用実績
dbt を用いたデータモデリング・CI/CD 運用経験
Kafka, Kinesis 等を用いたストリーミングデータパイプラインの構築知見
GCP (Dataflow, Cloud Composer) または AWS (Glue, EMR, Athena) のインフラ運用知見

開発環境
言語/ツール: Python 3.12+, Polars, PySpark, dbt, Apache Airflow
データ基盤: BigQuery, Snowflake, Cloud Storage, Amazon S3
CI/テスト: pytest, Great Expectations, GitHub Actions, Docker
クラウド: GCP / AWS
コミュニケーション: Slack, Notion, Jira, GitHub

働き方
リモート環境
[一部出社あり] 週2〜3日出社 / 週2〜3日リモートワーク