【フルリモート／週5／Python】エンタープライズ向けデータ統合・分析プラットフォームのバックエンド＆ETLパイプライン開発案件

お任せしたいこと
［役割］
Python（FastAPI / PySpark）を用いた、大容量マルチクラウドデータ統合基盤のAPI開発および分散データ処理パイプライン（ETL）の設計・開発
［役割に対して求める成果］
毎時テラバイト級の非構造化・構造化データ処理におけるパイプライン実行時間の30%短縮、およびFastAPIを用いた非同期APIの高速応答（平均レスポンス100ms以下）の維持

具体的な業務内容
Python 3.12 / FastAPI を活用した、データ分析プラットフォーム向け管理APIおよびデータ連携Webサービスの設計・開発
Apache Airflow や Prefect を用いた大規模ワークフロー（DAG）の定義、およびデータパイプラインの自動化・例外制御の実装
PySpark / DuckDB を活用した大容量データの抽出・変換・格納（ETL/ELT）ロジックの最適化
SQLAlchemy / Pydantic を用いた厳格なデータモデル設計および PostgreSQL / Snowflake 連携処理の実装
Pytest によるテスト駆動開発（TDD）の推進と、Ruff / mypy を用いたコード品質の向上および静的解析の自動化

必須スキル・経験
Python を用いた Web アプリケーションまたはデータエンジニアリングの開発・運用実務経験（5年以上）
FastAPI または Django を用いた商用 REST API の設計・開発実績（2年以上）
RDBMS（PostgreSQL等）におけるデータモデル設計および SQL クエリのパフォーマンスチューニング実務経験
大規模データ処理（Pandas, PySpark, Polars 等）やワークフローオーケストレーションツール（Airflow等）の実務経験

歓迎スキル・経験
Snowflake, BigQuery, Redshift などのクラウドデータウェアハウス（DWH）の設計・運用経験
Asyncio を用いた高並行処理・非同期 I/O 処理のチューニング実績
AWS（ECS, EMR, S3, Glue）や Docker / Kubernetes を用いたクラウド環境でのパイプライン構築・運用経験

開発環境
言語/フレームワーク: Python 3.12, FastAPI, Pydantic
データ処理/DWH: PySpark, Airflow, DuckDB, Snowflake, PostgreSQL
ツール: Docker, uv, Pytest, Ruff, mypy, GitHub
クラウド/インフラ: AWS (ECS, EMR, S3, Glue), Terraform
コミュニケーション: Slack, Notion, Jira

開発チームについて
プロダクトマネージャー（1名）、テックリード（1名）、Python/データエンジニア（4名/今回枠含む）、SRE（1名）で構成されたアジャイルチームです。
コードレビューでの質疑応答やアーキテクチャ提案が非常に活発で、Pythonの最新仕様（型ヒントやパフォーマンス改善など）を積極的に取り入れる文化です。

求める人物像
大規模データを扱う際の計算量やメモリ効率を意識し、パフォーマンス改善を追求できる方
データパイプラインの障害時に、ログやメトリクスから迅速にボトルネックを特定・解決できる探究心のある方
ドキュメント作成やSlackでのテキストコミュニケーションを通じ、チームとスムーズな協調ができる方

仕事の魅力
テラバイト規模のリアルなビッグデータを扱う領域で、Pythonの高速化技術やモダンなデータプラットフォーム構築の知見を深められます。
FastAPIによるモダンなWeb API開発と、PySpark/Airflow等を駆使したデータエンジニアリングの両面で存在感を発揮できるプロジェクトです。

働き方
リモート環境
[フルリモート] フルリモートで働いていただけます。