お任せしたいこと
［役割］
データエンジニアとして、GCP（Google Cloud Platform）環境を中心とした大規模データプラットフォームのETL/ELTパイプライン設計・構築、およびデータウェアハウス（BigQuery）の最適化を担当していただきます。
［役割に対して求める成果］
データサイエンティストやアナリストが即座に分析に利用できるよう、スキーマ定義の統一、クエリパフォーマンスの改善、およびデータ欠損のない堅牢な処理パイプラインを構築すること。

具体的な業務内容
Cloud Dataflow、Cloud Composer（Apache Airflow）を用いた、データ収集・加工パイプラインの開発
dbtを用いた、BigQuery内におけるデータモデル（Mart/Staging等）の設計およびSQL記述
数億件規模の大規模テーブルに対する、パーティショニング、クラスタリングの設定による検索高速化
Terraformを用いた、GCPリソース（BigQuery, Cloud Storage, IAM等）のコードによる構成管理
GitHub Actionsを利用した、SQLやdbtモデルの自動テストおよびCI/CD環境の運用
データ品質の監視、およびコスト最適化（スキャン量削減のためのクリーチューニング）の実施

必須スキル・経験
SQL（BigQuery、Snowflake、Redshift等）を用いた大規模データの抽出・集計・加工の実務経験3年以上
Apache Airflow、Cloud Composer、Digdagいずれかを用いたワークフロー管理の運用経験
Pythonを用いた、データクレンジングやバッチ処理スクリプトの開発経験
Terraformを用いたInfrastructure as Code（IaC）の実務における運用経験
Git / GitHubを用いたチーム開発（ブランチ管理、コードレビュー等）の実務経験

歓迎スキル・経験
dbt（data build tool）を用いたデータモデリングおよび品質管理の実務経験
Cloud Dataflow（Apache Beam）、Apache Sparkなどを用いたストリーミング/バッチ処理の経験
GCP環境におけるセキュリティ・アクセス権限（IAM）の設計・運用に関する基礎知識
データマートやDWHのアーキテクチャ設計、またはシステム移行に携わった経験

開発環境
クラウド：GCP (BigQuery, Cloud Storage, Cloud Composer, Dataflow)
IaC・CI/CD：Terraform, GitHub Actions
ワークフロー・ツール：Apache Airflow, dbt, Python
管理ツール：GitHub, Slack, Jira

開発チームについて
データエンジニア3名、データサイエンティスト2名の構成です。
「生データをいかに綺麗に安全に届けるか」をミッションとし、モダンなデータエンジニアリングツールを積極的に検証・導入する非常に先進的なチームです。

求める人物像
データの不整合や欠損を許さず、正確なパイプラインをロジカルに設計・検証できる方
分析メンバー（データ利用者）のニーズを汲み取り、協調性を持ってデータマート構築に動ける方

仕事の魅力
国内トップクラスの膨大なデータ量を対象に、BigQueryやdbtなどのモダンなデータテックスタックをフル活用した経験が積めます。
完全フルリモートで、データ基盤の根幹設計から裁量を持って携わることができます。

働き方
リモート環境
[フルリモート] フルリモートで働いていただけます。