【フルリモート／週5】Azureデータエンジニア（エンタープライズデータ基盤・ETL開発）

お任せしたいこと

自社で展開するBtoBサービス、または顧客向けエンタープライズシステムにおける、Microsoft Azureを活用したデータ統合・分析基盤の設計・開発・運用保守をお任せします。
「最新のAIで魔法のように解決する」といった浮ついたアプローチではなく、社内外のシステムに散らばるフォーマットの揃っていない泥臭いデータを地道に収集・クレンジングし、ビジネス部門やデータサイエンティストが毎日迷わず・安心して活用できる「信頼性の高いデータパイプライン」をチームで作り上げていくポジションです。

具体的な業務内容

・Azure Data Factory または Synapse Pipelines を用いた、各種データソースからのETL / ELTパイプラインの設計・構築・運用
・Azure Databricks（PySpark / Python）を利用した、大規模データの分散処理および複雑なデータクレンジングの実装
・Azure Synapse Analytics（または Azure SQL Database）における、分析用のデータウェアハウス（DWH）およびデータマートのテーブル設計
・データ量増加に伴うボトルネックの調査、および複雑なSQLのチューニングとコスト最適化
・Bicep または Terraform を用いた、データ基盤インフラのコード化（IaC）
・Azure DevOps を利用した、データパイプラインやインフラコードのCI/CD環境構築と自動デプロイ
・データ連携エラー時のリカバリ対応、およびAzure Monitor等を用いたパイプラインの死活監視・アラート設定

必須スキル・経験

・データエンジニアリング（ETL/ELTパイプライン構築やバッチ処理）の実務開発経験（目安として3年以上）
・Microsoft Azureのデータ系サービス（Data Factory, Databricks, Synapse, SQL Database等）の運用・構築経験
・RDBMSを用いた複雑なテーブル設計、および高度なSQLの記述経験
・Pythonを用いたデータ処理の実装経験
・Gitを用いたプルリクエストベースでのチーム開発経験

歓迎スキル・経験

・PySpark、またはScalaを用いた大規模データ分散処理の実務経験
・オンプレミスのデータベース（SQL ServerやOracle等）からAzureへのデータ移行経験
・Power BI等のBIツールを利用したレポート作成、またはデータモデル設計経験
・Bicep、ARMテンプレート、Terraform等を用いたIaCの実務経験
・Azure認定資格（DP-203: Azure Data Engineer Associate等）

開発・業務環境

クラウド・データ基盤：Microsoft Azure (Data Factory, Databricks, Synapse Analytics, Data Lake Storage Gen2, SQL Database等)
開発言語：Python (PySpark), SQL
IaC・CI/CD：Bicep (または Terraform), Azure DevOps (または GitHub Actions)
監視・管理：Azure Monitor, Log Analytics
コミュニケーション・管理：Azure Boards (または Jira), GitHub, Slack (または Microsoft Teams), Zoom

プロジェクトチームについて

データ基盤開発チームへの配属となります。
「とりあえずデータをデータレイクに溜め込む（データスワンプ化させる）」ことを嫌い、スキーマ定義や命名規則といったガバナンスをしっかり効かせながら、後から使いやすい形に整理していく手堅いカルチャーです。文字化けや仕様変更によって突然エラーを吐くバッチ処理に対しても、文句を言うのではなく、「どうすれば異常データを自動で検知して弾けるか」「リトライ処理をどう組むか」を前向きに議論し、仕組みでの解決を目指しています。

求める人物像

・「AIモデルの構築」そのものよりも、その土台となる「欠損のない綺麗なデータを届けるためのエンジニアリング」にやりがいを感じる方
・エラーが起きた際に手作業でデータを修正して場当たり的に済ますのではなく、パイプラインのコードを直して再発防止を図れる方
・ビジネスサイド（企画や営業）からの「こういう指標が見たい」という曖昧な要望をヒアリングし、具体的なデータマート設計に落とし込める方

仕事の魅力

エンタープライズ領域で圧倒的なシェアを持つMicrosoft Azureのデータエコシステムをフル活用し、企業の意思決定を根幹から支えるポジションです。Azure Data FactoryやDatabricksといった業界標準のモダンデータスタックの実践的な知見を深めながら、複雑なSQLチューニングや分散処理アーキテクチャの設計など、データエンジニアとして非常に需要が高く息の長いスキルを着実に磨くことができます。

働き方

リモート環境

[フルリモート] 基本的にフルリモートで働いていただけます（※毎日の日次バッチ処理等でエラーが発生した場合、ログの調査やリカバリをお願いする場合がありますが、チーム内で持ち回り・負荷分散を行っています）。