【フルリモート／週5】Pythonバックエンドエンジニア（大規模分散クローラー基盤・データパイプライン開発）

お任せしたいこと

自社プロダクトの価値の源泉となる多種多様な外部データ（Webサイト、API、SNS等）を安定的かつ高速に収集・正規化するための、大規模な分散クローリング基盤およびデータパイプラインの設計・開発をお任せします。
「BeautifulSoupで簡単なスクリプトを書いて終わり」といった個人的なスクレイピングの延長ではなく、相手サイトの負荷に配慮しつつ、Cloudflare等の強力なBot対策（Anti-bot）の回避、プロキシプールの運用、そして相手先の突然のDOM変更をいち早く検知して自動復旧させるような、極めて泥臭く高度な「データ収集のエンジニアリング」にチームで取り組んでいただきます。

具体的な業務内容

・Python 3.x および Scrapy、Playwright（または Selenium, Puppeteer）等を利用した、高スループットな分散クローラーの実装
・非同期処理（asyncio, aiohttp）を活用した、ネットワークI/Oバウンドなスクレイピング処理の極限のパフォーマンスチューニング
・CeleryやRabbitMQ、Redisを利用した、数百万〜数千万URLを捌く分散タスクキューの設計およびジョブ管理（リトライ、スロットリング機構の実装）
・プロキシ（IPローテーション）の管理や、Headlessブラウザのフィンガープリント偽装等による、複雑なスクレイピングブロックの回避策の検証と実装
・PydanticやPandasを利用した、抽出した非構造化データ（汚いデータ）のクレンジング・正規化と、RDBMS（PostgreSQL）またはDWH（BigQuery等）へのロード処理
・DatadogやSentryを利用した、クローラーの稼働状況（取得漏れ、ブロック率、DOM変更によるエラー）のプロアクティブな監視・アラート基盤の構築
・内部向けのデータ提供用API（FastAPI等を利用）の開発、およびフロントエンド/バックエンドチームとのデータ連携仕様の策定

必須スキル・経験

・Pythonを用いたバックエンドアプリケーション、またはバッチ処理の開発実務経験（目安として3年以上）
・Scrapy、BeautifulSoup等のライブラリを利用したWebスクレイピングの実務経験
・RDBMSを用いた適切なデータベース設計、およびSQLパフォーマンスチューニングの経験
・HTML/CSS/JavaScriptに関する基礎知識（DOMツリーの理解、ブラウザのレンダリング機構の理解）
・Git / GitHubを用いたプルリクエストベースでのチーム開発経験

歓迎スキル・経験

・月間数千万リクエスト規模の大規模な分散クローリングシステムの設計・運用経験
・PlaywrightやSelenium等を用いた、SPA（動的レンダリングサイト）に対するスクレイピング経験
・Webブラウザの開発者ツール（Networkタブ）を用いた、非公開APIのリバースエンジニアリング（通信解析）経験
・Celery、RabbitMQ、またはApache Kafka等を利用した分散メッセージングの運用経験
・AWS（ECS, Lambda, Batch等）、およびDocker等を利用したインフラ運用・コンテナ技術の経験

開発・業務環境

開発言語：Python 3.x
クローラー・非同期処理：Scrapy, Playwright, asyncio, aiohttp
フレームワーク（API用）：FastAPI
非同期タスク・キュー：Celery, RabbitMQ (または Redis, SQS)
データベース：PostgreSQL, Redis
インフラ・コンテナ：AWS (ECS, EC2, S3 等), Docker
監視・可観測性：Datadog, Sentry
コミュニケーション・管理：GitHub, Jira, Slack, Zoom

プロジェクトチームについて

自社プロダクトのコアデータを支えるデータ基盤（クローラー開発）チームへの配属となります。
「スクレイピングは相手（外部環境）への依存の極みである」という事実を深く理解しており、相手サイトのDOM変更やAPIの仕様変更によるエラーに対して文句を言うのではなく、「どうすれば構造変化に強いセレクタ（XPath/CSS）を書けるか」「どうすればエラーを最速で検知できるか」を仕組みの観点から泥臭く議論する手堅いカルチャーです。IPブロックやCAPTCHAといった技術的な壁に直面した際にも、パズルを解くように原因を切り分け、執念深くデータを取りに行く実直なメンバーが集まっています。

求める人物像

・「きれいなWeb APIからデータをもらう」ことよりも、混沌としたWebの海から自らの手で価値あるデータを抽出し、整理することにエンジニアとしての喜びを感じる方
・ブラウザの裏側でどのようなHTTPリクエストが飛び交い、どのようなJavaScriptが実行されているかを、好奇心を持って泥臭く解析・探求できる方
・外部要因による予期せぬエラー（相手サイトのリニューアル等）が日常茶飯事である環境において、ストレスを感じるのではなく、迅速なトラブルシューティングを楽しめる方

仕事の魅力

LLM（大規模言語モデル）の台頭やデータドリブン経営の加速により、「独自の良質なデータ」を持つ企業が圧倒的な競争優位性を持つ時代において、その心臓部となるデータパイプラインを最前線で構築する極めて重要度の高いポジションです。ネットワーク通信の深い知識や分散処理アーキテクチャを駆使してWeb上のあらゆるデータを制覇する経験を通じて、メガベンチャーやAIスタートアップから喉から手が出るほど求められる「データ収集のスペシャリスト（データパイプラインエンジニア）」としての確固たる市場価値を築くことができます。

働き方

リモート環境

[フルリモート] 基本的にフルリモートで働いていただけます。