【フルリモート/週5/Python】独自LLMを組み込んだ次世代エンタープライズ向け生成AIプラットフォームのバックエンド開発およびRAGパイプライン構築 お任せしたいこと [役割]バックエンドエンジニアとして、大手企業の機密データ(社内規程、マニュアル、過去の議事録など)を安全に学習・参照し、業務効率化を劇的に推進する「エンタープライズ向け生成AIプラットフォーム」のPython(FastAPI)を用いたAPI開発、およびスケーラブルなRAG(検索拡張生成)パイプラインの構築をお任せします。 [役割に対して求める成果]LLM(大規模言語モデル)のレスポンス待ちによるタイムアウトを防ぎ、Server-Sent Events(SSE)等を用いたストリーミング応答を実装して極めて滑らかなユーザー体験を提供すること。また、LangChainやLlamaIndexを活用して社内の膨大なドキュメントを効率的にチャンク化・ベクトル化し、ハルシネーション(もっともらしい嘘)を極限まで抑え込んだ精度の高いAIアシスタント基盤をスピーディーに本番環境へデプロイし続けること。 具体的な業務内容 ・Python(FastAPI)を用いた、LLMオーケストレーション層およびフロントエンド向けWeb APIの詳細設計、実装、テスト ・LangChain、LlamaIndex等を活用した、セマンティック検索とLLMを組み合わせた高度なRAG(Retrieval-Augmented Generation)パイプラインの設計・開発 ・Qdrant、Pinecone、Milvus等のベクトルデータベースを利用した、数千万〜数億件のドキュメント埋め込み表現(Embeddings)の高速な検索・インデックスチューニング ・PDF、Word、社内Wiki(Confluence等)などの多様な非構造化データを収集・パースし、ノイズを除去してベクトル化する堅牢なETLバッチ処理の実装 ・外部のLLM API(OpenAI, Anthropic等)やローカルLLMを呼び出す際の、堅牢なリトライ制御、レートリミット管理、およびプロンプト・インジェクション対策 ・企業が求める厳格なセキュリティ要件を満たすための、入力プロンプトに含まれる個人情報(PII)や機密情報の自動マスキング処理の実装 ・CeleryやRedisを利用した、重いドキュメント解析処理や非同期ジョブの分散タスクキュー設計 ・pytestを用いたテストコードの拡充と、LLMの出力品質を定量的に評価(LLM-as-a-Judge等)する自動評価パイプラインの構築 必須スキル・経験 ・Pythonを用いたWebアプリケーション、またはバックエンドシステムの実務開発経験(3年以上) ・FastAPI、Django、Flask等のWebフレームワークを用いたAPI開発経験(2年以上) ・RDBMS(PostgreSQL, MySQL等)を用いたデータベース設計経験 ・Git/GitHubを用いたプルリクエストベースでのチーム開発経験 歓迎スキル・経験 ・OpenAI API等のLLMを活用したアプリケーションの開発・運用経験 ・LangChain、LlamaIndex等のLLMオーケストレーション・フレームワークの利用経験 ・ベクトルデータベース(Qdrant, Pinecone, Chroma等)の構築・チューニング経験 ・RAG(検索拡張生成)パイプラインの設計、またはプロンプトエンジニアリングの深い知見 ・Server-Sent Events(SSE)やWebSocketを利用したストリーミングAPIの実装経験 ・Celery等を利用した非同期処理、分散タスクキューの設計経験 ・AWS(ECS, Bedrock, SageMaker等)、またはGCP/Azureを利用したクラウドインフラ環境での開発経験 開発・業務環境 開発言語:Python 3.12以降 フレームワーク・ライブラリ:FastAPI, LangChain, LlamaIndex, Celery, SQLAlchemy データベース・Vector DB:PostgreSQL, Redis, Qdrant (または Pinecone) LLM・AIサービス:OpenAI API, Anthropic Claude, AWS Bedrock インフラ:AWS (ECS Fargate, RDS, ElastiCache等), Docker テスト・CI/CD:pytest, GitHub Actions 監視・ツール:Datadog, GitHub, Jira, Slack, Notion プロジェクトチームについて AIプロダクト開発部のバックエンドチームへの配属となります。生成AIという数ヶ月でベストプラクティスが覆る激動の技術領域において、「枯れた技術の堅牢性」と「最新AIモデルの俊敏な取り込み」のバランスを何よりも重んじるカルチャーです。単にAPIを叩くだけのラッパーを作るのではなく、「いかにチャンク分割のアルゴリズムを最適化すれば検索精度が上がるか」「プロンプトの実行時間をどうミリ秒単位で削るか」といった、AIとソフトウェアエンジニアリングの境界線における高度な議論が日常的に行われています。 求める人物像 ・「AIモデルの開発」そのものではなく、優れたLLMを組み合わせて「実社会で使えるスケーラブルなプロダクト」に仕立て上げるエンジニアリング領域に知的な面白みを感じる方 ・日々発表される新しいAIツールや論文にアンテナを張り、使える技術はすぐにPoC(概念実証)を行ってプロダクトに還元する圧倒的な学習意欲を持った方 ・LLM特有の「出力の不確実性」を受け入れ、決定論的な従来のシステム設計から思考を切り替えて、例外処理やフェイルセーフの設計に粘り強く取り組める方 仕事の魅力 現代のソフトウェア開発において最もエキサイティングで市場価値が急騰している「LLMアプリケーション(Generative AI)」のバックエンド開発に最前線で取り組むことができます。Pythonの強みであるAIエコシステムをフル活用し、スケーラブルなRAG基盤やベクトルデータベースの高度なチューニングを経験することで、単なるWebエンジニアの枠を超えた「AIインテグレーションのスペシャリスト」として確固たるキャリアを築くことができます。 働き方 リモート環境 [フルリモート] 基本的にフルリモートで働いていただけます。