【リモート併用】オンプレサーバ(kubernetes)のログをDatabricks on AWS側に蓄積する機能開発案件

案件要件
- 職種
- エンジニア
- 業務内容
- システム開発・運用SES
- 報酬目安
- 4,370 ~ 5,000円/時 ※スキル見合い
- 稼働時間目安
- 週5日 (時間目安 160時間)
- はたらく場所
- リモート併用東京都港区神谷町駅
- スキル
【業務内容】
オンプレミスKubernetesのログデータ(2TB/日)を、Databricks on AWSのbronzeテーブルに転送・蓄積するデータ送信基盤の設計・構築をご担当いただきます。
※データ加工やBIダッシュボード構築はスコープ外となります。
・アーキテクチャ検討(Fluentd、Kafka等)
・基盤パラメータ設計、非機能要件の検討(性能・耐障害設計)
・顧客運用ルールに合わせた基盤構築作業
・テスト計画策定、テストケース設計、準備・実施
・各種ドキュメント作成(要件定義書、基本/詳細設計書、パラメータシート、テスト計画/結果、運用設計書等)
◆想定環境
Kubernetes、Databricks on AWS、Linux、Fluentd、Kafka、syslog、AWS(Direct Connect、Transit Gateway、VPC)
【必須スキル】
・Linuxサーバの構築経験
・「dbt」「Snowflake」「Fivetran」「Tableau」等の知見
・基本的なネットワーク知識(TCP/IP、ルーティングなど)
・syslog、Fluentd、Kafka、Kubernetesに対する基本的な技術理解
・顧客インフラ担当者と具体的な基盤構築要件を詰められるコミュニケーション力
・基盤設計書やパラメータシート、運用手順書等のドキュメント作成能力
【尚可スキル】
・syslog、Fluentd、Kafkaに類するログ転送処理の機能設計・開発経験
・非機能要件を考慮した基盤設計の知見(2TB/日のデータ転送に耐えうる性能・耐障害設計)
・AWSネットワーク知見(AWS Direct Connect、AWS Transit Gateway、AWS VPCなど)
・Databricks on AWSに関する知見
【条件】
・場所:神谷町駅
・精算幅:140-180h
・期間:長期予定
【備考】
・地方不可
・40代活躍中の現場となります。
