【業務内容】
・Spark、Hive、Kafka、Spark-Streaming、Hadoop、Google Cloud Platformなどのデータ処理フレームワークやテクノロジーを用いて、大規模なバッチデータパイプラインを構築を行い、データパイプラインを活用して、楽天市場のガイドラインに沿ったデータチェック、顧客獲得、その他の主要なビジネスパフォーマンス指標についての重要な意思決定データの提供を行います
・データパイプライン管理:大規模なeコマースプラットフォームのデータパイプラインを構築・維持
・自動化:データ取り込みプロセスを自動化し、手動データ処理を削減
・クラウド移行:オンプレミスのデータインフラをGoogle Cloud Platformに移行
・アプリケーション管理:大量のデータを取り込み・処理するプラットフォーム上のアプリケーションを管理
・複雑なデータストレージおよび取得問題の解決:ビッグデータパイプラインにおける複雑なデータストレージおよび取得問題を解決し、明確に説明します
・本番環境でのアプリケーションのデバッグと保守:ロギング、アラート、モニタリングツールを使用して本番環境でのアプリケーションをデバッグおよび保守します
・チームおよびクロスチームメンバーとの効果的なコラボレーション:他のチームおよびクロスチームメンバーと効果的に協力します
・チームリーダーシップ:ソフトウェアエンジニアのチームをリードし、プロジェクト目標を達成
【開発環境】
Python/Hadoop/Hive/Spark/Kafka/Google Cloud Platform
【必須要件】
・Hadoop、Spark、Kafkaアプリケーション開発、運用経験
・PythonまたはJava/Scalaでの開発経験
・データエンジニア経験
・Google Cloud PlatformやBigQueryの開発、運用経験
・SQLに関する高度な知識とリレーショナル データベースの経験
・データパイプライン、データセットの構築とパフォーマンス最適化の経験
・データモデリングの経験
・Linuxでの開発経験
・データ分析:データ処理と変換のための強力な分析スキル
・プロジェクト管理:プロジェクトを管理し、高品質なソリューションを提供する能力
・チームリーダーシップ: ソフトウェアエンジニアリングチームをリードし、指導した経験
・日本語の読み書き、会話(ネイティブレベル)が出来ること
【歓迎要件】
・ビッグデータを活用した開発経験
・データベースの運用経験、最適なパフォーマンスチューニングの経験
・Docker、Kubernetesなどのインフラマネージメントの経験
・DevOps/Micro service アーキテクチャに対する深い理解と経験
・Jenkinsもしくはその他のCI技術を使った運用経験
・Scrum/Agile開発経験・
【英語要件に関する補足】
・TOEIC 800点以上
東証プライム上場 老舗光学機器メーカー FPD装置事業部 構想設計エンジニア
東証プライム上場 日系大手コンサルティングファーム コンサルティング本部 シニアコンサルタント
プライム上場 総合商社 IT業務部門 基盤統括担当
日本企業の長期的な成長を支える、新しい金融の仕組み作りに挑戦中です
人々の生活や命を支えるため、「食料・水・環境」分野で地域に根ざした事業にチャレンジする
オルタナティブ市場成長の担い手として。個が経験を活かし、チームワークで価値を生み出す運用会社です。
大企業から中堅中小企業まで。 サステナビリティの視点で ビジネスの成長ストーリーを描く。
「成長の果実」を従業員の手に。 世界と日本で多くの企業が待ち望む、 新たな報酬制度の運用を支えたい。
世界のスタートアップに投資し、 中長期的な成長に伴走していく。 日本の農林水産業と、食料が育むいのち、 そして地域を元気にするために。