仕事内容【ポジション概要】
LINEヤフーのサービス開発におけるデータエンジニアリングを担当
LINEヤフーのサービス開発のための、大規模データ向け分散システム(Hadoop、Kafka、Flink、Trino、Druidなど)として提供するData Platform の開発を担当
【業務詳細】
LINEヤフーの持つ国内最大級のデータエンジニアリングを行い、事業のさらなる成長に貢献いただきます。LINEヤフーでは、日々大量のデータが発生し、大量のデータがData Platformに蓄積されています。トータルでは数百PB以上のデータを蓄積・処理し、データ利活用に役立てています。この膨大なデータを安定して収集・蓄積・処理するために、専用のデータセンターを活用し、数千台のサーバーを用いて分散システム基盤を構築・運用しています。
私たちのData Platformは、代表的なものとして以下のような技術スタックを活用しています：
分散処理フレームワーク: Hadoop
分散メッセージングシステム: Kafka
分散ストリーム処理システム: Flink
分散SQLエンジン: Trino
分散データストア: Druid
これらの技術を駆使して、ビッグデータを安全かつ効率的に活用するためのインフラを提供しています。また、データサイエンティストが簡単にAI活用できることを目指して、機械学習プラットフォーム(AIプラットフォーム)も独自で構築し提供しています。
【主な業務内容】
データ収集と統合: 異なるデータソースからのデータを効率的に収集し、統合するためのETLパイプラインの設計・実装。
リアルタイムデータ処理: KafkaやFlinkを用いたリアルタイムデータ処理の最適化と運用。
スケーラビリティとパフォーマンス: ネットワークの設計やハードウェアの選定など専門チームと協業しながらスケーラブルなインフラの設計・実装、パフォーマンスの最適化。
データ品質とガバナンス: データの一貫性、正確性、完全性を確保するためのツールやプロセスの導入。データセキュリティとプライバシー: データの暗号化、アクセス制御、コンプライアンス対応。AI/MLの統合と運用: 機械学習プラットフォームの構築・運用、MLOpsの導入。
経験・資格【求める人物像】
・正解のない問題解決を楽しみ、スピード感を持って品質高く解決に導ける方
・複数のステークホルダーの要求のなかで課題の優先順位をつけながら解決できる方
・結果にこだわり最後までやり抜く力がある方
・結果にこだわり最後までやり抜く力がある方
【必要な経験/スキル】
・分散システムを利用したデータ基盤の構築、運用の経験
・Python、Javaのプログラミング業務経験
・Kubernetes、Dockerを使ったミドルウェアやサービスの開発と運用の経験
【あると望ましい経験/スキル】
・100台規模以上の分散システムにおけるソフトウェア エンジニアリングまたはシステム エンジニアリングの経験
・大規模データベースを扱った経験94Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどを利用したアプリケーションの開発・運用の経験
・MLOpsの構築経験95Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどエコシステムの運用保守設計、及び運用改善経験
・KubernetesのClusterやエコシステムの設計、構築、運用経験
・Web Applicationの開発・運用の経験
・CI/CDなどによるシステム自動化の経験
・機械学習のシステム開発やプログラムの実装経験
・Google Cloud Platform、Amazon Web ServicesでのAI開発経験
・オープンソースへの貢献
推奨年齢
勤務地
年収
Recruiting No.
社名
事業内容
ひとことコメント
日本企業の長期的な成長を支える、新しい金融の仕組み作りに挑戦中です
オルタナティブ市場成長の担い手として。個が経験を活かし、チームワークで価値を生み出す運用会社です。
大企業から中堅中小企業まで。 サステナビリティの視点で ビジネスの成長ストーリーを描く。
「成長の果実」を従業員の手に。 世界と日本で多くの企業が待ち望む、 新たな報酬制度の運用を支えたい。
世界のスタートアップに投資し、 中長期的な成長に伴走していく。 日本の農林水産業と、食料が育むいのち、 そして地域を元気にするために。
世界No.1の実績を持つM&A総合企業として、地方創生から日本の新たな成長を支え続けたい。未経験者も3年で高い成長実感が得られます。
