仕事内容【ポジション概要】
LINEヤフーのサービス開発におけるデータエンジニアリングを担当
LINEヤフーのサービス開発のための、大規模データ向け分散システム(Hadoop、Kafka、Flink、Trino、Druidなど)として提供するData Platform の開発を担当
【業務詳細】
LINEヤフーの持つ国内最大級のデータエンジニアリングを行い、事業のさらなる成長に貢献いただきます。LINEヤフーでは、日々大量のデータが発生し、大量のデータがData Platformに蓄積されています。トータルでは数百PB以上のデータを蓄積・処理し、データ利活用に役立てています。この膨大なデータを安定して収集・蓄積・処理するために、専用のデータセンターを活用し、数千台のサーバーを用いて分散システム基盤を構築・運用しています。
私たちのData Platformは、代表的なものとして以下のような技術スタックを活用しています：
これらの技術を駆使して、ビッグデータを安全かつ効率的に活用するためのインフラを提供しています。また、データサイエンティストが簡単にAI活用できることを目指して、機械学習プラットフォーム(AIプラットフォーム)も独自で構築し提供しています。
【主な業務内容】
データ収集と統合: 異なるデータソースからのデータを効率的に収集し、統合するためのETLパイプラインの設計・実装。
リアルタイムデータ処理: KafkaやFlinkを用いたリアルタイムデータ処理の最適化と運用。
スケーラビリティとパフォーマンス: ネットワークの設計やハードウェアの選定など専門チームと協業しながらスケーラブルなインフラの設計・実装、パフォーマンスの最適化。
データ品質とガバナンス: データの一貫性、正確性、完全性を確保するためのツールやプロセスの導入。データセキュリティとプライバシー: データの暗号化、アクセス制御、コンプライアンス対応。AI/MLの統合と運用: 機械学習プラットフォームの構築・運用、MLOpsの導入。
経験・資格【必要な経験/スキル】
・分散システムを利用したデータ基盤の構築、運用の経験
・Python、Javaのプログラミング業務経験
・Kubernetes、Dockerを使ったミドルウェアやサービスの開発と運用の経験
【あると望ましい経験/スキル】
・100台規模以上の分散システムにおけるソフトウェア エンジニアリングまたはシステム エンジニアリングの経験
・大規模データベースを扱った経験94Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどを利用したアプリケーションの開発・運用の経験
・MLOpsの構築経験95Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどエコシステムの運用保守設計、及び運用改善経験
・KubernetesのClusterやエコシステムの設計、構築、運用経験
・Web Applicationの開発・運用の経験
・CI/CDなどによるシステム自動化の経験
・機械学習のシステム開発やプログラムの実装経験
・Google Cloud Platform、Amazon Web ServicesでのAI開発経験
・オープンソースへの貢献
【求める人物像】
・正解のない問題解決を楽しみ、スピード感を持って品質高く解決に導ける方
・複数のステークホルダーの要求のなかで課題の優先順位をつけながら解決できる方
・結果にこだわり最後までやり抜く力がある方
・結果にこだわり最後までやり抜く力がある方
推奨年齢
勤務地
想定年収
Recruiting No.
社名
事業内容
ひとことコメント
【東証プライム上場 日本最大級の発電会社】 需給推進部門 電力需給の業務基盤構築プロジェクトリード（主任）
【東証プライム上場 プライムベンダー】 ソリューション事業本部 IT基盤エンジニア 西日本地区担当
東証プライム上場 メーカー系SIer セキュリティ事業部門 プロジェクトマネージャー
日本企業の長期的な成長を支える、新しい金融の仕組み作りに挑戦中です
オルタナティブ市場成長の担い手として。個が経験を活かし、チームワークで価値を生み出す運用会社です。
大企業から中堅中小企業まで。 サステナビリティの視点で ビジネスの成長ストーリーを描く。
「成長の果実」を従業員の手に。 世界と日本で多くの企業が待ち望む、 新たな報酬制度の運用を支えたい。
世界のスタートアップに投資し、 中長期的な成長に伴走していく。 日本の農林水産業と、食料が育むいのち、 そして地域を元気にするために。
世界No.1の実績を持つM&A総合企業として、地方創生から日本の新たな成長を支え続けたい。未経験者も3年で高い成長実感が得られます。
