ビジネスサポート開発部 ビジネスデータソリューショングループ：データエンジニア（BSD）

Job Description楽天・事業について楽天グループは日本を拠点として約1億人、グローバルでも10億人のお客様にご利用いただいており、EC、決済サービス、金融サービス、通信、メディア、スポーツなど様々な分野で70以上のサービスを提供しております。部署・サービスについてビジネスサポート開発部では、楽天市場が店舗様に提供しているRMS（ASPサービス）の一部を担当しています。さらに、楽天市場を運営するためのビジネススタッフを支える様々なアプリケーションの開発と運用も行っています。私たちのミッションは、店舗様が効率的にビジネスを展開できるよう、最先端の技術を駆使して高品質なサービスを提供することです。ECビジネスデータアナリティクス&プラットフォーム課では、楽天市場の巨大なトランザクションデータを支えるデータ基盤を構築しています。出店ショップ数5万、商品数3億、年間流通額3兆円超という膨大なデータを扱い、データのハブとしてビジネスの意思決定やデータ活用をサポートしています。また、楽天スーパーSALEや大型イベントにおける日本最大級のトラフィックデータを処理し、安定的なシステム提供とサービス品質の継続的な向上に努めています。ポジション：募集背景楽天市場は、出店している店舗様向け（B2B）およびコンシューマ向け（B2C）サービスの拡充を目指し、新たなメンバーを募集しています。私たちは、HadoopやGoogle Cloud Platformをデータ・ストレージとして活用し、Python、Spark、Kafkaを駆使してデータを効率的に格納・処理しています。今回の募集は、巨大な楽天市場のトランザクションデータを扱うデータパイプラインの拡張と最適化を担うデータエンジニアを対象としています。このポジションは、楽天市場における重要な意思決定を支えるデータを提供し、ビジネスの成長とサービスの向上に直結する非常に重要な役割を果たします。私たちは、経験豊富なリードソフトウェアエンジニアを求めています。理想的な候補者は、ビッグデータ技術、クラウドプラットフォーム、データ移行に強いバックグラウンドを持ち、チームをリードし、プロジェクトを管理し、運用効率とコスト削減を推進する高品質なソリューションを提供する能力を持つ方です。業務内容・Spark、Hive、Kafka、Spark-Streaming、Hadoop、Google Cloud Platformなどのデータ処理フレームワークやテクノロジーを用いて、大規模なバッチデータパイプラインを構築を行い、データパイプラインを活用して、楽天市場のガイドラインに沿ったデータチェック、顧客獲得、その他の主要なビジネスパフォーマンス指標についての重要な意思決定データの提供を行います・データパイプライン管理：大規模なeコマースプラットフォームのデータパイプラインを構築・維持・自動化：データ取り込みプロセスを自動化し、手動データ処理を削減・クラウド移行：オンプレミスのデータインフラをGoogle Cloud Platformに移行・アプリケーション管理：大量のデータを取り込み・処理するプラットフォーム上のアプリケーションを管理・複雑なデータストレージおよび取得問題の解決：ビッグデータパイプラインにおける複雑なデータストレージおよび取得問題を解決し、明確に説明します・本番環境でのアプリケーションのデバッグと保守：ロギング、アラート、モニタリングツールを使用して本番環境でのアプリケーションをデバッグおよび保守します・チームおよびクロスチームメンバーとの効果的なコラボレーション：他のチームおよびクロスチームメンバーと効果的に協力します・チームリーダーシップ：ソフトウェアエンジニアのチームをリードし、プロジェクト目標を達成働く環境開発環境Python／Hadoop／Hive／Spark／Kafka／Google Cloud Platform必須要件：・Hadoop、Spark、Kafkaアプリケーション開発、運用経験・PythonまたはJava／Scalaでの開発経験・5年以上のデータエンジニア経験・Google Cloud PlatformやBigQueryの開発、運用経験・SQLに関する高度な知識とリレーショナル データベースの経験・データパイプライン、データセットの構築とパフォーマンス最適化の経験・データモデリングの経験・Linuxでの開発経験・データ分析：データ処理と変換のための強力な分析スキル・プロジェクト管理：プロジェクトを管理し、高品質なソリューションを提供する能力・チームリーダーシップ: ソフトウェアエンジニアリングチームをリードし、指導した経験・日本語の読み書き、会話（ビジネスレベル）が出来ること歓迎要件：・ビッグデータを活用した開発経験・データベースの運用経験、最適なパフォーマンスチューニングの経験・Docker、Kubernetesなどのインフラマネージメントの経験・DevOps／Micro service アーキテクチャに対する深い理解と経験・Jenkinsもしくはその他のCI技術を使った運用経験・Scrum／Agile開発経験・日本語の読み書き、会話（ビジネスレベル）が出来ることその他：勤務地に関する補足大阪もしくは東京英語要件に関する補足TOEIC 800点以上#エンジニア職 #engineer #データサイエンティスト #リサーチャー #datascientist #researcher #コマースカンパニー #commerce