Data Platform Engineer - Mercari

JD in Japanese follows. 英文の後に和文JDをご覧いただけます。Data Platform Engineer - MercariEmployment Status: Full-timeWork Hours: Full Flextime (no core time) Office: RoppongiFor more details, see the Overview of Our Positions section on our Careers site.About MercariCirculate all forms of value to unleash the potential in all people"What can I do to help society thrive with the finite resources we have?" The Mercari marketplace app was born in 2013 out of this thought by our founder Shintaro Yamada as he traveled the world. We believe that by circulating all forms of value, not just physical things and money, we can create opportunities for anyone to realize their dreams and contribute to society and the people around them. Mercari aims to use technology to connect people all over the world and create a world where anyone can unleash their potential. For more information about Mercari Group's mission, see Mercari's Culture DocOrganization/Team MissionOur team's mission is to create a "Enable seamless and efficient data pipelines, empowering teams across all our JB wide companies to harness real-time insights and make data-driven decisions."At Mercari, data is used to drive decision making in many areas across the business, including product development, marketing activities, machine learning, etc. Our mission is to provide the infrastructure and tools to maximize the use of our data assets in order to improve the product for our users and facilitate business growth. In this position, you will be responsible for developing an ecosystem enabling data collection, management of our data warehouse, various uses of our collected data, and other processes required by users of our data.Mercari Engineering PrinciplesMercari Engineering Principles are a shared understanding that serves as the foundation of engineering beliefs and behavior at Mercari. The Engineering Principles are designed to complement the organizational identity (Mercari's mission, values, and culture) from an engineering viewpoint.These principles ultimately help us achieve Mercari's mission by defining the ideal state we seek to realize in the long term.Passion For The ProductGrow TogetherSolve Through MechanismsCollaborate OpenlyFor More Details, Please See The Following LinkEngineering CultureSee here for more information about our mission and values.Work ResponsibilitiesThis role will be responsible for integrating the data from the different sources to the BigQuery. And managing existing batch and streaming data pipelines.Design, develop, and maintain data ingestion pipelines for a high-volume data processing system that collects data from mobile and web applications (clients).Develop and maintain streaming data pipelines to ingest raw data and write it to a data warehouse and lake house.Implement batch data transformation pipelines.Write SQL queries to extract, transform, and load data from various sources.Collaborate with data scientists, data analysts, and software engineers to understand data requirements, manage data schemas, and ensure successful data integration.Manage and maintain the CI/CD release pipeline.Utilize Docker, YAML, Bash scripting, Terraform, and other technologies to automate infrastructure provisioning and deployments.Monitor and troubleshoot pipeline issues to ensure smooth data flow and data quality.Write clean, maintainable, and well-documented code.Develop and execute on the long-term goals and roadmap of the data platform.Develop and maintain a very high RPS REST service to receive user events from clients.Develop and maintain logging SDK for the server side system.As part of the Japan Business Data Engineering division (JB Dataplatform), you will also be collaborating with the following teams.TeamsData Management TeamMercari and Fintech Analyst teamBI Product and BI Engineering TeamMachine Learning Teams (Search, Recommendation, Credit, Anti Fraud, etc)Product Teams (Marketing, CRM, Customer Support, Anti Fraud, etc)Unique ChallengesOpportunity to build large-scale data infrastructure to support the massive amounts of data generated by Mercari Group, including the Mercari application with its over 20M monthly users.Work on the development of an ecosystem to support data-driven business expansion by addressing the data utilization needs of many domains including analytics/decision-making, marketing, machine learning, and more.Take on the entire data platform creation process, from design to development to operation, to revise existing data infrastructure and develop new features.Lead the development of the next generation of user event logging.QualificationsRequired Experience/SkillsResonates with the mission and values of the Mercari Group and its individual companiesExperience with streaming data processing frameworks like Apache Beam or Spark or Flink.Experience with Data Warehouse technologies like Google BigQuery, Amazon Redshift, Hive/Hadoop or Snowflake.Experience designing, developing, and operating large-scale services and/or distributed systems or data pipelines using a variety of programming languages including Go, Python, Java, Scala.Preferred Experience/SkillsExperience with building APIs and using data serialization formats (e.g., Protobuf, Avro, Parquet).Experience in writing design documents or technical proposals and reaching agreements with stakeholders.Familiarity with monitoring and alerting tools.Experience with Google Cloud Platform (Dataflow, Pubsub, Kubernetes Engine, Compute Engine)Experience with Confluent Cloud or Apache Kafka.Experience with Workflow engines like Argo Workflow or Apache Airflow. Experience publishing and contributing to OSS.Language English: Independent (CEFR - B2)Japanese: Independent (CEFR - B2) preferredFor details about CEFR, see hereLearn More About Mercari GroupCareers site: https://careers.mercari.com/en/ Mercan: https://mercan.mercari.com/en/ Social media: X / Linkedin Data Processing overview (Japanese Only)Data Streaming for server side logging (Japanese Only)Data Processing batch pipeline overview (Japanese Only)Data Processing Change Data Capture (Japanese Only) Recruiting at MercariAt Mercari Group, we value empathizing with and embodying the mission and values of the Group and each company. To promote the creation of an organization that maximizes the total amount of value exhibited by all members, we would like to understand the experience and skills of each candidate as accurately as possible.Recruiting cycle at Mercari GroupApplication screeningSkill assessment: For engineering positions, you will be asked to complete a skill assessment on HackerRank or GitHub. For non-engineering positions, you may be asked to complete an assessment depending on the position. (The timing of the assessment may coincide with the interview process.)Interview: The number of interviews may vary depending on the position.Reference check: We will ask for online references around the timing of the final interview.Offer: Offers will be determined carefully in consideration of the final interview and the reference check.Learn more about our recruiting process here.Equal Opportunity HiringHere at Mercari, we work to realize a world in which no one's potential is limited by their background and everyone has the opportunity to freely create value. We also firmly believe that a mindset of Inclusion & Diversity is essential for us to achieve our mission.This, of course, extends to our hiring practices as well. Mercari is committed to eliminating discrimination based on age, gender, sexual orientation, race, religion, physical disability, and other such factors so that anyone who shares our mission and values can join us, regardless of their background. For more details, please read our I&D statement.Please read and acknowledge our Privacy Policy prior to submitting your application.Data Platform Engineer - Mercari雇用形態： 正社員働き方： フレックスタイム制（コアタイムなし・フレキシブルタイムなし）勤務地： 六本木詳細はキャリアサイトの募集要項よりご確認くださいメルカリグループについてあらゆる価値を循環させ、あらゆる人の可能性を広げる「地球資源が限られているなか、より豊かな社会をつくるために何ができるか」。2013年、創業者の山田進太郎が世界一周の旅で抱いた課題意識から、フリマアプリ「メルカリ」は生まれました。私たちは、物理的なモノやお金に限らずあらゆる価値を循環させることで、誰もがやりたいことを実現し、人や社会に貢献するための選択肢を増やすことができると信じています。テクノロジーの力で世界中の人々をつなぎ、あらゆる人の可能性が発揮される世界を実現していきます。メルカリグループの目指すべき方針については Mercari Culture Doc をご覧ください。組織・チームのミッション私たちのチームの使命は、「シームレスで効率的なデータパイプラインを実現し、JBグループ全社のチームがリアルタイムの洞察を活用し、データ駆動型の意思決定を行えるようにすること」です。メルカリでは、製品開発、マーケティング活動、機械学習など、ビジネスの様々な領域でデータを活用した意思決定が行われています。私たちの使命は、ユーザーのための製品改善と事業成長を促進するため、データ資産の活用を最大化する基盤とツールを提供することです。このポジションでは、データ収集を可能にするエコシステムの開発、データウェアハウスの管理、収集データの多様な活用、およびデータ利用者が必要とするその他のプロセスを担当していただきます。業務内容この役割は、異なるソースからのデータをBigQueryに統合し、既存のバッチおよびストリーミングデータパイプラインを管理することを担当します。モバイルおよびWebアプリケーション（クライアント）からデータを収集する、高ボリュームデータ処理システム向けのデータ取り込みパイプラインを設計、開発、保守します。生データを取り込み、データウェアハウスおよびレイクハウスに書き込むためのストリーミングデータパイプラインを開発、保守します。バッチデータ変換パイプラインを実装します。各種ソースからのデータ抽出・変換・ロード（ETL）をSQLクエリで記述します。データサイエンティスト、データアナリスト、ソフトウェアエンジニアと連携し、データ要件の把握、データスキーマの管理、データ統合の成功を保証します。CI/CDリリースパイプラインの管理・保守を行います。Docker、YAML、Bashスクリプト、Terraform等の技術を活用し、インフラプロビジョニングとデプロイの自動化を実現します。データフローとデータ品質を保証するため、パイプラインの問題を監視・トラブルシューティングする。クリーンで保守性が高く、十分に文書化されたコードを記述する。データプラットフォームの長期目標とロードマップを策定し実行する。クライアントからのユーザーイベントを受信する、非常に高いRPSのRESTサービスを開発・維持する。サーバーサイドシステム向けのロギングSDKを開発・維持する。日本事業データエンジニアリング部門（JB Dataplatform）の一員として、以下のチームとも連携します。TeamsData Management TeamMercari and Fintech Analyst teamBI Product and BI Engineering TeamMachine Learning Teams (Search, Recommendation, Credit, Anti Fraud, etc)Product Teams (Marketing, CRM, Customer Support, Anti Fraud, etc)ユニークなチャレンジメルカリグループが生成する膨大なデータ（月間2,000万人以上のユーザーを抱えるメルカリアプリを含む）を支える大規模データインフラ構築の機会。分析／意思決定、マーケティング、機械学習など多岐にわたる領域のデータ活用ニーズに対応し、データ駆動型ビジネス拡大を支えるエコシステム開発に取り組む。既存データインフラの刷新と新機能開発に向け、設計から開発、運用までデータプラットフォーム構築プロセス全体を担う。次世代ユーザーイベントロギングの開発を主導する。応募要件求める経験・スキルメルカリグループおよび各カンパニーのミッションとバリューに共感していただける方メルカリグループおよび各社のミッションと価値観に共感できる方Apache Beam、Spark、Flinkなどのストリーミングデータ処理フレームワークの経験Google BigQuery、Amazon Redshift、Hive/Hadoop、Snowflakeなどのデータウェアハウス技術の経験Go、Python、Java、Scalaなど多様なプログラミング言語を用いた大規模サービス・分散システム・データパイプラインの設計、開発、運用経験歓迎する経験・スキルAPI構築およびデータシリアライゼーション形式（例：Protobuf、Avro、Parquet）の使用経験。設計文書や技術提案書の作成経験、およびステークホルダーとの合意形成経験。監視・アラートツールに関する知識。Google Cloud Platform（Dataflow、Pubsub、Kubernetes Engine、Compute Engine）の使用経験。Confluent CloudまたはApache Kafkaの使用経験。Argo WorkflowやApache Airflowなどのワークフローエンジン使用経験。OSSへの公開および貢献経験。語学力英語：B2 日本語：B2 ※CEFRの詳細については、こちらをご覧くださいメルカリグループについて知る キャリアサイト https://careers.mercari.com/ メルカン：https://careers.mercari.com/mercan/articles/53431/ SNS：X / Linkedin Data Processing overview Data Streaming for server side logging Data Processing batch pipeline overview Data Processing Change Data Capture 選考についてメルカリグループではメルカリグループおよび各カンパニーのミッションとバリューへの共感・体現を大切にしています。メンバーが発揮する価値の総量が最大化されるような組織づくりを推進するために、候補者のみなさんの経験やスキルをより正しく理解したいと考えています。選考の流れ書類選考課題選考面接：ポジションにより、複数回の面接をお願いしますリファレンス：オンライン回答形式のもので、最終選考の前後でお願いしますオファー：最終選考とリファレンスの内容より決定されます※詳しくは こちらのページをご覧ください選考における機会の平等 メルカリでは、バックグラウンドによって個人の可能性が決めつけられることなく、自由に価値を生みだす機会を手にできる社会の実現を目指しています。そしてメルカリがミッションを実現するために「Inclusion & Diversity」という考え方は不可欠な存在だと考えています。採用活動においても、メルカリのミッション・バリューに共感する、様々なバックグラウンドの方にジョインしていただけるよう、年齢、性別、性的指向、人種、宗教、身体能力、その他記号に基づくあらゆる差別をなくすことを約束します。詳しくは、I&D statementをご覧ください。なお、ご応募の際にはプライバシーポリシーをご確認ください。