Employment Type: Full-time
Team: Engineering

JD in Japanese follows. 英文の後に和文JDをご覧いただけます。

Senior Software Engineer (Data Platform) – Merpay

Employment Status:Full-time
Work Hours:Full Flextime (no core time)
Office: Roppongi
For more details, see the Overview of Our Positions section on our Careers site.
https://careers.mercari.com/en/recruitment-selection/#section3

About Mercari

Circulate all forms of value to unleash the potential in all people

"What can I do to help society thrive with the finite resources we have?" The Mercari marketplace app was born in 2013 out of this thought by our founder Shintaro Yamada as he traveled the world. We believe that by circulating all forms of value, not just physical things and money, we can create opportunities for anyone to realize their dreams and contribute to society and the people around them. Mercari aims to use technology to connect people all over the world and create a world where anyone can unleash their potential. For more information about Mercari Group’s mission, see Mercari’s Culture Doc.
https://careers.mercari.com/en/culture/

Organization/Team Mission

Mercari Engineering Principles

Mercari Engineering Principles are a shared understanding that serves as the foundation of engineering beliefs and behavior at Mercari. The Engineering Principles are designed to complement the organizational identity (Mercari’s mission, values, and culture) from an engineering viewpoint.

These principles ultimately help us achieve Mercari’s mission by defining the ideal state we seek to realize in the long term.

Passion For The Product
Grow Together
Solve Through Mechanisms
Collaborate Openly

For more details, please see the following link:

Engineering Culture

See here for more information about our mission and values.
https://careers.mercari.com/en/culture/

Work Responsibilities

Mercari Group utilizes data for business decisions and other processes in a wide variety of areas, including marketing, machine learning, and R&D. As part of Merpay’s Data Platform Team, you will design, develop and operate the data infrastructure/data pipelines which support data utilization for the entire Mercari Group, including not only Merpay, but the Mercari marketplace app. You will also be responsible for work on the Mercari Group’s data utilization as a whole.

The Data Platform Team is an engineering organization which builds the systems necessary to a wide range of domains that utilize data. This work includes development of an ecosystem enabling data collection, Data Lake, DWH, use of collected data and other processes required by data utilization. The following describes the responsibilities of a software engineer on the Data Platform Team, as well as the environment and organization in which they work:

Job Description

Collecting data from microservices

Developing batch-based data pipelines
Developing streaming-based data pipelines
Developing SDK for logging within microservices

Data Lake, DWH

Constructing Data Lakes for storing collected data
Managing partial permissions and resources on DWH

Data utilization

Developing tools to support use of data in Data Lakes and on DWH
Developing a platform to provide stream data processing function

Company-wide

Improving performance, aiming for low latency/high throughput according to application and middleware development, operation, and requirements
Developing tools to automate operations and/or lower costs
Identifying and solving technical issues with the system caused by engineering

Tools Used/Dev Environment

Programming languages: Python, Java, Scala
Infrastructure: Google Cloud Platform (Compute Engine, Kubernetes Engine, Dataflow, Pub/Sub, Cloud Storage, BigQuery, Spanner, Cloud SQL, Cloud Logging etc.), Confluent Cloud
Distributed processing: Apache Flink / Apache Spark / Kafka Connect
Workflow: Argo Workflows
BI tools: Looker / Data Studio
Configuration management tools: Terraform
Monitoring: Stackdriver Monitoring / Datadog / PagerDuty
CI/CD: Github Action / Spinnaker
Knowledge Tool: Confluence/Jira
Other: GitHub / Slack
Development Method: Agile (Scrum, Kanban, etc.)

Dev Organizations

As part of the Data Engineering Team, you will work on development alongside members with a broad range of expertise from the following organizations.
Teams

Data Management Team
Data Analytics Teams
Machine Learning Teams (Search, Recommendation, Credit, Anti Fraud, etc)
Product Teams (Marketing, CRM, Customer Support, Anti Fraud, etc)

Unique Challenges

Opportunity to build large-scale data infrastructure to support the massive amounts of data generated by Mercrai Group, including the Mercari Marketplace app with its over 20M monthly users.
Work on development of an ecosystem to support data-driven business expansion by addressing the data utilization needs of many domains including analytics/decision-making, marketing, machine learning, and R&D.
Take on the entire data platform creation process, from design to development to operation, to revise existing data infrastructure and develop new features which meet new data utilization needs.

Qualifications

Required Experience/Skills

A shared belief in Mercari and Merpay’s missions and values
A degree in computer science or a related field, or else five or more years of practical experience in software development
Experience designing, developing, and operating large-scale services and/or distributed systems
At least two of the following:

Experience developing in the cloud with AWS, GCP, etc.
Experience developing systems utilizing container technologies such as Kubernetes
Development experience using message queues like Cloud Pub/Sub and Apache Kafka
Experience in data processing development using distributed processing frameworks like Apache Flink and Apache Spark
Experience with ETL system using workflow engines like Airflow and Digdag
Experience designing application logs for large-scale services

Preferred Experience/Skills

Experience working at a financial institution, Fintech company, or EC company
Ability to identify the cause of technical system issues (e.g. drop in performance) and to resolve them
Knowledge of network protocols such as TCP/IP, HTTP, gRPC, etc.
Experience developing and operating software using two or more of the following: Go, Java, Scala, or Python
Developed data collection systems using Treasure Data-created OSS (such as Fluentd, Embulk)
Experience in development using DWH like BigQuery, Redshift, or Snowflake
Experience in development using RDBMS, including MySQL and RDS
Experience in development or cluster operation using the Hadoop ecosystem
Experience developing software based on a microservice architecture
Experience publishing and contributing to OSS

Language

English: Basic (CEFR - A2) optional
Japanese: Independent (CEFR - B2)

For details about CEFR, see here
　https://careers.mercari.com/en/language/ 　

Learn More About Mercari Group

Careers site: https://careers.mercari.com/en/
Mercan: https://mercan.mercari.com/en/
Social media: X / Linkedin
【メルペイ】スピードを加速する先に描く「なめらかな社会」とは (Japanese Only)
メルペイ DataPlatform Team の設立とその背景 (Japanese Only)
僕たちはどうマイクロサービスのログを収集するのか (Japanese Only)
メルペイにおける大規模バッチ処理 (Japanese Only)
メルペイのミッション「信用を創造する」に深〜く関わるData&MLの歴史を改めて紐解いてみる！ (Japanese Only)
メルペイDataPlatformのCDC DataPipeline (Japanese Only)

Recruiting at Mercari

At Mercari Group, we value empathizing with and embodying the mission and values of the Group and each company. To promote the creation of an organization that maximizes the total amount of value exhibited by all members, we would like to understand the experience and skills of each candidate as accurately as possible.

Recruiting cycle at Mercari Group

Application screening
Skill assessment: For engineering positions, you will be asked to complete a skill assessment on HackerRank or GitHub. For non-engineering positions, you may be asked to complete an assessment depending on the position. (The timing of the assessment may coincide with the interview process.)
Interview: The number of interviews may vary depending on the position.
Reference check: We will ask for online references around the timing of the final interview.
Offer: Offers will be determined carefully in consideration of the final interview and the reference check.

　Learn more about our recruiting process here.
　https://careers.mercari.com/en/recruitment-selection/

Equal Opportunity Hiring

Here at Mercari, we work to realize a world in which no one’s potential is limited by their background and everyone has the opportunity to freely create value. We also firmly believe that a mindset of Inclusion & Diversity is essential for us to achieve our mission.

This, of course, extends to our hiring practices as well. Mercari is committed to eliminating discrimination based on age, gender, sexual orientation, race, religion, physical disability, and other such factors so that anyone who shares our mission and values can join us, regardless of their background. For more details, please read our I&D statement.
https://about.mercari.com/en/inclusion-diversity/

Please read and acknowledge our Privacy Policy prior to submitting your application.
https://careers.mercari.com/en/privacy/

Senior Software Engineer (Data Platform) – Merpay

雇用形態：正社員
働き方：フレックスタイム制（コアタイムなし・フレキシブルタイムなし）　
勤務地：六本木

詳細はキャリアサイトの募集要項よりご確認ください
https://careers.mercari.com/recruitment-selection/#section3　　

メルカリグループについて
あらゆる価値を循環させ、あらゆる人の可能性を広げる

「地球資源が限られているなか、より豊かな社会をつくるために何ができるか」。2013年、創業者の山田進太郎が世界一周の旅で抱いた課題意識から、フリマアプリ「メルカリ」は生まれました。私たちは、物理的なモノやお金に限らずあらゆる価値を循環させることで、誰もがやりたいことを実現し、人や社会に貢献するための選択肢を増やすことができると信じています。

テクノロジーの力で世界中の人々をつなぎ、あらゆる人の可能性が発揮される世界を実現していきます。メルカリグループの目指すべき方針については Mercari Culture Doc をご覧ください。

組織・チームのミッション

Mercari Engineering Principles
Mercari Engineering Principles は、メルカリのエンジニアリング組織における信念や行動の基盤となる共通認識を明文化したもので、メルカリのメンバー全員が共有するMission、Value、Cultureをエンジニアリングの視点から補完するものとなります。これらのPrinciplesは、私たちが長期的に実現しようとする理想的な姿を定義することで、最終的にメルカリのミッションを達成するために活用していきます。

Passion For The Product
Grow Together
Solve Through Mechanisms
Collaborate Openly

詳細についてはエンジニアリングカルチャーをご覧ください
https://engineering.mercari.com/culture/ 　

メルカリのミッション・バリューについての詳細はこちらをご覧ください
https://careers.mercari.com/culture/

業務内容

メルカリグループでは事業推進上の意思決定をはじめ、マーケティング、機械学習、R&Dなど多様な領域においてデータが活用されています。メルペイのデータプラットフォームチームでは、現在メルペイだけではなくフリマアプリ「メルカリ」も含めたメルカリグループ全体におけるデータ活用を支えるデータインフラストラクチャ・データパイプラインを設計・開発ならびに運用し、グループのデータ活用を推進しています。
また、データプラットフォームチームはデータ活用において必要とされるデータ収集、Data Lake、DWH、収集されたデータを活用するためのエコシステム開発など、データにまつわる幅広い領域において必要なシステムを構築するエンジニアリング組織です。具体的な業務内容や環境、組織は以下の通りです。
職務内容

マイクロサービスからのデータ収集

バッチベースのデータパイプライン開発
ストリーミングベースのデータパイプライン開発
マイクロサービスにおけるロギングのためのSDK開発

Data Lake、DWH

収集したデータを保存するData Lake 構築
DWH上の一部権限、リソース管理

データ活用

Data Lake / DWH上のデータの利用支援ツール開発
ストリームデータプロセッシング機能を提供するプラットフォーム開発

全体共通

アプリケーションやミドルウェアの開発と運用、要件に応じた低レイテンシー/高スループットを目指したパフォーマンスの改善
運用を自動化あるいは低コストにするためのツールの開発
エンジニアリングによるシステムの技術的な問題の発見、解決

利用しているツール / 開発環境

開発言語：Python, Java, Scala
インフラ：Google Cloud Platform(Compute Engine, Kubernetes Engine, Dataflow, Pub/Sub, Cloud Storage, BigQuery, Spanner, Cloud SQL, Cloud Logging etc.), Confluent Cloud
分散処理：Apache Flink / Apache Beam(Dataflow) / Kafka Connect
ワークフロー：Argo Workflows
BIツール： Looker / Looker Studio
構成管理ツール： Terraform
モニタリング：Stackdriver Monitoring / Datadog / PagerDuty
CI/CD: Github Action / Spinnaker
Knowledge Tool： Confluence/Jira
その他：GitHub / Slack
開発手法: Agile (Scrum, Kanban, etc.)

開発組織

Data Engineeringというチームで、以下のような幅広い専門性を持つメンバーとともに開発していただきます。
構成

Data Management Team
Data Analytics Teams
Machine Learning Teams (Search, Recommendation, Credit, Anti Fraud, etc)
Product Teams (Marketing, CRM, Customer Support, Anti Fraud, etc)

ユニークなチャレンジ

月間利用者2,000万人を超えるフリマアプリ「メルカリ」を含めたメルカリグループから生成される膨大なデータを扱うため、大規模なデータ基盤を構築することができます
分析意思決定、マーケティング、機械学習、R&Dなどの幅広い領域におけるデータの活用ニーズを通じて、データによる事業拡大のためのエコシステムの開発に取り組めます
既存のデータ基盤の見直しや新たなデータ活用ニーズを通じて開発していくデータ基盤を設計から開発・運用まで一貫してチャレンジできます

応募要件

求める経験・スキル

メルカリ・メルペイのミッションとバリューへの共感
コンピュータサイエンスもしくは関連分野における学位の取得、または5年以上のソフトウェア開発実務経験
大規模サービスあるいは分散システムの設計、開発、運用経験
下記の項目を2つ以上満たす方

AWSやGCPを用いたクラウドにおける開発経験
Kubernetesなどのコンテナ技術を利用したシステムの開発経験
Cloud Pub/SubやApache Kafkaなどメッセージキューを用いた開発経験
Apache FlinkやApache Spark などの分散処理フレームワークを用いたデータプロセッシングの開発経験
Argo Workflows, Airflow, Digdag, Digdag などのワークフローエンジンを用いたETLシステム
大規模サービスにおけるアプリケーションログの設計経験

歓迎する経験・スキル

金融機関、Fintech企業、またはEC企業での就業経験
システムの技術的問題（例：パフォーマンス低下）の原因を発見、解決するための能力
TCP/IP、HTTP、gRPCなどのネットワークプロトコルについての知識
Go、Java、Scala、Pythonのうち2つ以上を利用したソフトウェアの開発、運用経験
Treasure Data製OSS(Fluentd, Embulk)などを用いたデータ収集システムの開発
BigQuery、Redshift、SnowflakeなどのDWHを用いた開発経験
MySQLやRDSを含むRDBMSを用いた開発経験
Hadoopエコシステムを用いた開発経験またはクラスタの運用経験
マイクロサービスアーキテクチャに基づいたソフトウェア開発経験
OSSの公開、コントリビュートの経験

語学力

英語：Basic (CEFR - A2) 歓迎
日本語：Independent (CEFR - B2)

※CEFRの詳細については、こちらをご覧ください
　https://careers.mercari.com/language/#page-1

メルカリグループについて知る　

選考について

メルカリグループではメルカリグループおよび各カンパニーのミッションとバリューへの共感・体現を大切にしています。メンバーが発揮する価値の総量が最大化されるような組織づくりを推進するために、候補者のみなさんの経験やスキルをより正しく理解したいと考えています。

選考の流れ

書類選考
技術課題：エンジニアポジションではHackerRankまたはGithubでの技術課題を、エンジニア以外のポジションでは採用ポジションによります（面接タイミングと前後することがあります）
面接：ポジションにより、複数回の面接をお願いします
リファレンス：オンライン回答形式のもので、最終選考の前後でお願いします
オファー：最終選考とリファレンスの内容より決定されます

　※詳しくはこちらのページをご覧ください
　https://careers.mercari.com/recruitment-selection/#section2

選考における機会の平等

メルカリでは、バックグラウンドによって個人の可能性が決めつけられることなく、自由に価値を生みだす機会を手にできる社会の実現を目指しています。そしてメルカリがミッションを実現するために「Inclusion & Diversity」という考え方は不可欠な存在だと考えています。

採用活動においても、メルカリのミッション・バリューに共感する、様々なバックグラウンドの方にジョインしていただけるよう、年齢、性別、性的指向、人種、宗教、身体能力、その他記号に基づくあらゆる差別をなくすことを約束します。

詳しくは、I&D statementをご覧ください。
https://about.mercari.com/inclusion-diversity/

なお、ご応募の際にはプライバシーポリシーをご確認ください。
https://careers.mercari.com/privacy/

jobs in japan

top job postings fished 🎣 from the web