Preferred Networks
Engineer, Storage
ストレージエンジニア
Tags: Full-time, Business Japanese, Remote
Remote (Remote) / Chiyoda-ku, Tokyo, Japan・Fetched 30+ days ago
Job Description
Job Description / 職務内容
本ポジションではカジュアル面談を受け付けています。こちらのフォームからお気軽にご応募ください。[株式会社Preferred Networks "Infrastructure" 領域カジュアル面談応募フォーム](https://docs.google.com/forms/d/e/1FAIpQLSf3gUARsdrHSlyiHytuOBYpSvXqVA0kulZmWEZjhyfqDoknHw/viewform)---PFNのさまざまな研究開発や事業は機械学習やシミュレーションを中心とした大量の計算とデータによって支えられています。それを支えるシステムは設計から運用までを基本的に自社で行っています。単に個別の計算機を用意するだけでなく、KubernetesやApache Ozoneを使って多数の計算機とストレージを一体の計算資源サービスとして利用することで、PFNが所有する多数の計算機を競争力の源泉たらしめています。今後も、GPUおよび新たに開発をおこなっている新アクセラレータ (MN-Core 2)を使った計算基盤の拡大を計画しています。計算機が高速になればなるほど、データ量が増えれば増えるほど、それを支えるストレージ基盤に対する要求は厳しくなっていきます。学習の際には学習を妨げることのない高速なデータ読み出しが、シミュレーションの場合には高速なデータ書き込みが求められます。それらのデータは日々増加しており、平均するとそのペースは毎日数枚のHDDを買い足すような速度です。このポジションでは、拡大しつづけるPFNのストレージ基盤の開発・運用を共に行っていただくエンジニアを募集します。業務内容には下記が含まれます。ここで列挙した以外にも様々な業務があり、幅広い領域の先端的な課題に取り組むことができます。- ファイルストレージやオブジェクトストレージの検討から構築、運用全般- 利用しているOSSのコミュニティへのフィードバックおよび貢献- PFNの全ての事業において最適なデータ運用ができるような社内サポート- 計算基盤への高速読み出し、計算基盤からの高速書き込み技術の研究開発- ストレージ関連ハードウェアの評価検証、調達- データストレージ基盤の戦略策定、企画、開発参考資料[Apache Ozone behind Simulation and AI Industries - Speaker Deck](https://speakerdeck.com/kuenishi/apache-ozone-behind-simulation-and-ai-industries)[続・Apache Ozone をやっていた一年 - Preferred Networks Research and Development](https://tech.preferred.jp/ja/blog/apache-ozone-two-years/)[Apache Ozoneをやっていた一年 - Preferred Networks Research and Development](https://tech.preferred.jp/ja/blog/apache-ozone-year/)[Apache Ozone [HDDS-5461]Move old objects to delete table on overwrite](https://issues.apache.org/jira/browse/HDDS-5461)[GitHub - pfnet/pfioIO library to access various filesystems with unified API](https://github.com/pfnet/pfio)[PFN、深層学習を高速化するプロセッサーMN-Core 2の開発および、MN-Coreシリーズのクラウドサービス構想を発表 - 株式会社 Preferred Netoworks](https://www.preferred.jp/ja/news/pr20221214/)
Qualifications / 応募資格(必須)
- 基本的なプログラミング技術- コンピューターサイエンスに関する基礎知識および技術- 機械学習・深層学習技術の基本的な知識- 日本語の読み書き、会話能力(社内コミュニケーション、情報収集)
Preferred Qualifications / 応募資格(歓迎)
以下のいずれかを歓迎します- 分散合意アルゴリズムと検証技法の実装または利用した経験- HPC向けストレージのチューニング技術- Python, Go, Javaに関する知識、実装経験- 以下に関連するドメインにおける運用開発経験や学習意欲 - KubernetesのコントローラやCSI, Persistent Volume等 - LinuxのVFSカーネルモジュールまたはFUSEシステム - iSCSIやRDMAを用いたストレージシステム - HadoopやCephなど、それに類するストレージシステム - 分散データベースシステム- ハードディスク、サーバおよびケーブリングなどの物理ハードウェアに関する経験- 英語の読み書きおよび会話能力(社内コミュニケーション、情報収集、OSS コントリビューション)
Contents in a resume
- レジュメのフォーマットは一般的な履歴書に従う必要はありません。これまで参加したプロジェクト、アルバイト/インターン、執筆した論文、公開している実装等について自由にお書きください- 自身の技術ブログ、GitHubリポジトリ、論文へのリンクなどがあれば記載してください
Salary /賃金
経験、業績、能力、貢献に応じて、当社規定により優遇Experience, performance, skills, contribution are taken into consideration.
Location / 勤務地
[Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004 リモート勤務制度あり (日本国内に限る) / Remote work system available (limited to work in Japan)]
本ポジションではカジュアル面談を受け付けています。こちらのフォームからお気軽にご応募ください。[株式会社Preferred Networks "Infrastructure" 領域カジュアル面談応募フォーム](https://docs.google.com/forms/d/e/1FAIpQLSf3gUARsdrHSlyiHytuOBYpSvXqVA0kulZmWEZjhyfqDoknHw/viewform)---PFNのさまざまな研究開発や事業は機械学習やシミュレーションを中心とした大量の計算とデータによって支えられています。それを支えるシステムは設計から運用までを基本的に自社で行っています。単に個別の計算機を用意するだけでなく、KubernetesやApache Ozoneを使って多数の計算機とストレージを一体の計算資源サービスとして利用することで、PFNが所有する多数の計算機を競争力の源泉たらしめています。今後も、GPUおよび新たに開発をおこなっている新アクセラレータ (MN-Core 2)を使った計算基盤の拡大を計画しています。計算機が高速になればなるほど、データ量が増えれば増えるほど、それを支えるストレージ基盤に対する要求は厳しくなっていきます。学習の際には学習を妨げることのない高速なデータ読み出しが、シミュレーションの場合には高速なデータ書き込みが求められます。それらのデータは日々増加しており、平均するとそのペースは毎日数枚のHDDを買い足すような速度です。このポジションでは、拡大しつづけるPFNのストレージ基盤の開発・運用を共に行っていただくエンジニアを募集します。業務内容には下記が含まれます。ここで列挙した以外にも様々な業務があり、幅広い領域の先端的な課題に取り組むことができます。- ファイルストレージやオブジェクトストレージの検討から構築、運用全般- 利用しているOSSのコミュニティへのフィードバックおよび貢献- PFNの全ての事業において最適なデータ運用ができるような社内サポート- 計算基盤への高速読み出し、計算基盤からの高速書き込み技術の研究開発- ストレージ関連ハードウェアの評価検証、調達- データストレージ基盤の戦略策定、企画、開発参考資料[Apache Ozone behind Simulation and AI Industries - Speaker Deck](https://speakerdeck.com/kuenishi/apache-ozone-behind-simulation-and-ai-industries)[続・Apache Ozone をやっていた一年 - Preferred Networks Research and Development](https://tech.preferred.jp/ja/blog/apache-ozone-two-years/)[Apache Ozoneをやっていた一年 - Preferred Networks Research and Development](https://tech.preferred.jp/ja/blog/apache-ozone-year/)[Apache Ozone [HDDS-5461]Move old objects to delete table on overwrite](https://issues.apache.org/jira/browse/HDDS-5461)[GitHub - pfnet/pfioIO library to access various filesystems with unified API](https://github.com/pfnet/pfio)[PFN、深層学習を高速化するプロセッサーMN-Core 2の開発および、MN-Coreシリーズのクラウドサービス構想を発表 - 株式会社 Preferred Netoworks](https://www.preferred.jp/ja/news/pr20221214/)
Qualifications / 応募資格(必須)
- 基本的なプログラミング技術- コンピューターサイエンスに関する基礎知識および技術- 機械学習・深層学習技術の基本的な知識- 日本語の読み書き、会話能力(社内コミュニケーション、情報収集)
Preferred Qualifications / 応募資格(歓迎)
以下のいずれかを歓迎します- 分散合意アルゴリズムと検証技法の実装または利用した経験- HPC向けストレージのチューニング技術- Python, Go, Javaに関する知識、実装経験- 以下に関連するドメインにおける運用開発経験や学習意欲 - KubernetesのコントローラやCSI, Persistent Volume等 - LinuxのVFSカーネルモジュールまたはFUSEシステム - iSCSIやRDMAを用いたストレージシステム - HadoopやCephなど、それに類するストレージシステム - 分散データベースシステム- ハードディスク、サーバおよびケーブリングなどの物理ハードウェアに関する経験- 英語の読み書きおよび会話能力(社内コミュニケーション、情報収集、OSS コントリビューション)
Contents in a resume
- レジュメのフォーマットは一般的な履歴書に従う必要はありません。これまで参加したプロジェクト、アルバイト/インターン、執筆した論文、公開している実装等について自由にお書きください- 自身の技術ブログ、GitHubリポジトリ、論文へのリンクなどがあれば記載してください
Salary /賃金
経験、業績、能力、貢献に応じて、当社規定により優遇Experience, performance, skills, contribution are taken into consideration.
Location / 勤務地
[Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004 リモート勤務制度あり (日本国内に限る) / Remote work system available (limited to work in Japan)]