シニアScalaビッグデータエンジニア | リモートAWS Sparkデベロッパー募集

Scalaの開発経験が豊富で、ビッグデータエコシステムとクラウドインフラストラクチャに深い専門知識をお持ちですか？当社は革新的なフィンテック企業として、最先端の取引および投資プラットフォームを専門とし、金融商品を支える高度なデータパイプラインを設計・実装する優秀なシニアScalaビッグデータエンジニアを求めています。このリモートポジションでは、複雑な金融データの課題を解決しながら、先進的なテクノロジーを活用する機会を提供します。 主な責任 - Scala 3.xと業界をリードするビッグデータテクノロジーを使用した、効率的で障害耐性のあるデータパイプラインの設計と構築。 - Apache Spark 3.4+、Hadoopエコシステム、Hive、Airflow 2.7+を活用した堅牢なETLワークフローの開発と保守。 - Kafka 3.4+を使用したリアルタイム金融データストリームを処理するための高スループットソリューションの設計。 - HDFS、AWS S3、Cassandra 4.x、リレーショナルデータベースなど、分散システム全体でのデータストレージと検索戦略の最適化。 - データサイエンスチームと緊密に連携し、Pythonベースの機械学習モデルと予測アルゴリズムの実装と微調整。 - AWS上でのスケーラブルなインフラストラクチャの構築と維持、S3、Athena、EMR、EKS、Lambda、Glueなどのクラウドネイティブサービスの活用。 - データの整合性とシステムの信頼性を確保するためのSpark applicationの包括的な自動テストフレームワークの実装。 - システム設計とパフォーマンスを向上させるためのアーキテクチャレビューと技術的な議論への参加。 - 主要パフォーマンス指標のモニタリングと既存のデータ処理パイプラインの戦略的な最適化の実装。 - 技術的ソリューションの徹底した文書化とエンジニアリングチーム全体での知識共有の促進。 必須スキルと経験 - 本番環境でのScala開発の4年以上の専門的経験（Scala 3.xの機能に精通していることを含む）。 - Apache Spark、Hadoopエコシステム、および分散コンピューティングの原則に関する高い熟練度。 - Airflow、Apache NiFiなどのワークフローオーケストレーションツールの実践経験。 - 大量データ処理のためのKafkaとイベント駆動型アーキテクチャに関する実証済みの専門知識。 - HDFS、AWS S3、Cassandraを含む分散データストレージソリューションの高度な知識。 - 複雑なデータ操作のためのリレーショナルデータベースの概念とSQLに関する堅実な理解と熟練度。 - 大規模金融システム向けの回復力のあるデータパイプラインの設計と実装の実績。 - 特にS3、Athena、EMR、EKSおよび関連するデータ処理ツールなど、AWSサービスの豊富な経験。 - データサイエンスと機械学習アプリケーション向けのPythonコードを理解し最適化する能力。 - ScalaTestなどのフレームワークを使用した分散アプリケーションの包括的なテストスイートの開発経験。 - 効果的なリモートコラボレーションのための優れた英語の口頭および文書によるコミュニケーションスキル。 あれば望ましいスキル - フィンテック、取引プラットフォーム、または投資システム開発の経験。 - 取引アプリケーション向けの低レイテンシー、リアルタイムデータ処理技術の知識。 - マイクロサービスデプロイメントのためのDockerとKubernetesなどのコンテナ化技術への精通。 - データエンジニアリングワークフロー用のCI/CDパイプラインとDevOpsプラクティスの経験。 - 金融サービスにおけるデータガバナンス、セキュリティコントロール、およびコンプライアンス要件の理解。 - Scalaまたはビッグデータエコシステムにおけるオープンソースプロジェクトへの貢献。 - AWS（ソリューションアーキテクト、ビッグデータ）またはビッグデータテクノロジーにおける専門的認定。 - Spark StreamingやFlinkなどのストリーム処理フレームワークの経験。 当社チームに参加する理由 当社で働くことは、金融テクノロジー革新の最前線にいることを意味します。毎日何百万もの取引を処理し、世界中のクライアントの投資判断に直接影響を与えるシステムの設計に貢献していただきます。当社は競争力のある報酬、柔軟なリモート勤務体制、継続的な専門能力開発の機会、そして多様で才能あるエンジニアとのコラボレーションを提供しています。グローバルな金融の景観を再形成する次世代の取引および投資プラットフォームを創造するチームにぜひご参加ください。