シニアScala＆ビッグデータ開発者｜フィンテック取引プラットフォーム｜フルリモート

当社は、オンライン取引および投資ソリューションに特化した革新的な金融テクノロジー製品を開発しています。最新のビッグデータ技術を活用して市場情報を処理し、取引を実行し、グローバルな顧客基盤に実用的な洞察を提供しています。当社のプラットフォームは日々数百万のトランザクションを処理するため、堅牢でスケーラブルなアーキテクチャと卓越したパフォーマンスが不可欠です。 主な責任 - Scala 2.13/3.0およびApache Spark 3.5を使用して、金融取引プラットフォーム向けのスケーラブルで高性能なデータ処理ソリューションを設計・開発する。 - リアルタイムおよびバッチ金融データを極めて高い信頼性で処理するための複雑なデータパイプラインを設計・実装する。 - 最大効率と最小遅延のためにHadoop 3.3エコシステム全体の分散コンピューティングワークロードを最適化する。 - データサイエンティストと協力して、取引戦略最適化のための機械学習モデルを実装・スケーリングする。 - Kafka 3.5、HDFS、S3、および各種SQL/NoSQLデータベースを含む多様なシステム間の堅牢なデータ統合を実装する。 - Apache Airflow 2.7を使用してETLワークフローを開発・維持し、タイムリーで正確なデータの可用性を確保する。 - データ処理アプリケーションの信頼性を確保するための包括的な自動テストを作成する。 - コードレビューに参加し、技術文書の作成に貢献する。 - データインフラストラクチャのシステム信頼性、パフォーマンス、およびスケーラビリティを継続的に改善する。 必須スキル - 本番環境でのScalaプログラミングにおける4年以上の専門的経験。 - ビッグデータ処理のためのApache Spark、Hadoop、Hive、およびAirflowの豊富な経験。 - 高スループットシステム向けの複雑なデータパイプラインの設計・実装における実績。 - 分散メッセージングシステム、特にApache Kafkaに関する強い知識。 - RDBMS、HDFS、Amazon S3、Cassandraなどの各種データストレージ技術に精通していること。 - 複雑なデータ操作および分析のための高度なSQLスキル。 - S3、Athena、EMR、EKSなどのAWSサービスの実践的経験。 - データサイエンススクリプトを読み理解するためのPython 3.xの実務知識。 - Sparkアプリケーションおよびデータワークフロー用の自動テスト作成経験。 - 優れた英語コミュニケーションスキル（書面および口頭）。 - 自己解決能力があり、強い問題解決能力と細部への注意力を持っていること。 あれば望ましいスキル - 関数型プログラミングパラダイムおよびライブラリ（Cats、Scalaz）の経験。 - 金融市場、取引システム、または投資プラットフォームに関する知識。 - リアルタイムデータ処理および低遅延システムの経験。 - Docker、Kubernetes、およびその他のコンテナ化技術に精通していること。 - 金融コンテキストにおけるデータガバナンス、セキュリティ、およびコンプライアンスの知識。 - Scala 3およびその新機能の経験。 - ビッグデータまたはScalaのオープンソースプロジェクトへの貢献。 当社チームに参加する理由 ダイナミックなフィンテック業界において、リモートワークの柔軟性を享受しながら、挑戦的なビッグデータ問題に取り組むことができます。才能あるエンジニアやデータサイエンティストと協力し、最先端技術を使用して、当社プラットフォームの成功に直接貢献します。当社は競争力のある報酬、専門能力開発の機会、そして技術的卓越性とイノベーションを重視する文化を提供しています。