シニアデータエンジニア - BigQuery、Airflow、ML運用 | リモートポジション

当社ではダイナミックプライシングプラットフォーム向けデータインフラストラクチャの設計・開発・運用を担当するシニアデータエンジニアを募集しております。このリモートポジションでは、最先端技術を駆使し、機械学習モデルやビジネスインテリジェンスシステムを支える堅牢なデータパイプラインの構築・管理を行っていただきます。ビッグデータ環境での実務経験をお持ちの方、データ基盤構築に情熱をお持ちの方にとって、絶好の機会です。 主な職務 - 社内外のコミュニケーションに必要なデータ分析プロセスの設計と実装。 - Cloud Composer（Airflow 2.6+）を活用した拡張性の高いデータパイプラインの構築とメンテナンス。 - Google BigQueryおよび他のGCPサービスを用いたデータインフラストラクチャの開発・保守・最適化。 - Scrapyおよび最新のウェブスクレイピング技術を使用した競合データ取得システムの開発と改善。 - データの品質管理と整合性確保のためのプロセス確立と監視システムの実装。 - データサイエンティストと連携し、機械学習モデルを本番環境で効率的に運用する基盤構築。 - パフォーマンス最適化とスケーラビリティ向上のためのデータアーキテクチャの継続的改善。 - チーム内知識共有のためのデータフロー、モデル、インフラストラクチャの文書化。 必須条件 - コンピュータサイエンス、データサイエンス、または関連分野の修士号、もしくは同等の実務経験。 - スタートアップ企業での就業経験（急速に変化する環境での適応能力）。 - Python、Java、Scalaなどオブジェクト指向言語によるプログラミング経験3年以上。 - データウェアハウスまたはデータマートの設計経験（特にクラウド環境でのスキーマ設計）。 - データパイプライン構築・運用の実務経験3年以上（ETL/ELTプロセス、バッチ処理、ストリーム処理）。 - 本番環境での機械学習モデル運用経験（MLOpsの知識）。 - GCPサービス（特にBigQuery、Dataflow、Cloud Storage）に関する深い知識。 - SQLおよびNoSQLデータベースの実務経験。 - ビジネスレベルの英語コミュニケーション能力（読み書き、会話）。 歓迎するスキル - 日本語能力（ビジネスレベルでなくても、基本的なコミュニケーションが可能なレベルで優遇）。 - Terraform、Pulumi等を用いたInfrastructure as Codeの経験。 - Apache Kafka、Apache Spark、Delta Lake等のビッグデータ技術の知識。 - dbt（data build tool）やLooker等の最新データ分析ツールの活用経験。 - Dockerコンテナ化とKubernetesオーケストレーションの経験。 - CI/CDパイプラインの構築と自動化テスト導入経験。 - データガバナンス、セキュリティ、コンプライアンスに関する知識。 - アジャイル/スクラム開発手法に基づくチーム開発経験。 当社で働く魅力 当社では、革新的なダイナミックプライシングソリューションを支えるデータインフラの最前線で活躍できます。フレキシブルなリモートワーク環境で、最新技術を駆使した挑戦的な課題に取り組むことができます。成長中の組織で重要な意思決定に関わり、技術的視点からビジネスに直接的なインパクトを与えられる環境です。継続的な学習機会、競争力のある報酬体系、そして国際的なチームでの協働を通じて、キャリアの飛躍的な成長を実現できます。