シニアデータエンジニア - リモートML基盤構築スペシャリスト
リモート勤務
フルタイム
ドイツを代表する放送企業でシニアデータエンジニアとしてご活躍いただけるチャンスです。当ポジションでは、次世代放送サービスを支える高度なデータパイプラインとMLOpsインフラストラクチャの設計から実装までを担当していただきます。データサイエンスチームと緊密に連携し、高可用性とパフォーマンスを確保しながら、本番環境で安定稼働する機械学習ソリューションの構築に取り組んでいただきます。
主な責任
- 機械学習モデルトレーニング向けデータの準備・提供・バージョン管理のための堅牢なデータパイプラインの設計と実装。
- 本番環境での安定稼働と最適化に焦点を当てた、機械学習モデル開発におけるデータサイエンティストへの技術的アドバイス提供。
- REST APIを通じてMLモデルを提供するPythonマイクロサービスの設計・開発、および本番環境向け監視機能の実装。
- Google Cloud Platform上での高可用性を実現するデプロイメント構築、特にTerraformを用いたインフラストラクチャ・アズ・コードの原則に基づく実装。
- Apache Airflow 2.7+およびMLflow 2.7+を活用した複雑なデータワークフローのオーケストレーション。
- GitLabを使用したCI/CDパイプラインの実装によるデータインフラコンポーネントの自動テストとデプロイメント。
- BigQueryとBigTableを駆使した大規模放送・メディアデータの処理ソリューション最適化。
- DockerとKubernetes 1.27+によるコンテナ化技術の活用と環境間での一貫したデプロイメント実現。
必須スキルと経験
- データエンジニアリング分野での5年以上の実務経験、特にクラウドベースソリューションに特化した3年以上の経験。
- Python 3.10+とSQLの高度な習熟度、本番環境でのデータパイプライン構築実績。
- Google Cloud Platformサービス(特にBigQuery、Cloud Storage、Compute Engine)の実務経験。
- Terraform 1.5+などのインフラストラクチャ・アズ・コードツールに関する深い知識。
- 本番環境でのKubernetesとDockerを用いたコンテナオーケストレーションの実装経験。
- Apache AirflowやMLflowなどのデータワークフローツールの構築・運用における専門知識。
- 機械学習モデルの本番デプロイメント向けREST API設計・開発の実績。
- GitLab CIなどのバージョン管理システムとCI/CDパイプラインの活用経験。
- 高スループット、低レイテンシー、99.99%可用性を実現するシステム最適化能力。
あれば望ましいスキル
- メディア・放送・エンターテイメント業界での就業経験。
- 大規模データ処理のためのPySpark活用経験。
- KafkaやPub/Subなどのリアルタイムデータストリーミング技術の知識。
- 厳格な規制環境下でのデータガバナンスとコンプライアンス対応経験。
- 基本的なモデルデプロイメントを超えたMLOpsプラクティスとツールの活用実績。
- Google Cloud Platform認定資格(Professional Data Engineer相当)保有。
- グローバルな分散エンジニアリングチームでの協働経験。
- メディア固有のデータフォーマットとメタデータ標準への理解。
当社で働く魅力
最先端データテクノロジーを活用してメディア業界の変革を牽引するドイツの名門放送機関で、あなたのスキルを発揮してみませんか。このポジションでは、国際的なチームと完全リモート環境で協力しながら、大規模な機械学習ソリューションを実装する貴重な機会を提供します。初期契約は2ヶ月間ですが、プロジェクト状況とパフォーマンスに応じて延長される可能性が高いポジションです。