AIソーシャルメディアプラットフォーム向けリードデータエンジニア | リモート | AWS・Python・ETL

当社は、最先端のAI駆動型ソーシャルメディアコンテンツプラットフォームのための堅牢なデータインフラストラクチャ開発を主導する経験豊富なリードデータエンジニアを求めております。この役割では、人工知能アルゴリズムを支えるスケーラブルなデータパイプラインを設計・実装し、ユーザーがソーシャルメディアチャネル全体で魅力的なコンテンツを作成・公開できるようにしていただきます。 主な職務 - 多様なソーシャルメディアソースやユーザーインタラクションからデータを収集、処理、保存するための堅牢でスケーラブルなデータパイプラインの設計、開発、保守。 - 最新のクラウドテクノロジー（AWS Redshift、Azure Synapse Analyticsなど）を活用した包括的なデータウェアハウスソリューションの設計と実装。 - 当社のAIモデルで使用されるソーシャルメディアデータの整合性、正確性、信頼性を維持するための厳格なデータ品質チェックと検証プロセスの確立と実施。 - Python 3.11+、Apache Airflow、AWS Glueなどを使用してETL（抽出、変換、ロード）プロセスを開発・自動化し、データ取り込みと変換を効率化。 - AIアシスタントがシームレスに動作するよう、速度、信頼性、スケーラビリティに焦点を当てたデータパイプラインの監視と最適化。 - データサイエンティストや機械学習エンジニアと緊密に協力し、データ要件を理解し、モデル開発とトレーニングに必要なデータインフラストラクチャを提供。 - GDPRやCCPAなどの関連規制に準拠したデータプライバシー、セキュリティを確保するための堅牢なデータガバナンス実践の実施。 - パフォーマンスベンチマークの確立と、Prometheus、Grafanaなどの包括的な監視ソリューションの実装によるデータパイプラインのボトルネックや異常の特定と対処。 - データアナリストやビジネスチームと協力し、データ駆動型の意思決定を可能にするインタラクティブダッシュボード（TableauやPower BIなど）の設計。 - ソーシャルメディアの傾向やユーザー行動に関する実用的な洞察を提供するデータマートやリアルタイムダッシュボードの開発とサポート。 - 新興データテクノロジー、ツール、フレームワークの調査と評価による当社のデータエンジニアリングプロセスの継続的な改善。 - ジュニアデータエンジニアの指導とメンタリングを行い、技術的卓越性と知識共有の文化を醸成。 必須スキルと資格 - コンピュータサイエンス、データエンジニアリング、または関連する技術分野の学士号または修士号。 - データエンジニアリングにおける5年以上の専門的経験、うちリードまたはシニアの役割で2年以上の経験。 - Pythonプログラミング（Python 3.8以上）とSQLに関する高い習熟度、およびPandas、NumPy、PySparkなどのデータエンジニアリングライブラリの専門知識。 - ETL/ELTプロセスおよびデータパイプラインの設計と実装に関する豊富な経験。 - AWS（S3、Glue、Redshift、Lambda）またはAzure（Data Factory、Synapse Analytics、Databricks）などのクラウドベースのデータストレージおよび処理ソリューションの実践経験。 - Apache AirflowやAWS Step Functionsなどのデータオーケストレーションツールの実務知識。 - Apache KafkaやAmazon Kinesisなどのリアルタイムデータ処理フレームワークの経験。 - バージョン管理システム（Git）およびデータパイプラインデプロイメントのためのCI/CD実践の習熟度。 - データモデリングの概念およびデータベース設計原則の深い理解。 - データエンジニアリングにおけるDataOpsの原則とアジャイル方法論への精通。 - 大規模データセットの取り扱いとパフォーマンス最適化の経験。 当社で働く魅力 人工知能とソーシャルメディアの交差点にある先進的なチームに参加しませんか。あなたは革新的なプラットフォームを支えるデータ基盤の構築において重要な役割を担い、完全リモート環境で最先端のテクノロジーを活用して働くことができます。当社は競争力のある報酬、柔軟な勤務時間、そしてAI駆動型コンテンツ作成の未来を形作る機会を提供しています。