リードデータエンジニア | AI駆動型ソーシャルメディアプラットフォーム | フルリモート

弊社の革新的なプラットフォームは、人工知能を活用してソーシャルメディアコンテンツを効率的に作成・公開するサービスを提供しており、経験豊富なリードデータエンジニアを募集しております。本ポジションでは、堅牢なデータパイプラインの設計から包括的なデータウェアハウスの構築まで、AIモデルの基盤となるデータインフラストラクチャを担当していただきます。 プロジェクト概要 弊社は、最先端の人工知能技術を駆使し、ソーシャルメディアコンテンツの作成・公開プロセスを革新するプラットフォームを開発しています。クリエイターや企業がソーシャルメディア戦略を自動化・最適化できるよう支援するために、高性能かつ信頼性の高いデータ基盤が不可欠です。 主な職務内容 - 多様なソーシャルメディアソースやユーザーインタラクションからデータを収集・処理・保存するための拡張性の高いデータパイプラインの設計・開発・保守。 - AIモデルとビジネスインテリジェンスの要件を満たす、最新のデータウェアハウスアーキテクチャの設計と実装。 - ソーシャルメディアデータの整合性、正確性、信頼性を確保するための厳格なデータ品質チェックと検証プロセスの構築。 - ETL（抽出・変換・ロード）プロセスの自動化による、データ処理の効率化と手動操作の最小化。 - データパイプラインのパフォーマンス、信頼性、スケーラビリティを継続的に監視・最適化し、AIアシスタントの円滑な運用を保証。 - データサイエンティスト、機械学習エンジニア、および他部門チームと緊密に連携し、モデル開発・トレーニングに必要なデータ基盤を提供。 - GDPRなどの規制に準拠したデータガバナンス実践の徹底により、ソーシャルメディアデータのプライバシー保護とセキュリティ確保。 - パフォーマンス指標の確立とモニタリングシステムの実装による、データパイプラインのボトルネック特定と迅速な解決。 - リアルタイムのソーシャルメディア分析を可能にするデータマートとインタラクティブダッシュボードの開発・サポート。 - 最新のデータテクノロジー、ツール、フレームワークの評価と、データエンジニアリングプロセス改善への応用。 必須要件 - コンピュータサイエンス、データエンジニアリング、または関連技術分野の学士号または修士号。 - データエンジニアリング分野における5年以上の実務経験（特にETLプロセスとデータパイプライン開発）。 - Python 3.9以上での堅実なプログラミング能力と、高度なSQL（PostgreSQL、MySQL、BigQueryなど）の知識。 - AWS（S3、Redshift、Glue、Lambda）やAzure（Data Factory、Synapse Analytics、Databricks）などのクラウドデータソリューションでの実践経験。 - データパイプラインの設計・構築・最適化、およびETLワークフローの効率化における専門知識。 - スノーフレークスキーマやスタースキーマなどのデータウェアハウスアーキテクチャ設計・実装の実証された能力。 - データガバナンスとプライバシー規制（GDPR、CCPA）に関する実用的な知識と適用経験。 - ソーシャルメディアAPI（Twitter API、Facebook Graph API、Instagram APIなど）を通じた大規模データセット処理経験。 - AIおよび機械学習モデルのためのデータ要件と最適化技術への精通。 歓迎するスキル・経験 - Apache Kafka、Spark Streaming、AWS Kinesisなどのリアルタイムデータ処理フレームワークの活用経験。 - Docker、Kubernetesなどのコンテナ技術とオーケストレーションツールの実用知識。 - MongoDB、Cassandra、DynamoDB、Elasticsearchなどの非リレーショナルデータベースの実装経験。 - DataOps原則とアジャイル開発手法の実践経験と理解。 - ソーシャルメディア分析ツールやAI駆動型コンテンツプラットフォームでの業務経験。 - Tableau、Power BI、Looker、またはカスタムダッシュボード開発によるデータ可視化の経験。 応募をお勧めする理由 ソーシャルメディアコンテンツの創出と管理方法を再定義する、国際的なイノベーターチームの一員となりませんか。ビッグデータと人工知能の交差点で、完全リモートワークの柔軟性を享受しながら、挑戦的な課題に取り組むことができます。あなたの専門知識と貢献は、弊社プラットフォームの成功に直結し、世界中の多くのクリエイターや企業のソーシャルメディア戦略効率化を支援することになります。