シニアリードデータエンジニア | AIソーシャルメディアプラットフォーム | リモート勤務

リードデータエンジニアとして、膨大な量のソーシャルメディアデータを収集、処理、分析する高度なデータパイプラインの設計と実装の最前線に立っていただきます。最先端の技術を駆使して、AI駆動型コンテンツ作成プラットフォームをサポートするスケーラブルなソリューションを構築していただきます。 主な責任 - Apache Airflow、AWS Glue、Azure Data Factoryなどの最新フレームワークを使用して、多様なソーシャルメディアソースからデータを収集、処理、保存するための堅牢でスケーラブルなデータパイプラインを設計、開発、維持すること。 - Snowflake、Amazon Redshift、Azure Synapse Analyticsなどの技術を使用して、分析ワークロードをサポートする包括的なデータウェアハウスソリューションを設計すること。 - Great Expectationsやdbtなどのツールを使用して、AIモデルで使用されるソーシャルメディアデータの整合性、正確性、信頼性を維持するための厳格なデータ品質チェックと検証プロセスを実装すること。 - Python 3.10+、Apache Spark 3.3+などの関連技術を使用してETL（抽出、変換、ロード）プロセスを自動化し、データ取り込みと変換を効率化して手動介入を減らし、効率を向上させること。 - PrometheusやGrafanaなどのツールを使用して、データパイプラインの速度、信頼性、スケーラビリティを継続的に監視し最適化して、AIアシスタントのシームレスな運用を確保すること。 - データサイエンティスト、MLエンジニア、および機能横断チームと密接に協力して、データ要件を理解し、モデル開発とトレーニングに必要なデータインフラストラクチャを提供すること。 - データガバナンス慣行を実施し、ソーシャルメディアデータのコンテキストにおいて、GDPRやCCPAなどの関連規制に準拠したデータプライバシー、セキュリティ、コンプライアンスを保証すること。 - パフォーマンスベンチマークを確立し、監視ソリューションを実装して、データパイプラインのボトルネックや異常を特定し対処すること。 - Tableau、Power BI、Lookerなどのツールを使用して、データ駆動型の意思決定を可能にするインタラクティブなダッシュボードを設計するため、データアナリストやビジネスチームと協力すること。 - ソーシャルメディアデータのリアルタイムインサイトを提供するデータマートとダッシュボードを開発・サポートすること。 - 新興データ技術、ツール、フレームワークに常に最新の情報を入手し、データエンジニアリングプロセスを改善する可能性を評価すること。 必須スキルと資格 - コンピュータサイエンス、データエンジニアリング、ソフトウェアエンジニアリング、または関連する技術分野の学士号または修士号。 - ETLプロセス、データパイプライン開発、データ品質保証に焦点を当てた5年以上のデータエンジニアリングの実証された経験。 - Python（Python 3.8+）とSQL（PostgreSQL、MySQL、MongoDB、CassandraなどのリレーショナルおよびNoSQLデータベースの両方）に関する強い習熟度。 - Pandas、NumPy、dbt、Apache Sparkなどのデータエンジニアリングライブラリとフレームワークの実務知識。 - AWS（S3、Redshift、Glue、EMR、Lambda）、Azure（Data Factory、Synapse Analytics、Data Lake Storage）、Google Cloud（BigQuery、Dataflow、Dataproc）などのクラウドベースのデータストレージと処理ソリューションの経験。 - Apache Kafka、Spark Streaming、AWS Kinesis、Azure Event Hubsなどのリアルタイムおよびバッチデータ処理フレームワークの実践的な経験。 - DockerやKubernetesなどのコンテナ化とオーケストレーションツールに精通していること。 - GitとGitHubなどのバージョン管理システムとJenkins、GitHub Actions、Azure DevOpsなどのCI/CDパイプラインの経験。 - 星型スキーマ、スノーフレークスキーマ、データボルトなどのデータモデリング技術とスキーマ設計に関する確かな理解。 - DataOps原則とアジャイル方法論（スクラム、カンバン）に精通していること。 - 複雑なデータ問題を特定し、効果的に解決する強い問題解決能力。 - 機能横断チームで協力して作業し、技術的概念を非技術的なステークホルダーに伝える能力。 あれば望ましいスキル - MLflow、Kubeflow、TensorFlow Extended（TFX）などの機械学習パイプラインとMLオペレーションツールの使用経験。 - GDPR、CCPA、HIPAA、PCI DSSなどのデータガバナンスフレームワークとデータプライバシー規制の知識。 - Twitter API、Facebook Graph API、Instagram API、LinkedIn APIなどのソーシャルメディアAPIとデータ構造の経験。 - Neo4j、Amazon Neptuneなどのグラフデータベースと大規模なソーシャルネットワークデータの処理に精通していること。 - Collibra、Alation、AWS Glue Data Catalogなどのデータカタログ化とメタデータ管理ツールの経験。 - オープンソースデータエンジニアリングプロジェクトへの貢献。 - Airflow、Luigi、Prefectなどのワークフローオーケストレーションツールの経験。 - Terraform、CloudFormation、Ansibleなどのインフラストラクチャ・アズ・コード（IaC）ツールの経験。 当社で働く理由 次世代のAI搭載ソーシャルメディアツールを構築する先見性のあるチームの一員になれます。柔軟なリモート勤務環境、競争力のある報酬、最先端の技術を扱いながら複雑なデータ課題を解決する機会を提供しています。あなたの貢献は、世界中の何百万人ものユーザーに直接影響を与え、人工知能の力を通じて魅力的なソーシャルメディアコンテンツを作成するのを助けます。データエンジニアリングの最前線で革新を推進し、AIとソーシャルメディアの交差点で業界を変革するソリューションを構築したいという方のご応募をお待ちしております。