Clone
2
Overview
박다현 edited this page 2025-12-07 07:01:22 +00:00
<html> <html><head></head>

Overview (개요)

  1. Filters: early-exit 로직을 사용하여 잘못되었거나 비디오가 아닌 파일을 필터링합니다.

  2. Extracts metadata: S3 object key에서 구조화된 네이밍 규칙을 기반으로 metadata를 추출합니다.

  3. Retrieves: S3 object metadata를 가져와 schema에 따라 검증합니다.

  4. Publishes: 구조화된 메시지를 Kafka topic push.ai.release.orchestrator로 발행합니다.

    • 이는 ML inference 및 관리 서비스에서 사용됩니다.

  5. Sends monitoring events: 운영 추적을 위해 IHP Admin API로 monitoring event를 전송합니다.

  6. Updates user processing status: API Server를 통해 사용자 처리 상태를 업데이트합니다.

이 시스템은 완전히 비동기적으로 동작하며, S3 PutObject 이벤트에 의해 트리거되며 직접적인 비디오 처리나 스토리지 작업은 수행하지 않습니다.


Key Characteristics (주요 특성)

Characteristic (특성) Description (설명)
Deployment Model AWS Lambda function (VideoMetadataWriter3), 512MB 메모리, 180초 timeout
Runtime Node.js 18.x, x86_64 architecture
Trigger ihp-video-garage bucket의 S3 PutObject events
Architecture Pattern Dependency Injection 기반의 event-driven fan-out orchestrator
Network Configuration Private MSK Kafka cluster 접근을 위한 VPC 구성 (IAM authentication)
Observability Distributed spans & annotations 기반 AWS X-Ray active tracing
Multi-Environment Support filename 기반 라우팅을 통해 dev/test/release 환경 지원
Concurrency Kafka / monitoring API / status API로의 병렬 dispatch

System Purpose and Scope (시스템 목적 및 범위)

  • Downstream 시스템에 전달될 metadata를 구조화하고 schema 기반으로 검증합니다.

  • 다중 환경(dev/test/release)을 안정적으로 라우팅하고 추적성을 제공합니다.

  • Kafka, Admin API, API Server와 통합되어 병렬 dispatch 파이프라인을 구성합니다.


High-Level System Architecture (상위 수준 아키텍처)

  • Event Source: S3 PutObject

  • Processing Flow:

    1. Event Filtering

    2. Metadata Retrieval

    3. Parallel Dispatch (Kafka + Monitoring API + Status API)

    4. Completion & Observability reporting


Core Components (핵심 모듈)

  • AWSModule

  • KafkaModule

  • MonitoringModule

  • IHPAPIModule

  • UtilModule & Helper Functions


External Integrations (외부 연동)

  • AWS S3 Integration

  • Kafka & AWS MSK

  • IHP Admin API

  • API Server Integration


Event Processing Pipeline

  1. Stage 1: Event Filtering

  2. Stage 2: Metadata Retrieval

  3. Stage 3: Parallel Dispatch

  4. Stage 4: Completion Handling


Multi-Environment Support (다중 환경 지원)

  • 파일 이름 prefix 기반 규칙을 사용하여 dev / test / release workload를 구분합니다.


Deployment (배포)

  • AWS Lambda 기반

  • template.yaml로 관리

  • Local development는 container 기반 mocking tools 사용

</html> </html>