Overview (개요)
-
Filters: early-exit 로직을 사용하여 잘못되었거나 비디오가 아닌 파일을 필터링합니다.
-
Extracts metadata: S3 object key에서 구조화된 네이밍 규칙을 기반으로 metadata를 추출합니다.
-
Retrieves: S3 object metadata를 가져와 schema에 따라 검증합니다.
-
Publishes: 구조화된 메시지를 Kafka topic
push.ai.release.orchestrator로 발행합니다.-
이는 ML inference 및 관리 서비스에서 사용됩니다.
-
-
Sends monitoring events: 운영 추적을 위해 IHP Admin API로 monitoring event를 전송합니다.
-
Updates user processing status: API Server를 통해 사용자 처리 상태를 업데이트합니다.
이 시스템은 완전히 비동기적으로 동작하며, S3 PutObject 이벤트에 의해 트리거되며 직접적인 비디오 처리나 스토리지 작업은 수행하지 않습니다.
Key Characteristics (주요 특성)
| Characteristic (특성) | Description (설명) |
|---|---|
| Deployment Model | AWS Lambda function (VideoMetadataWriter3), 512MB 메모리, 180초 timeout |
| Runtime | Node.js 18.x, x86_64 architecture |
| Trigger | ihp-video-garage bucket의 S3 PutObject events |
| Architecture Pattern | Dependency Injection 기반의 event-driven fan-out orchestrator |
| Network Configuration | Private MSK Kafka cluster 접근을 위한 VPC 구성 (IAM authentication) |
| Observability | Distributed spans & annotations 기반 AWS X-Ray active tracing |
| Multi-Environment Support | filename 기반 라우팅을 통해 dev/test/release 환경 지원 |
| Concurrency | Kafka / monitoring API / status API로의 병렬 dispatch |
System Purpose and Scope (시스템 목적 및 범위)
-
Downstream 시스템에 전달될 metadata를 구조화하고 schema 기반으로 검증합니다.
-
다중 환경(dev/test/release)을 안정적으로 라우팅하고 추적성을 제공합니다.
-
Kafka, Admin API, API Server와 통합되어 병렬 dispatch 파이프라인을 구성합니다.
High-Level System Architecture (상위 수준 아키텍처)
-
Event Source: S3 PutObject
-
Processing Flow:
-
Event Filtering
-
Metadata Retrieval
-
Parallel Dispatch (Kafka + Monitoring API + Status API)
-
Completion & Observability reporting
-
Core Components (핵심 모듈)
-
AWSModule
-
KafkaModule
-
MonitoringModule
-
IHPAPIModule
-
UtilModule & Helper Functions
External Integrations (외부 연동)
-
AWS S3 Integration
-
Kafka & AWS MSK
-
IHP Admin API
-
API Server Integration
Event Processing Pipeline
-
Stage 1: Event Filtering
-
Stage 2: Metadata Retrieval
-
Stage 3: Parallel Dispatch
-
Stage 4: Completion Handling
Multi-Environment Support (다중 환경 지원)
-
파일 이름 prefix 기반 규칙을 사용하여 dev / test / release workload를 구분합니다.
Deployment (배포)
-
AWS Lambda 기반
-
template.yaml로 관리 -
Local development는 container 기반 mocking tools 사용