diff --git a/Overview.md b/Overview.md index ffcd509..c1a768f 100644 --- a/Overview.md +++ b/Overview.md @@ -1 +1,153 @@ -위키에 오신것을 환영합니다! \ No newline at end of file +
+Filters: early-exit 로직을 사용하여 잘못되었거나 비디오가 아닌 파일을 필터링합니다.
+Extracts metadata: S3 object key에서 구조화된 네이밍 규칙을 기반으로 metadata를 추출합니다.
+Retrieves: S3 object metadata를 가져와 schema에 따라 검증합니다.
+Publishes: 구조화된 메시지를 Kafka topic push.ai.release.orchestrator로 발행합니다.
이는 ML inference 및 관리 서비스에서 사용됩니다.
+Sends monitoring events: 운영 추적을 위해 IHP Admin API로 monitoring event를 전송합니다.
+Updates user processing status: API Server를 통해 사용자 처리 상태를 업데이트합니다.
+이 시스템은 완전히 비동기적으로 동작하며, S3 PutObject 이벤트에 의해 트리거되며 직접적인 비디오 처리나 스토리지 작업은 수행하지 않습니다.
+Downstream 시스템에 전달될 metadata를 구조화하고 schema 기반으로 검증합니다.
+다중 환경(dev/test/release)을 안정적으로 라우팅하고 추적성을 제공합니다.
+Kafka, Admin API, API Server와 통합되어 병렬 dispatch 파이프라인을 구성합니다.
+Event Source: S3 PutObject
+Processing Flow:
+Event Filtering
+Metadata Retrieval
+Parallel Dispatch (Kafka + Monitoring API + Status API)
+Completion & Observability reporting
+AWSModule
+KafkaModule
+MonitoringModule
+IHPAPIModule
+UtilModule & Helper Functions
+AWS S3 Integration
+Kafka & AWS MSK
+IHP Admin API
+API Server Integration
+Stage 1: Event Filtering
+Stage 2: Metadata Retrieval
+Stage 3: Parallel Dispatch
+Stage 4: Completion Handling
+파일 이름 prefix 기반 규칙을 사용하여 dev / test / release workload를 구분합니다.
+AWS Lambda 기반
+template.yaml로 관리
Local development는 container 기반 mocking tools 사용
+