Update Overview

dahyeon committed 2025-12-07 07:01:22 +00:00
1 parent 5a35aaf353
commit 00d420c677
1 file changed
+153 -1
+153 -1
@@ -1 +1,153 @@
위키에 오신것을 환영합니다! <html><body>
<!--StartFragment--><html><head></head><body><h1>Overview (개요)</h1>
<ol>
<li>
<p><strong>Filters</strong>: early-exit 로직을 사용하여 잘못되었거나 비디오가 아닌 파일을 필터링합니다.</p>
</li>
<li>
<p><strong>Extracts metadata</strong>: S3 object key에서 구조화된 네이밍 규칙을 기반으로 metadata를 추출합니다.</p>
</li>
<li>
<p><strong>Retrieves</strong>: S3 object metadata를 가져와 schema에 따라 검증합니다.</p>
</li>
<li>
<p><strong>Publishes</strong>: 구조화된 메시지를 Kafka topic <code>push.ai.release.orchestrator</code>로 발행합니다.</p>
<ul>
<li>
<p>이는 ML inference 및 관리 서비스에서 사용됩니다.</p>
</li>
</ul>
</li>
<li>
<p><strong>Sends monitoring events</strong>: 운영 추적을 위해 IHP Admin API로 monitoring event를 전송합니다.</p>
</li>
<li>
<p><strong>Updates user processing status</strong>: API Server를 통해 사용자 처리 상태를 업데이트합니다.</p>
</li>
</ol>
<p>이 시스템은 완전히 비동기적으로 동작하며, S3 PutObject 이벤트에 의해 트리거되며 직접적인 비디오 처리나 스토리지 작업은 수행하지 않습니다.</p>
<hr>
<h1>Key Characteristics (주요 특성)</h1>
Characteristic (특성) | Description (설명)
-- | --
Deployment Model | AWS Lambda function (VideoMetadataWriter3), 512MB 메모리, 180초 timeout
Runtime | Node.js 18.x, x86_64 architecture
Trigger | ihp-video-garage bucket의 S3 PutObject events
Architecture Pattern | Dependency Injection 기반의 event-driven fan-out orchestrator
Network Configuration | Private MSK Kafka cluster 접근을 위한 VPC 구성 (IAM authentication)
Observability | Distributed spans & annotations 기반 AWS X-Ray active tracing
Multi-Environment Support | filename 기반 라우팅을 통해 dev/test/release 환경 지원
Concurrency | Kafka / monitoring API / status API로의 병렬 dispatch
<hr>
<h1>System Purpose and Scope (시스템 목적 및 범위)</h1>
<ul>
<li>
<p>Downstream 시스템에 전달될 metadata를 구조화하고 schema 기반으로 검증합니다.</p>
</li>
<li>
<p>다중 환경(dev/test/release)을 안정적으로 라우팅하고 추적성을 제공합니다.</p>
</li>
<li>
<p>Kafka, Admin API, API Server와 통합되어 병렬 dispatch 파이프라인을 구성합니다.</p>
</li>
</ul>
<hr>
<h1>High-Level System Architecture (상위 수준 아키텍처)</h1>
<ul>
<li>
<p><strong>Event Source:</strong> S3 PutObject</p>
</li>
<li>
<p><strong>Processing Flow:</strong></p>
<ol>
<li>
<p>Event Filtering</p>
</li>
<li>
<p>Metadata Retrieval</p>
</li>
<li>
<p>Parallel Dispatch (Kafka + Monitoring API + Status API)</p>
</li>
<li>
<p>Completion &amp; Observability reporting</p>
</li>
</ol>
</li>
</ul>
<hr>
<h1>Core Components (핵심 모듈)</h1>
<ul>
<li>
<p>AWSModule</p>
</li>
<li>
<p>KafkaModule</p>
</li>
<li>
<p>MonitoringModule</p>
</li>
<li>
<p>IHPAPIModule</p>
</li>
<li>
<p>UtilModule &amp; Helper Functions</p>
</li>
</ul>
<hr>
<h1>External Integrations (외부 연동)</h1>
<ul>
<li>
<p>AWS S3 Integration</p>
</li>
<li>
<p>Kafka &amp; AWS MSK</p>
</li>
<li>
<p>IHP Admin API</p>
</li>
<li>
<p>API Server Integration</p>
</li>
</ul>
<hr>
<h1>Event Processing Pipeline</h1>
<ol>
<li>
<p><strong>Stage 1: Event Filtering</strong></p>
</li>
<li>
<p><strong>Stage 2: Metadata Retrieval</strong></p>
</li>
<li>
<p><strong>Stage 3: Parallel Dispatch</strong></p>
</li>
<li>
<p><strong>Stage 4: Completion Handling</strong></p>
</li>
</ol>
<hr>
<h1>Multi-Environment Support (다중 환경 지원)</h1>
<ul>
<li>
<p>파일 이름 prefix 기반 규칙을 사용하여 dev / test / release workload를 구분합니다.</p>
</li>
</ul>
<hr>
<h1>Deployment (배포)</h1>
<ul>
<li>
<p>AWS Lambda 기반</p>
</li>
<li>
<p><code>template.yaml</code>로 관리</p>
</li>
<li>
<p>Local development는 container 기반 mocking tools 사용</p>
</li>
</ul></body></html><!--EndFragment-->
</body>
</html>