반응형 AI1 [Multi Modal] Late Fusion, Early Fusion 멀티모달 - Multi Modal model다양한 유형의 데이터를 이용하여 학습하는 AI 모델 예시로 파스타사진(이미지)와 "이음식뭐야?"(텍스트)를 입력하면 "파스타"라고 응답하는 모델이 있습니다. 멀티모달 종류Early Fusion 초기융합 다양한 유형의 데이터를 학습하기전 초반에 융합하여 학습Late Fusion 후기융합각각의 모달을 개별적으로 학습, 결과를 결합하여 최종 예측Joint Fusion 통합융합여러 데이터를 공통된 표현공간에서 융합 후 학습(Early Fusion, Late Fusion의 단점들이 상쇄되게 적절히 섞은 방식) Early Fusion 초기융합 특징장점데이터 간 강한 연관관계학습 가능 – (여기서 연관관계란 데이터간 서로 영향을 주는 관계)Ex. 텍스트 “너 정말 .. 2025. 1. 20. 이전 1 다음 728x90 반응형
