이번에 상용화된 코드로 사용하기 용이한 vLLM에 대한 리뷰입니다. 발표자료는 제가 논문 세미나를 위해 열심히 만든 자료입니다.참고만 해주시면 감사하겠습니다.틀린 부분도 있을 수 있습니다. 부족하지만 열심히 읽고 리뷰한 논문 재밌게 봐주세용. vLLM의 기존 문제점 - 비효율적인 KV캐시 메모리 관리LLM을 서빙할 때 높은 throughput을 달성하려면, 많은 요청을 한 번에 배치로 처리하는 것이 필수적입니다. 하지만 메모리의 제약이 성능에 큰 영향을 미칩니다.전체 메모리에서 약 65%는 모델의 가중치(weights)로 고정된 크기를 차지하고, 약 30%는 KV 캐시(Key-Value Cache)가 차지합니다. 이때 중요한 점은, 모델 가중치는 고정된 크기이므로 메모리 크기를 줄일 수 없다는 점입니다...

FlashAttention: 빠르고 메모리 효율적인 정확한 Attention 연산제목에서 알 수 있듯이, FlashAttention은 GPU 계층에서 IO를 줄여 빠르고 메모리 효율적인 정확한 Attention 연산을 가능하게 하는 방법을 제시한 논문입니다.Transformer 모델은 자연어 처리, 이미지 분류 등 다양한 응용 분야에서 가장 널리 사용되는 아키텍처로 자리 잡았고, 점점 더 크고 깊어졌습니다. 그러나 여전히 긴 컨텍스트를 처리하는 데 어려움이 있습니다. 이는 Transformer의 self-attention 모듈이 시퀀스 길이에 따라 시간 및 메모리 복잡도가 제곱으로 증가하기 때문에 긴 시퀀스에서 처리 속도가 느리고 메모리 소모가 많기 때문입니다.기존의 Attention 방법들은 계산 복잡..

이번에는 칭화대(Tsinghua University)에서 공개한 CogVLM에 대해 리뷰를 시작하겠습니다.마찬가지로 사진으로 올린 피피티는 제가 직접 작성한 피피입니다. CogVLM은 오픈 소스 Visual Language 모델로, 기존의 shallow alignment 방식에는 한계가 있었습니다. 이 방식에서는 이미지 특징을 텍스트 모델의 입력 공간으로 매핑하는데, 시각적 특징과 언어 모델 간의 직접적인 대응 관계가 부족하여 성능에 한계를 보였습니다.CogVLM은 이를 해결하기 위해 학습 가능한 visual expert 모듈을 도입하였습니다. 이 모듈을 통해 이미지 인코더와 고정된 사전 훈련된 언어 모델 간의 격차를 줄여, 성능 저하 없이 비전-텍스트 특징의 깊은 융합(Deep Fusion)을 가능하게..

ECCV2020 에서 best paper로 소개된 Nerf Representing Scenes asNeural Radiance Fields for View Synthesis 에대해 리뷰를 해보려고합니다!! 사진으로 나온 피피티는 전부 제가 작성한 피피티 이미지 입니다."Novel View Synthesis"는 여러 장의 sparse한 이미지를 입력으로 받아, 기존 데이터에는 없는 새로운 시점에서의 이미지를 생성하는 기술입니다.NeRF(Neural Radiance Fields)는 다양한 각도에서 촬영한 이미지들과 카메라 파라미터(즉, 카메라 ray의 위치와 각도)를 활용해, 트레이닝 데이터셋에 없는 새로운 시점에서의 이미지를 생성하는 Novel View Synthesis 기술입니다. 이전의 Novel Vi..

저는 2023년도에 나온stability ai의 stable video diffusion Scaling Latent Video Diffusion Models to Large Datasets이라는 논문에 대해 발표를 시작하겠습니다. 해당 논문은 저널에 따로 게시된 논문이 아닌 아카이브용 논문인듯 합니다. Introduction 기존 video modeling 관련 개선 연구가 주로 공간 혹은 시간 계층에 초점이 맞춰져 레이어 구성에 관한 연구는 많지만 data selection의 중요성에 대한 연구는 적다는 문제점을 제시했다. 데이터 큐레이션 효과를 평가할 수 있는 간단한 latent video diffusion모델을 기반으로 실험을 하기위해 효과적인 data curation 방식을 통해 더 좋은 품질의 ..

CVPR2023에 소개된  NeighborTrack: Improving Single Object Tracking By Bipartite Matching With Neighbor Tracklets라는 논문에 대해 리뷰를 시작하겠습니다. 아래는 제가 참고한 자료에 대한 url입니다.논문 paper: https://arxiv.org/abs/2211.06663 참고자료가 별로 없어 열심히 읽었습니다. 재밌게 봐주세용 Introduction 먼저 간단하게 설명을 드리면 NeighborTrack은 단일 객체 추적 즉 SOT(single object tracking)의 결과를 검증하고 트래킹이 더욱 잘 될 수 있도록 결과를 향상시키는 추가 데이터나 재학습이 필요하지 않은 post processor 입니다. 보통은 트..