[논문리뷰] Linformer: Self-Attention with Linear Complexity

Linformer: Self-Attention with Linear Complexity은 기존 Transformer의 Self-Attention 연산 복잡도(O(n²)) 문제를 해결하기 위해 제안된 효율적 어텐션 구조입니다.핵심 아이디어는 Self-Attention의 Attention Matrix가 저랭크(low-rank) 구조를 가진다는 점에 착안하여, 이를 선형 복잡도(O(n))로 근사하는 것입니다. 오늘은 Transformer의 가장 큰 병목으로 꼽히는 Self-Attention의 연산 복잡도 문제를 해결하려는 논문, “Linformer: Self-Attention with Linear Complexity”를 리뷰해보려고 합니다.Transformer는 NLP뿐만 아니라 비전, 음성, 시계열 등 다양..

이 글에서는 NeurIPS 2023에서 Microsoft Research가 발표한 논문Optimizing Prompts for Text-to-Image Generation에 대한 리뷰를 시작해보려고 합니다. 발표자료는 제가 논문 세미나를 위해 열심히 만든 자료입니다.참고만 해주시면 감사하겠습니다.틀린 부분도 있을 수 있습니다. 부족하지만 열심히 읽고 리뷰한 논문 재밌게 봐주세용.잘 설계된 prompt는 text-image 모델이 의도를 더 잘 이해하고 좋은 품질의 결과를 생성할 수 있도록 합니다. 이전의 연구들은 특정 text-to-image 모델에 대한 수동 프롬프트 엔지니어링을 구현하여 프롬프트 엔지니어링을 진행해왔습니다. 하지만 수동으로 프롬프트 엔지니어링을 수행하면 시간이 너무 많이 필요하고 비..

m3u8 추출 명령어(맥OS)ffmpeg -i "https://manifest로 시작하는 m3u8 url" -c copy 제목.mp4 m3u8 추출 명령어(윈도우OS)ffmpeg -i "https://manifest로 시작하는 m3u8 url" -c copy "제목.mp4" ffmpeg로 영상 자르기(윈도우OS기준 - 맥OS사용시 cmd대신 terminal사용)1. 녹화할때처럼 cmd창 켜기 (ffmpeg.exe 가 있는 파일위치에서 켜라는 것)2. 명령어 입력(띄어쓰기 잘해야해 아니면 이거 복사해서 편집해서 붙여넣기)ffmpeg -i "자르고싶은 부분이 있는 파일명.ts" -acodec copy -vcodec copy -ss 00:00:00(시작부분) -t 00:00:00(자르고자하는동영상의 길이) -..

cuda version 확인, libtorch version확인nvcc -Vnvidia-smistd::cout 서버 접속[서버 접속] vscode에서 f1눌러서 ssh 검색한 후Remote-SSH: Connect to Host.. 누른 후163.152.126.138 클릭 후 PW (kms1234) 입력설치 방법들CUDA Version: 12.0[최대 요구량] (내 컴퓨터) libtorch는 아직 11.8 밖에 안나옴, 그러므로 설치한 쿠다는 11.8이다!설치 목록 (코딩프로그램 , 라이브러리 등등..) cuda 11.8 libtorch 2.0.1 [CUDA 11.8] cudnn : 8.9.3 (July 11th, 2023), for CUDA 11.x python : 3.11.5 opencv 4.8.0an..

로컬 저장소 초기화먼저 Git으로 관리할 프로젝트 폴더로 이동한 뒤, 로컬 저장소를 초기화합니다.cd ~/path/to/your/folder git init프로젝트 파일을 스테이징 영역에 추가하고 첫 커밋을 생성합니다.git add . git commit -m "Initial commit"사용자 정보 설정 (최초 1회)GitHub에 커밋 기록을 남기기 위해 사용자 정보를 설정합니다.(한 번 설정하면 이후 모든 저장소에 적용됩니다)git config --global user.name "your_username" git config --global user.email "your_email@example.com" 설정 확인:git config --global --list원격 저장소 연결GitHub에 생성한 원..

Docker 명령어1. 현재 실행 중인 컨테이너 목록 확인. 각 컨테이너의 ID, 이름, 상태, 포트, 매핑 등을 확인 가능docker ps2. 모든 컨테이너 목록 확인. 실행 중이거나 중지된 컨테이너의 목록 확인docker ps -a3. 컨테이너 시작, 중지된 상태일 때만 사용 가능.docker start 컨테이너_이름4. 지정한 컨테이너 정지. 컨테이너가 실행 중일 때 사용 가능.docker stop 컨테이너_이름5.지정된 컨테이너 강제 종료. stop 보다 강력하며, 컨테이너에 SIGKILL 신호를 보내 즉시 종료.docker kill 컨테이너_이름6. 지정된 컨테이너 삭제. 컨테이너가 중지된 상태일 때만 사용 가능.docker rm 컨테이너_이름7. 로컬에 저장된 Docker 이미지 목록 확인. ..