Lora 썸네일형 리스트형 [NLP] VRAM이 딸려서 모델이 안돌아갈때 할 수 있는 방법들 VRAM(Video RAM) = 그래픽 처리 장치(GPU)에 내장된 고속 메모리. GPU와 실시간으로(아주아주 빠르게) 데이터를 주고받을 수 있다. 모델의 파라미터, 배치, 연산의 중간 결과 등을 저장하는 역할을 함.딥러닝 모델을 학습시키거나 파인튜닝할 때, 큰 모델, 대용량 데이터를 넣으려면 VRAM이 많이 필요. (VRAM 용량이 부족하면 데이터, 모델을 못넣음) VRAM이 부족한데 모델은 꼭 돌려보고 싶다면?1) 배치를 줄이거나, 작은 모델을 쓴다. 대신 작업 속도가 느려지고, 품질이 낮아짐.- 배치를 줄이고, 작은 배치를 여러 번 처리한 후 가중치를 업데이트(Gradient Accumulation) -> 이번 대회에서 가장 많이 쓰고 있는 방법! 일반적인 학습: 배치마다 손실함수의 그래디언트를 .. 더보기 이전 1 다음
