스케일링 썸네일형 리스트형 AI 모델의 성능을 극대화하는 스케일링 기법 총정리 지난 편에 이어서 작성합니다. 이 글은 2025년 4월 23일 오후 5시부터 6시까지 진행된 업스테이지 프라이빗 세미나의 내용을 기반으로 정리했습니다. 지난 편: 실전에서 바로 써먹는 'Post-training' 테크닉, 튜닝 계보 한방 정리스케일링이란?스케일링은 모델 학습을 완료한 후 실제 인퍼런스 단계에서 결과(아웃풋)를 최적화하는 기법들을 의미합니다. 이 분야는 크게 Thought-based reasoning, Sampling-based inference, Search-based inference 세 가지 접근법으로 나눌 수 있습니다. Thought-based Reasoning (사고 기반 추론)Thought-based reasoning은 구조화된 단계별(스텝 바이 스텝) 추론을 모델이 할 수 있도.. 더보기 머신러닝 경진대회 | 데이터 스케일링, 레이블 인코딩 2024.09.13 - [프로젝트] - 머신러닝 경진대회 | 결측치 메꿔주기지난 편에 이어서... 결측치를 메꿔주고, (이상치도 조정해줘야하는데 이번 프로젝트에서 크게 다루지 않아서 패스.. 이상치는 데이터에서 첨부터 빼버림) 모델을 돌리기 전에 또 해야하는 것은 데이터 스케일링 작업이다. 일단 내가 이해한 대로 끄적여보자면, 스케일링은 모델이 학습을 할 때, 피쳐마다 제각각인 단위와 숫자 범위를 가지고 있어서 커다란 숫자가 있는 피쳐에 과하게 집중하는 것을 막기 위해서 작업해준다. 예를 들어서 아파트 넓이는 10~100 단위에서 왔다갔다 하고, 지역별 평균 가격은 몇 억 단위에서 왔다갔다하는데 두 개를 그대로 모델에 학습하라고 주면, 모델이 아파트 넓이는 숫자가 작아서 별로 중요하지 않다고 생각하고 학.. 더보기 이전 1 다음
