SLM 썸네일형 리스트형 [NLP] 경진대회 발표 및 정리 우리 팀이 1등!!! 하핫다른 팀들이 한 삽질 및 인사이트들 공유한 부분을 정리했다. 모델 레이어 프리징T5 모델, 한국전자기술연구원에서 한국어 데이터셋 사전학습된거 - 메모리 누수 - Qlora를 써도 해결이 안됐음젬마 모델 - 구글 베이스의 ko-gemma 2-9b it 이것도 메모리 누수. LoRa 사용하려고 했는데, 안됐음.. 앙상블 적용하셨다는데, 모델 레이어 프리징. 소프트 보팅 방식 사용. 멘토님 의견 -> 데이터 증강할때 LLM한테 퓨샷 샘플을 더 넣어줘서 전이학습을 시켜줬으면 좋았을 것 (데이터셋이 번역한거라서 LLM이 쌩으로 만드는 거랑은 많이 디스트리뷰션이 다름)데이터 오류 발견! 데이터가 노이지한 데이터임.. (요약문에 대화문이 들어가 있는다던가..) 같은 내용의 대화문인데 형식만 .. 더보기 이전 1 다음
