본문 바로가기

패스트캠퍼스ai부트캠프

[LLM] LLM 학습일지 LLM(Large Language Model) 기반 데이터 중심 NLP 연구LLM 학습 데이터는 사전 학습 데이터와 미세 조정 데이터로 크게 구분된다. 사전 학습 데이터는 웹 데이터, 뉴스, 리뷰 등 다양한 소스에서 수집되며, 데이터의 품질과 다양성이 모델의 성능에 결정적인 영향을 미친다. GPT-3의 경우 Common Crawl, WebText2, Books1, Books2, Wikipedia 등에서 총 3천억 개의 토큰을 사용했으며, LLaMA는 Common Crawl, C4, Github, Wikipedia, Books, ArXiv, StackExchange 등에서 1.4조 개의 토큰을 활용했다.데이터 전처리는 LLM의 성능 향상을 위한 핵심 요소이다. GPT-3와 LLaMA 등 주요 모델들은 데이.. 더보기
학습일지 | 딥러닝과 파이토치 딥러닝 = 텐서 연산 모음파이토치는 데이터를 텐서 객체로 다루기 때문에 데이터를 텐서로 바꿔야 한다. 그리고 모델을 불러와 학습시키고 예측 결과를 내놓게 한다. 결과가 나오면 오차를 손실함수로 수치화하고, 손실 함수가 최소가 되도록 하는 최적화 알고리즘을 거치면서 모델이 최적의 파라미터를 찾아 업데이트한다.  전이학습(Pretrained Model)말 그대로 이미 한번 학습을 시켜놓은 모델. 학습한 task에 대해서 일반적인 성능을 가지고 있다. 갓 업계에 입문한 쌩신입에게 기본적인 것을 가르쳐준 단계랄까. 아무것도 모르는 사람을 처음부터 가르쳐서 전문가로 만드는 것보다 기본은 알고 있는 사람에게 좀 더 심화 지식을 가르치는 것이 수월한 것처럼, (누군가 이미 잘 만들어놓은) 프리트레인된 모델을 가져와 .. 더보기
학습일지 | MLOps에 대한 대략적인 소개 올 것이 왔다. 최대 난관이 찾아온 것 같다. 이름도 생소한 ML Ops가 뭔지, 강의 들으면 알겠지 했는데 들으면 들을수록 더 모르겠다.두둥 ML Ops (수업 내용에 새로운 개념이나 처음 들어보는 단어가 너무 많아서 힘들었다. 동시에 그만큼 많이 배우기도..)ML Ops는 머신러닝 모델을 개발하고 배포, 운영하는 전체적인 과정을 관리하는 영역이다. DS(데이터 사이언티스트를 부르는 것 같음. 보통 DS가 주피터 노트북으로 모델을 개발한다고. 하지만 이걸 곧바로 배포할 수는 없음)가 모델을 만들어서 올리면 그걸 가지고 운영을 시작하는 게 ML Ops의 영역이고, 이 분야는 새로 생긴지도 얼마 되지 않아 통일된 방법론(?)이나 툴이 존재하지 않는다. 백엔드와도 맞닿아 있는 부분. (난 백엔드에 대해 아무.. 더보기
경진대회 Fast-Up Report 오늘은 경진대회를 마무리하고 각 팀마다 어떻게 모델을 만들었는지 발표하고 각자 배운 점과 어려웠던 점을 공유하는 세미나를 가졌다. 다른 팀의 발표를 보면서 엄청나게 동기부여를 받았는데, 그 기세를 몰아 이 밤에 Fast-up report를 작성하고 있다. 1. 어떤 대회였나?인공지능 AI 부트캠프 4기 학생들이 모여서 아파트 가격 실거래가를 예측하는 대회. 2024. 09. 09~09. 13까지 일주일 동안 진행. 2. 목표는 무엇인가? 나는 2조였는데, 우리 조의 경우에는 최대한 많은 외부 데이터를 수집했고, 그 외부데이터를 활용해 기존에 주어진 결측치 많은 데이터를 대체하고 실거래가를 예측하려는 것이였다. 수치적으로는 RMSE 값을 최대한 낮추는 것이 목표였다. (실제 가격과 예측한 가격의 오차를 줄.. 더보기
학습일지| AI를 위한 기초 수학 후기 | 딜런 강사님 이번 주에는 AI를 위한 기초 수학 강의가 3일 연속해서 있었다. 월요일에는 프로젝트 결과 발표하고 다른 팀 발표를 듣고 끝났고, 화요일에는 혼자서 갑자기 쉘든 챗봇을 만들어보는 것에 빠져있었는다. 수요일에 처음 수학과 너무 너무 오랜만에 만났는데, 강사님부터 뭔가 남달랐다. 강의 중에 말씀을 하실 때에도 정확한 명칭의 단어와 정의를 생각하시는 듯 했다. (이게 수학과인가..?)시간표에 분명 '기초 수학'이라고 적혀있어서 가벼운 마음(?)으로 임했는데 부트캠프 시작하고 나서 역대급으로 가장 힘든 수업이였다. 강사님은 정말 좋았다. 일단 수학이 어렵다는 걸 인정하고, 있는 그대로를 설명해주려고 하시는 게 좋았다. 예전에 유튜브 영상같은거 대본 쓰거나 할때, (나도 잘 이해가 안가는) 과학적 개념을 최대한 .. 더보기
파이썬 클래스 연습문제 3 - 도서관 관리 시스템 만들기 문제: 도서관 관리 시스템을 만들어보자.도서관에 책을 추가하고, 도서관 회원들이 책을 대출하고 반납하는 프로그램을 작성해보세요. 책 클래스를 생성한다. 이 클래스는 제목, 저자, isbn를 속성으로 가진다.도서관 클래스를 생성한다. 도서관은 책을 추가하거나 제거할 수 있고, 책을 찾아볼 수도 있다. 모든 책을 확인하고, 대출 중인 책은 리스트를 만들어서 관리한다. 회원 클래스를 생성한다. 회원은 이름 정보를 받는다. 회원이 책을 빌리고, 다시 되돌려주는 메서드를 만든다.  1. Book 클래스먼저 Book이라는 클래스를 만든다. Book 클래스로 책을 찍어낼 거고(=객체를 만든다), 찍어낸 책(객체)에는 제목, 저자, isbn, 그리고 대출여부를 판단할 수 있는 값(속성들)을 가지고 있게 만든다. cla.. 더보기
파이썬 클래스 연습문제 2 - 이제 조금은 알 것 같기도 하다 2024.08.02 - [공부] - 파이썬 클래스에서 2차 멘붕, 다시 개념 잡기... 에 이어서문제3. 학교 관리 시스템학교에는 여러 학생들이 있고, 각 학생은 다양한 과목의 성적을 가집니다. 학교 관리 시스템을 구축하여 학생들의 정보를 관리하고, 특정 기준에 따라 우수 학생을 선별할 수 있는 프로그램을 작성하세요.요구 사항:Student 클래스를 생성합니다. 이 클래스는 학생의 이름, 학번, 그리고 성적(과목명과 점수의 딕셔너리)을 속성으로 가집니다.School 클래스를 생성합니다. 이 클래스는 학생 객체의 리스트를 관리하며, 학생을 추가하고, 전체 학생 정보를 출력하는 메서드를 포함해야 합니다.School 클래스에는 평균 점수가 특정 기준 이상인 학생들만을 선별하여 그 목록을 반환하는 메서드도 포함.. 더보기
파이썬 클래스에서 2차 멘붕, 다시 개념 잡기... 어제 이해가 된 둥 마는둥 했더니 역시나 이해가 안됐던 것... 그래서 어제 풀었다고 생각했던 그 문제를 다시 해부했다. 2024.08.01 - [Upstage AI Lab 4기 학습일지] - 7/31 학습일지 | 파이썬 클래스 연습문제 1 문제 2. 음식 주문 시스템 만들기이 시스템은 메뉴를 관리하고, 주문을 받아 처리하는 기능을 가집니다. 여기서는 메뉴 클래스(Menu), 주문 클래스(Order), 그리고 주문 관리 클래스(OrderManager)를 구현합니다.Menu 클래스: 음식 이름과 가격을 관리합니다.Order 클래스: 특정 메뉴 항목에 대한 주문을 담습니다. 주문 번호와 주문한 메뉴 항목의 리스트를 포함합니다.OrderManager 클래스: 모든 주문을 관리합니다. 새 주문을 추가하고, 모든.. 더보기

티스토리툴바