본문 바로가기

공부방/Upstage AI Lab 4기

7/16 학습일지 | 개강 첫날 | Upstage AI Lab 4기 과정 OT, 인공지능 기술 특강 오전 10시부터 오후 1시까지 3시간 동안에는 과정OT가 있었고, 간단히 점심을 먹은 뒤 기술 특강이 이어서 진행됐다. 비전공자로서 두렵기도 하고 설레기도 하는 두근두근 첫날ㅋㅋㅋㅋ 이런 기분 넘 오랜만이다. 오전 시간에는 시간표랑 무엇을 배우게 될지에 대해서 안내해주셨다. 운영진 분들이 다들 친절하고 열정적이셔서 앞으로 엄청 도움이 될 것 같다. 함께 의욕 뿜뿜ing AI 엔지니어는 AI 기술을 이용해 문제를 해결하는 사람이라고 한다. 실제 내가 엔지니어가 될지는 모르겠지만, 확실한 건 "해결하고 싶은 문제"가 있다는 것. 정확히 "문제 정의"를 하고 그걸 진짜 해결해보는 경험을 해보고 싶다. 그래서 개강 첫날이기도 하고, 내가 뭘 해결하고 싶은지를 지금 가볍게 정리해보려고 한다. 1. 가벼운 편집규칙.. 더보기
7/11 학습일지 | 파이썬 네이버쇼핑 웹크롤링 class="adProduct_item__1zC9h"부트캠프에서 사전에 제공해준 강의를 들으면서 공부하고 있는데, 2022년 강의고 지금은 2024년... 또르륵그래서 코드를 따라하면 그때는 됐지만, 지금은 안되는 부분들이 조금씩 있다. 특히 지금 애를 먹고 있는 웹크롤링같은 경우는 html 구조(?)가 달라져서 정말 어렵다. 일단 할 수 있는 데까지 해본 거라도 기록해보았다.Q.네이버 쇼핑에서 사과를 검색해서 1페이지에 나온 상품명과 가격을 가져와 저장하자. (원래 문제는 5페이지를 넘어가면서 전체 상품리스트의 이름, 가격, 구매건수, 찜, 리뷰숫자를 기록하는 것이였는데. 하다가 일단 한계에 부딪혀 일단 가격과 상품명까지만 했다.)필요한 라이브러리를 먼저 불러와주기. 왜케 많아... (몇 가지는 하다가.. 더보기
ChatGPT에게 프롬프트를 물어보았다 https://www.linkedin.com/posts/leehe228_chatgpt%EC%9D%98-prompt%EA%B0%80-%EC%9C%A0%EC%B6%9C%EB%90%98%EC%97%88%EC%8A%B5%EB%8B%88%EB%8B%A4-chatgpt%EB%8A%94-%EC%96%B4%EB%96%A4-system-ugcPost-7215916350555193344-NMJH/?utm_source=share&utm_medium=member_ios LinkedIn 이호은 페이지: ChatGPT의 prompt가 유출되었습니다. ChatGPT는 어떤 system prompt를 쓸까? 항상…ChatGPT의 prompt가 유출되었습니다. ChatGPT는 어떤 system prompt를 쓸까? 항상 궁금했는데요?.. 더보기
7/10 학습일지 | 파이썬으로 그래프 그리기 파이썬에서 데이터프레임을 시각화할 때 가장 많이 쓰는 툴로는 Matplotlib, Seaborn, Plotly가 있다.특징MatplotlibSeabornPlotly기반독립 라이브러리Matplotlib 기반독립 라이브러리장점매우 유연하고 강력한 기능 제공 다양한 그래프와 커스터마이징 옵션 제공간단한 문법으로 고급 시각화 가능 다양한 테마와 색상 팔레트 제공 통계적 시각화에 강점대화형 그래프 지원 간단한 문법으로 복잡한 시각화 가능 웹 브라우저에서 바로 시각화 확인 가능단점초보자에게 다소 복잡할 수 있음Matplotlib보다 다소 기능이 제한적일 수 있음초기 학습 곡선이 있을 수 있음사용 사례모든 종류의 시각화 특히 정교한 커스터마이징이 필요할 때통계적 데이터 시각화 간단하고 빠른 시각화가 필요할 때대화형 .. 더보기
파이썬 판다스 데이터프레임 개념 잡기 DataFrame은 2차원 테이블 구조를 말한다.시리즈는 1차원 구조(1 row 1 column)row와 column으로 모든 원소를 구분한다.index, columns, values라는 객체 변수를 가지고 있다.index: DataFrame의 row 라벨(행 라벨).columns: DataFrame의 column(열 라벨).values: DataFrame의 실제 데이터 값.row 속성은 없음: row를 다루기 위해 loc, iloc, iterrows 등을 사용.df.loc['row의 인덱스']df.iloc['row의 자리 순서값'] Relational DB와 완전히 호환된다.관계형 데이터베이스(Relational Database, RDB)는 데이터를 표 형태로 저장하고 관리하는 데이터베이스 시스템입니다.. 더보기
정형 데이터 타입 json, html, csv, hdf5과 벡터 연산 정형 데이터 타입정형 데이터는 표처럼 규칙적이고 정해진 형태로 되어 있는 데이터를 말해.예를 들어, 초등학교에서 사용하는 출석부를 생각해보자. 출석부에는 이름, 반, 번호, 출석일수 같은 정해진 칸이 있어. 모든 학생이 그 칸에 맞춰서 자신의 정보를 적게 돼. 이런 방식처럼, 정형 데이터는 어떤 형식과 규칙을 가지고 있어.예를 들어보자JSON:구조: { "이름": "홍길동", "나이": 10, "반": "3-1" }설명: 이름, 나이, 반 같은 정해진 항목에 정해진 방식으로 정보를 적어.HTML:구조: 홍길동설명: 웹 페이지에서 제목, 본문 같은 정해진 태그에 맞춰서 내용을 적어.CSV:구조: 이름,나이,반\n홍길동,10,3-1설명: 콤마(,)로 구분된 정해진 칸에 맞춰서 정보를 적어.HDF5:구조: 파.. 더보기
7/9 학습일지 | 파이썬 판다스 Fancy Indexing, 피벗테이블 판다스에서는 사용할 수 있는 데이터 타입이 2가지 정도다. 시리즈와 데이터프레임(기본).# 데이터 분석 라이브러리 4종 세트! import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns데이터프레임 안에서 원하는 값 찾기전체 데이터에서 원하는 데이터를 찾는 방법! 지금부터 이런 데이터프레임이 있다고 가정하고, 인덱싱하는 방법을 정리해보자. df = pd. DataFrame(data=np.arange(1, 49).reshape(12, 4), columns=["x1", "x2", "x3", "x4"])df x1x2x3x401234156782910111231314151641718.. 더보기
7/8 학습일지 | 파이썬 동적페이지 웹크롤링 from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerimport timeservice = Service(ChromeDriverManager().install())driver = webdriver.Chrome(service=service)driver.get("https://www.opinet.co.kr/searRgSelect.do")지난 번에 크롬 드라이브를 깔고, 원하는 url을 가져오는 것까지 했다. 오피넷이라는 웸페이지에서 크롤링을 하려고 하는데, 이 웹페이지의 경우 우회해서 들어오는 걸 막고 있어서, ur.. 더보기

티스토리툴바