본문 바로가기

전체 글

7/8 학습일지 | 파이썬 동적페이지 웹크롤링 from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerimport timeservice = Service(ChromeDriverManager().install())driver = webdriver.Chrome(service=service)driver.get("https://www.opinet.co.kr/searRgSelect.do")지난 번에 크롬 드라이브를 깔고, 원하는 url을 가져오는 것까지 했다. 오피넷이라는 웸페이지에서 크롤링을 하려고 하는데, 이 웹페이지의 경우 우회해서 들어오는 걸 막고 있어서, ur.. 더보기
웹크롤링 | 크롬 드라이브 최신 버전 설치하고 원하는 url 열기 부트캠프 시작하기 전에 제공되는 강의를 듣고 있는데, 강의가 2022년에 찍은 거라서 강의를 따라 크롬 드라이브를 설치할 수가 없다. 챗지피티의 도움을 받아서 크롬 드라이브를 설치했는데, 나중에 까먹지 않기 위해 정리해둠!1. 크롬 버전 확인하기크롬 - 설정 - Chrome 정보 들어가서 최신 버전인지 확인하기. 강의에서는 107 버전이지만, 현재 2024년 7월 기준으로 126... 옆에 (x86_64)는 어디서 돌아가고 있는지를 나타낸다. 2. 크롬 드라이브 페이지에 들어간다. 다운로드 - 버전 선택에 가면 버전 115 이상은 가용성 대시보드에서 확인할 수 있다고 뜨고 하이퍼링크가 걸려 있다. 여길 클릭! 버전 선택이 너무 번거로우니 이렇게 만들어놓은듯.. 3. stable 버전을 보면 126.0.6.. 더보기
7/5 학습일지 | 파이썬 웹크롤링 연습하기 문제네이버 증권에서 코스피의 일별 시세를 크롤링해서 날짜와 코스피종가 데이터를 뽑고, 그걸 엑셀 파일로 저장해보자. 네이버 증권에는 1페이지부터 1940페이지(?) 까지 정보가 나열되어 있는데, 맨 끝페이지까지 자동으로 찾아서 데이터를 가져온다. 웹크롤링에서 중요한 것은 1. 원하는 정보가 담긴 url을 찾고, 2. 그 html 에 숨겨진 원하는 데이터를 찾는 것이다. 하나하나 뜯어보면서 공부했는데, 아직 문법에 익숙하지는 않아서 할 때마다 헷갈린다.주요 기억할 것!requests.get() 은 가져오기.text -> 텍스트화하기.find_all().find_all() -> 찾기. 두 번 붙일 수 있음. 두 번 붙일 때는 붙이기 전에 원소화시킬 것 import requestsimport bs4date_l.. 더보기
7/5 학습일지 | 파이썬 | 반복문 연습 연습문제다음과 같은 영어기사 5개가 있다. 뉴스 기사에 등장하는 모든 단어마다 개수를 세어보자!계속 막혀서 다른 함수써서 야매(?)로 얻은 답.. from collections import Counternews1 = "hello it, it's me. I am very happy to hear that?"news2 = "hello Can you hear me?"news3 = "Same old same old"news4 = "So long time no see you too"news5 = "have you met ted?"new1=news1.split(" ")new2=news2.split(" ")new3=news3.split(" ")new4=news4.split(" ")new5=news5.split(" ".. 더보기
7/4 학습일지 | 파이썬 | 리스트 vs 딕셔너리, 반복문 1. 리스트와 딕셔너리Q. 서점에서 도서 관련 정보를 프로그램에 저장하려고 한다. 도서 정보는 책 제목, 도서번호, 도서분류가 있다. 현재 도서는 5권이다(예스24에서 베스트셀러 기준으로 대충 5권 긁어옴) 다음 두 가지 방식으로 데이터를 관리할 때, 차이점은 무엇인지 생각해보자.책 제목 | ISBN | 도서분류불변의 법칙 | 9791198517425 | 경제경영THE MONEY BOOK 더 머니북 | 9791198686114 | 경제경영나를 소모하지 않는 현명한 태도에 관하여 | 9791198682505 | 자기계발초역 부처의 말 | 9791193506516 | 인문나는 다정한 관찰자가 되기로 했다 | 9791198752406 | 교육리스트로 관리하기book1 = "불변의 법칙 | 97911985174.. 더보기
챗GPT 프롬프트 잘 쓰는 방법 | 프롬프트 엔지니어링 기초 챗GPT를 잘 쓰기 위해서 '잘' 입력하기 = 프롬프트를 잘 쓰기 완벽한 프롬프트가 가지고 있는 6가지 기본 구성요소작업 task : 작업은 명료하게 작성할 것.맥락 context : 맥락은 주관적이고 범위가 넓어 쓰기가 어려운데, 나의 배경은 무엇인가, 이 프롬프트의 목적, 환경적 요인을 생각하고 맥락을 작성하기.예시 example  : 특정 형식에 맞추고 싶을 때. 페르소나 persona : 너는 전문가야. 유명인의 이름도 가능. 형식 form : 표나 리스트, 그래프, 특정 단어 굵게, 마크다운 형식 등 지정 가능어조 tone : 정중하게, 착하게, 부드럽게, 강하고 명료하게 .. 어울리는 톤을 물어봐서 써도됨.  예를 들어서, 내 영어 공부 계획을 짜달라고 하고 싶을 때. 가장 중요한 건 "작업".. 더보기
MLOps에 대한 아주아주 기초적인 정보들 MLOps는 "Machine Learning Operations"의 약자로, 머신러닝 모델의 개발, 배포, 관리 및 유지보수를 위한 일련의 실천 방법과 도구들을 의미합니다. MLOps는 DevOps(Development Operations) 개념을 머신러닝에 적용한 것으로, 머신러닝 워크플로우의 모든 단계에서 협업과 자동화를 촉진합니다. 이를 통해 모델을 신속하게 배포하고, 지속적으로 운영하고, 성능을 모니터링하고, 필요한 경우 개선할 수 있습니다.DevOps(Development Operations)란?소프트웨어 개발과 IT 운영 간의 협업과 통합을 촉진하는 일련의 실천 방법과 도구들을 의미합니다. DevOps의 주요 목표는 소프트웨어 개발과 배포 주기를 단축하고, 높은 품질의 소프트웨어를 안정적으로 .. 더보기
VS Code 켜서 주피터 노트북 켜고 가상환경 세팅해주기 맨날 잠시 절전모드만 해두고, 맥북이 버벅거려서 한번 껐다가 켰더니 가상환경 세팅이 날아가버렸다. 이번에 다시 세팅하면서 재정리.[터미널]내가 만들어놓은 가상환경은 venv이고, 이 가상환경을 활성화시킨다. source venv/bin/activate이때 오류가 날 수 있는데, 가상환경이 들어있는 디렉토리를 확인하고 해당 경로를 사용해서 활성화하면됨.예를 들어, 가상환경이 ~/projects/myproject/venv에 있다면 다음과 같이 활성화source ~/projects/myproject/venv/bin/activate그리고 주피터노트북을 실행시키고 주피터노트북에 venv 를 등록(이건 이번 한 번만 하면 된대).python -m ipykernel install --user --name=venv -.. 더보기