본문 바로가기

전체 글

(64)
TIL) 웹스크래핑 1. 웹스크래핑(크롤링)이란? 웹 스크래핑은 웹 페이지에서 우리가 원하는 부분의 데이터를 수집해오는 것을 말한다. 한국에서는 웹크롤링과 혼용되고 있다. 2. 웹스크래핑과 크롤링의 차이 웹스크래핑은 웹 사이트 상에서 원하는 정보를 추출하는 기술로, 핀셋으로 자기가 원하는 정보만 쏙쏙 빼내는 느낌이다. 반면 웹크롤링은 웹크롤러가 일정 규칙으로 웹페이지를 브라우징(인덱싱) 하는 것으로, 거미줄을 쳐놓고 기다리는 느낌이라 이해하면 되겠다. 참고: dzone.com/articles/web-scraping-vs-web-crawling-whats-the-difference 3. 웹 스크래핑 방법 1) 타깃 웹사이트에 대한 URL을 요청하여 HTML 형식의 정보를 수집한다. 2) HTML 내에 필요한 정보가 담긴 Co..
TIL) pycharm 가상환경(venv) 구축, terminal 조작하기 1. venv 환경 구축 - 가상의 개발 환경 구축 - 기존에 설정한 환경과 다른 환경에서 개발할 수 있는 환경을 구축하기 위해 사용한다. - File > Settings으로 설정 2. terminal을 통해 확인 파이썬 버젼 확인: python --version 지금 파일 위치 확인: cd 디렉토리 위치 옮기기: cd C:\~~ 디렉토리 위치 확인: dir 디렉토리 생성: mkdir
TIL) Flask란, Flask 사용법 1. Flask란 파이썬 웹 프레임워크. 파이썬을 이용하여 웹 어플리케이션을 만들 때 사용하는 프레임 워크이다. Flask외에도 장고, 토네이도 등이 있다. Flask는 심플하고 가볍기에 많은 사람들이 사용 중이다. 10줄로 안되는 코드로 웹 서버를 구동할 수 있다. 2. Flask가 필요한 이유 업무가 다양해지며 웹에 표현해야하는 구조도 복잡해졌다. 이를 유지보수하는 것도 어려워졌다. 프레임워크는 이를 해결하기 위해 기본 설계를 바탕으로 기능별로 구분하여 표현하도록 공통의 규칙을 정한 것이다. 이를 활용하여 사람들은 체계적으로 코드관리를 하고 개발 생산성을 높일 수 있게 되었다. 3. Flask 사용법 a. 기본 사용법 1) Flask 모듈 임포트 (보통 다음과 같이 임포트) from flask imp..