Hunt for Data Hunt for Data

1. Anaconda Prompt를 관리자 모드로 실행 2. 아래 3개의 명령어를 순서대로 입력(기존에 설치된 라이브러리 삭제후 재설치 진행) conda remove --force scipy, numpy pip install scipy pip install numpy

파이썬을 통해 웹사이트에서 자동으로 검색 키워드 입력하기, 팝업창 자동종료 하는 법 웹크롤링을 해보도록 하겠습니다. 공공데이터 포털 사이트를 예시로 실행 해보겠습니다. https://www.data.go.kr 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 웹크롤링을 위한 준비사항 HTML 소스코드에서 원하는 태그를 찾기 위해서 Beautiful Soup를 설치하고 web driver를 실행하여 웹 페이지를 실행하여 데이터를 수집할 selenium을 설치해야 합니다. 라이브러리 설치 방법 - cmd를 관리자 권한으로 ..

문제 1 네이버(www.naver.com) 검색창에서 '여름여행'으로 검색하여 출력되는 섹션을 텍스트로 추출하여 텍스트 파일로 저장하기 #Step 1. 필요한 모듈과 라이브러리를 로딩하고 검색어와 파일경로를 입력 받는다. #Step 2. 크롬 드라이버를 사용해서 웹 브라우저를 실행한다. #Step 3. 검색창의 이름을 찾아서 검색어를 입력한다. # Step 4. 현재 페이지에 있는 내용을 화면에 출력하고, 파일저장한다. import sys orig_stdout = sys.stdout f = open(f_name , 'a' , encoding='UTF-8') sys.stdout = f time.sleep(1) sys.stdout = orig_stdout f.close() print(" 요청하신 데이터 수집..

(출처: 위키백과) JSON(JavaScript Object Notation)은 속성-값 쌍(attribute–value pairs and array data types (or any other serializable value)) 또는 "키-값 쌍"으로 이루어진 데이터 오브젝트를 전달하기 위해 인간이 읽을 수 있는 텍스트를 사용하는 개방형 표준 포맷입니다. 비동기 브라우저/서버 통신 (AJAX)을 위해, 넓게는 XML(AJAX가 사용)을 대체하는 주요 데이터 포맷이다. 특히, 인터넷에서 자료를 주고받을 때 그 자료를 표현하는 방법으로 알려져 있다. 자료의 종류에 큰 제한은 없으며, 특히 컴퓨터 프로그램의 변수 값을 표현하는 데 적합하다. 본래는 자바스크립트 언어로부터 파생되어 자바스크립트의 구문 형식을..