Hunt for Data Hunt for Data

파이썬을 통해 웹사이트에서 자동으로 검색 키워드 입력하기, 팝업창 자동종료 하는 법 웹크롤링을 해보도록 하겠습니다. 공공데이터 포털 사이트를 예시로 실행 해보겠습니다. https://www.data.go.kr 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 웹크롤링을 위한 준비사항 HTML 소스코드에서 원하는 태그를 찾기 위해서 Beautiful Soup를 설치하고 web driver를 실행하여 웹 페이지를 실행하여 데이터를 수집할 selenium을 설치해야 합니다. 라이브러리 설치 방법 - cmd를 관리자 권한으로 ..

공공데이터 API Call 하는 법 사실 파일이 있으면 다운 받는 것이 제일 편하지만 대개 다운 받는 것은 운이 좋은 경우입니다. 대다수 Open API를 활용하여 데이터를 불러오는 경우가 많습니다. 저는 실제 open API를 활용하는 것을 연습하기 위해서 데이터 활용신청을 했습니다. 공공데이터 포털에서 데이터 사용 신청하면 마이페이지>OpenAPI>개발계정에서 활용 신청 내용을 확인할 수 있습니다. 승인은 바로 되는 편입니다. 활용신청 승인 내역을 클릭하면 인증키를 확인할 수 있습니다. Json과 XML 형태의 데이터포맷 모두 사용가능합니다. 보통 JSon 타입이 XML보다 훨씬 가볍고 파싱하기 쉬우므로 JSon으로 데이터를 불러옵니다. 일반인증키는 Encoding과 Decoding이 있는데 웹 브라..

올 초 대파의 소비자가가 무섭게 치솟아 올랐습니다. 요즘 수입 대파 물량이 풀리면서 다시 소비자 가격이 지난달 대비 13.37% 내리면서 키로당 3500원 이하로 떨어졌지만 불과 한달 전까지만 해도 대파는 금파라고 할 정도로 한단(2Kg내외)에 7~8,000원을 오갔는데요, 이는 3월 18일 기준 대파(1㎏) 도매 가격 3,837원으로, 지난해 같은 시기(699원) 대비 448% 상승으로 네배가 뛴 것과 마찬가지입니다.(출처: 사라진 대파는 돌아왔지만 - 한국일보, 2021-03-20) 대파 가격이 상승한 요인은? 파는 국내 자급률 80%에 해당하며 최근 3~4년간 평년보다 따뜻한 기온 때문에 작년엔 대파 농사가 유난히 잘돼면서 생산량 급증하면서 올 대파 가격이 하락하였습니다. 인건비 상승으로 생산비가 ..

문제 1 네이버(www.naver.com) 검색창에서 '여름여행'으로 검색하여 출력되는 섹션을 텍스트로 추출하여 텍스트 파일로 저장하기 #Step 1. 필요한 모듈과 라이브러리를 로딩하고 검색어와 파일경로를 입력 받는다. #Step 2. 크롬 드라이버를 사용해서 웹 브라우저를 실행한다. #Step 3. 검색창의 이름을 찾아서 검색어를 입력한다. # Step 4. 현재 페이지에 있는 내용을 화면에 출력하고, 파일저장한다. import sys orig_stdout = sys.stdout f = open(f_name , 'a' , encoding='UTF-8') sys.stdout = f time.sleep(1) sys.stdout = orig_stdout f.close() print(" 요청하신 데이터 수집..

www.a-ha.io/questions/4f55b969f928ab4eb112aa5aaee79547 파이썬에서 json 인덱싱에 어려움을 겪고있어 질문드립니다. ㅜㅜ | 전문 지식 검색은 아하! 프로그래밍, Error, json, python, indexing - response = requests.get( url, headers=headers) match=response.json() print(match) print("_____") print(type(match)) print("_____") match =json.dumps(match) print(type(match)) print("_____") match = json.load www.a-ha.io print(data['item']['aucSeNm']) ..

(출처: 위키백과) JSON(JavaScript Object Notation)은 속성-값 쌍(attribute–value pairs and array data types (or any other serializable value)) 또는 "키-값 쌍"으로 이루어진 데이터 오브젝트를 전달하기 위해 인간이 읽을 수 있는 텍스트를 사용하는 개방형 표준 포맷입니다. 비동기 브라우저/서버 통신 (AJAX)을 위해, 넓게는 XML(AJAX가 사용)을 대체하는 주요 데이터 포맷이다. 특히, 인터넷에서 자료를 주고받을 때 그 자료를 표현하는 방법으로 알려져 있다. 자료의 종류에 큰 제한은 없으며, 특히 컴퓨터 프로그램의 변수 값을 표현하는 데 적합하다. 본래는 자바스크립트 언어로부터 파생되어 자바스크립트의 구문 형식을..

Mybatis는 자바의 관계형 데이터베이스 프로그래밍을 좀 더 쉽게 도와주는 SQL Mapping 프레임워크로 JDBC를 통해 데이터 베이스에 access하는 작업을 캡슐화하여 일반 SQL 쿼리, 저장 프로시저, 고급 맵핑을 지원한다. (모든 JDBC 코드와 매개 변수의 중복작업 제거) Mybatis는 프로그램에 있는 SQL 쿼리들을 한 구성 파일에 구성하여 프로그램 코드와 SQL을 분리할 수 있다. 특징 프로그램 코드와 SQL쿼리 분리로 코드의 간결성과 유지보수성 향상 resultType, resultClass 등 VO를 사용하지 않고 사용자 정의 DTO, MAP으로 맵핑하여 빠른 개발이 가능하여 생산성 향상 별도의 설정파일을 가질 수 있다. 구조 Mybatis 개념 및 핵심 정리 블로그 참고 khj9..

자바스크립트 버튼 onclick 이벤트로 클릭하여 총 합계를 출력하는 계산기 기능을 구현해보았다 선택된 물품 버튼/합계 계산하기 모자 1만원 구두 3만원 명품가방 8만원 총 합계는 모자 1만원 버튼 클릭 시 총 합계 출력 3개 버튼 모두 클릭하면 더하기 연산하여 합계 금액이 출력된다 1. var sum =0; 변수를 전역변수로 함수 밖에서 선언하여야 함수 안에서 0으로 초기화되지 않는다. 함수 안에서 선언 시 0으로 초기화되어 sum+= button.value; 기능으로 클릭시 value값이 누적되지 않는다. 2. parseInt()는 문자열을 정수로 바꿔주는 메서드인데 value값 안을 문자열로 인식하여 함수 안에서 구현하지 않으면 문자열로 인식하여 값을 더하는 게 아니라 옆으로 붙여넣기가 된다. (v..