웹 파싱
-
파이썬 독학 11일차 BeautifulSoup(웹 파싱하기, 스크래핑) 5coding 2022. 9. 11. 00:00
이번 포스팅에선 깔끔하게 스크래핑 해온 아래의 데이터 결과를 한 곳에 저장해보자. 회사명, 근무 시간, 지역 등의 key 값이 있으니 무언가 떠오르지 않는가? 정답이다. 바로 파이썬의 dictionary데이터 타입을 이용해 정리해보자. 1. 가장먼저 for loop의 밖에 비어 있는 results = [ ]리스트를 만들어주고 2. 가져온 스트링 값들을 job_data의 dic에 key값과 함께 정리해주고 3. .append를 사용해 튜플 값을 리스트에 넣어준다. 4. for loop의 밖에서 result 값을 출력해주면 끝 더보기 #웹을 가져오기 위해 requests의 get을 임포트 from requests import get #beautifulsoup 사용을 위해 임포트 from bs4 import ..
-
파이썬 독학 6일차 웹 스크래핑, 파싱(beautiful soup) 1coding 2022. 9. 6. 00:00
웹 스크래핑에 아주 좋은 beautiful soup이라는 패키지가 있습니다. 이전에 살펴본 requests와 함께 사용하면 유료신문 구독이나 해외 주가 변동 등 웹에 게시된 데이터들을 쉽게 가져올 수 있게 됩니다. 하지만 교육 목적이 아닌 상업 목적이라면 아주 조심해야 합니다. 1. 우선 beautifulsoup4를 packages에서 설치해줍니다. 이번 포스팅에선 프로그래머 구인구직 사이트인 WWR(WE WORK REMOTELY)를 스크래핑 해보겠습니다. 2. python을 검색해주세요. https://weworkremotely.com/ 3. F12 또는 검사를 눌러 jobs-container 클래스를 찾아줍니다. html로 이루어져 있는데요. a태그에 보시면 회사, 지역, 직종명 등등이 나와 있습니다..