파이썬 독학 17일차 pagination 페이지 탐색

이제 직업 목록을 파싱해오는 것은 끝났다.

그 다음으로 중요한 페이지를 공부해볼 것이다.

사이트의 job list는 한 페이지만 있지 않다. 여러개의 페이지가 있으며

몇 개의 페이지가 있는지 알아 냈다면 각 페이지에 browser.get을 요청할 것이다.

 

페이지를 살펴보니 총 6개의 pagination <li>가 있다.

이 전 포스팅과 같은 방법으로 가져오면 끝

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup

def get_page_count(keyword):
  options = Options()
  options.add_argument("--no-sandbox")
  options.add_argument("--disable-dev-shm-usage")

  base_url ="https://www.indeed.com/jobs?q="
  
  pagination = webdriver.Chrome(options=options)
  
  pagination.get(f"{base_url}{keyword}")

  soup = BeautifulSoup(pagination.page_source, 'html.parser')
  pagination = soup.find('ul', class_="pagination-list")
  pages = pagination.find_all('li', recursive = False)
  print(pagination.page_source)
#   print(len(pages))

get_page_count("python")

EZ