파이썬 독학 19일차 변경되는 url 스크래핑

스크래핑을 하고 싶은 페이지가 여러개인 것을 확인하고 그 갯수를 가져오는 방법을 지난 포스팅에서 알아보았다. 이번 포스팅은 각 페이지의 response를 가져오는 방법을 알아보자.

 

타겟 페이지의 url이 페이지의 번호에 따라 변경 되는걸 확인할 수 있다.

4 페이지

3 페이지

indeed.com/jobs?q=python&start=이후로 변경이 된다. 이는 우리 코드의

response=get(f"{base_url}?q={keyword}&strat=30&vjk=9f71b086ffa50691")에 해당이 된다.

(참고로 q=는 쿼리다.)

response=get(f"{base_url}?q={keyword}&strat=이곳의 숫자를 어떻게 변경하여야 할까")

이전 포스팅에서 배운 range 함수를 쓰고 싶지만

range는 1 2 3 4 5의 범위로 출력된다.

 

답은 range의 결과에 10을 곱해주면 된다.

for page in range(5):
  response=get(f"{base_url}?q={keyword}&strat={page*10}")