반복문을 활용한 페이지별 크롤링

□ url 링크 패턴을 파악 후 If문과 for문을 활용하여 페이지별 해당하는 조건의 데이터를 추출

 

#관련 라이브러리 호출
import requests
from bs4 import BeautifulSoup

for page_num in range(10):
    if page_num == 0:   #조건문을 활용하여 0이면 홈화면 출력
        target_page = requests.get('https://davelee-fun.github.io/')
        print('홈화면 입니다')
    else: #0이 아니라면 그다음 페이지는 아래 링크로 이동하며 h4이며 클래스명이 card-text인 데이터를 추출
        target_page = requests.get(f'https://davelee-fun.github.io/page{str(page_num+1)}') #받은 페이지넘을 str로 형변환하여 링크값으로 적용
        #target_page = requests.get(f'https://davelee-fun.github.io/page')+str(page_num+1)
        tool_parser = BeautifulSoup(target_page.content, 'html.parser')
        h4_data = tool_parser.select('h4.card-text')
        a=0
        for v in h4_data:
            a+=1
            print(f'{page_num}페이지\t{a}번째 제품\t:\t{v.get_text().strip()}')