Web Crawling 활용

🎵지니뮤직 1 ~ 50위 크롤링

지니뮤직 사이트(2023.02.01)

지니차트>월간 - 지니

1. 기본 셋팅

# 라이브러리
import requests
from bs4 import BeautifulSoup

# 웹페이지 가져오기
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20230201',headers=headers)

# 웹페이지 파싱
soup = BeautifulSoup(data.text, 'html.parser')

2. 가져오고 싶은 데이터 위치 파악하기

👀 크롬 개발자도구 참고

2-1. rank

• 개발자 도구 → 순위가 적혀 있는 부분 클릭

• 검사 원하는 태그에서 마우스 오른쪽 클릭 Copy → Copy selector

• 같은 방식으로 2순위 부분도 Copy selector

rank 1 selector: #body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.number
rank 2 selector: #body-content > div.newest-list > div > table > tbody > tr:nth-child(2) > td.number

2-2. title

• 위와 같은 방법으로 2개의 노래 제목 Copy selector

rank 1 selector: #body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.info > a.title.ellipsis
rank 2 selector: #body-content > div.newest-list > div > table > tbody > tr:nth-child(2) > td.info > a.title.ellipsis

2-3. artist

• 위와 같은 방법으로 2개의 노래 가수 Copy selector

rank 1 selector: #body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.info > a.artist.ellipsis
rank 2 selector: #body-content > div.newest-list > div > table > tbody > tr:nth-child(2) > td.info > a.artist.ellipsis

3. 원하는 데이터 선택해서 가져오기

3-1. tr 태그 

genie[0]에는 tr:nth-child(1)에 포함되는 정보를 저장
genie[1]에는 tr:nth-child(2)에 포함되는 정보를 저장
...
genie[49]에는 tr:nth-child(50)에 포함되는 정보를 저장

 genie 변수, 아래 경로에 있는 모든 tr 태그 안에 있는 정보 가져옴

genie = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

3-2. 반복문을 이용해 rank, title, artist 데이터 선택

- rank 위치: tr > td.number
- title 위치: tr > td.info > a.title.ellipsis
- artist 위치: tr > td.info > a.artist.ellipsis

4. 출력

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20230201',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

genie = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for tr in genie:
    rank = tr.select_one('td.number').text
    title = tr.select_one('a.title.ellipsis').text
    artist = tr.select_one('a.artist.ellipsis').text
	
    print(rank, title, artist)

👀 문제점 발견
출력해보니 순위와 곡제목이 깔끔하게 나오지 않았다.

4-1. rank, title 여백 제거

➡️ 파이썬 내장 함수인 strip() 사용

# 반복문 코드 수정(rank/title)
for tr in genie:
    rank = tr.select_one('td.number').text.strip()
    title = tr.select_one('a.title.ellipsis').text.strip()

4-2. rank 순위만 출력

➡️ 앞에서 두 글자만 → text[0:2] 쓰기

# 반복문 코드 수정(rank)
for tr in genie:
    rank = tr.select_one('td.number').text[0:2].strip()

 

[최종코드]

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20230201',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

genie = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

# 반복문 코드 수정
for tr in genie:
    rank = tr.select_one('td.number').text[0:2].strip()
    title = tr.select_one('a.title.ellipsis').text.strip()
    artist = tr.select_one('a.artist.ellipsis').text
	
    print(rank, title, artist)