파이썬 네이버 블로그 크롤링 더 깔끔한 코드!

blog.naver.com/jaehong7719/221966771943

업무자동화 - 파이썬으로 웹 사이트 다루기 - 크롬 시크릿창과 네이버 검색어 크롤링

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Chrome('c:/Users/user/Downloads/chromedriver.exe')

driver.get('https://www.naver.com')

elem = driver.find_element_by_id('query')
elem.send_keys('운중동')
elem.send_keys(Keys.RETURN)

elem = driver.find_element_by_class_name('_blogBase')
lis = elem.find_elements_by_tag_name('li')
for li in lis:
    atag = li.find_element_by_class_name('sh_blog_title')
    print(atag.get_attribute('title'))
    print(atag.get_attribute('href'))

print('-'*20)

 

webdriver 부분까지 비슷하다

 

elem = dirver.find_element_by_id('query') 부분 : 검색엔진 들어가기 

elem.send_keys('운중동') 키보드로 운중동을 치게 됨 

elem.send_keys(Keys.return) 키보드로 엔터를 치게 됨 

 

ㄷ ㄷ ㄷ ㄷ 실행시키면 네이버가 켜지고 자동으로 검색어에 운중동이 쳐지는 것을 볼 수 있다. 

 

다음에는 검색 결과 페이지로 들어가서 blogbase를 보고 

li 태그에 있는 애들은 정리해서 보여준다. 

 

C:\Users\user\PycharmProjects\untitled4\venv\Scripts\python.exe C:/Users/user/PycharmProjects/untitled4/hi.py
전문 쉐프가 직접하는 운중동 맛집
https://blog.naver.com/allforloveaa?Redirect=Log&logNo=222066064871
[판교 운중동/무한리필 월남쌈/20200620] 아초원
https://blog.naver.com/ysjyshhs?Redirect=Log&logNo=222010701819
그릴의 매력 운중동 맛집
https://bomblanc.blog.me/222069582326
기분내고온 운중동 맛집
https://blog.naver.com/tkdwlr12?Redirect=Log&logNo=221942237773
또 가고싶은 운중동 맛집
https://blog.naver.com/fayefaye79?Redirect=Log&logNo=221971573662
--------------------

Process finished with exit code 0

ㄱ깔끔하게 나온다!

 

elem = driver.find_element_by_class_name('news')
lis = elem.find_elements_by_xpath('./ul/li')
for li in lis:
    atag = li.find_element_by_class_name('_sp_each_title')
    print(atag.text)
    print(atag.get_attribute('href'))

 뉴스부분으로 응용하면 이렇게 된다.

sp_each_title위치 

xpath으로 쓴 이유는 ㄴㄴ

C:\Users\user\PycharmProjects\untitled4\venv\Scripts\python.exe C:/Users/user/PycharmProjects/untitled4/hi.py
민주 최고위 취재기자 코로나 검사에…지도부, 자가격리키로(종합)
http://yna.kr/AKR20200826105800001?did=1195m
청와대 코앞까지 번진 코로나…사랑채 안내직원 1명 확진
https://www.donga.com/news/article/all/20200826/102662127/2
자가격리 대상자 코로나 검사받고 카페에…벌금 300만원
http://yna.kr/AKR20200826092300051?did=1195m
민주당 취재기자 코로나19 확진...국회 폐쇄 검토
https://www.ytn.co.kr/_ln/0101_202008262103042279
--------------------

Process finished with exit code 0