반응형

파이썬 68

홍련화 가사 html for li in lis with xpath

www.lyrical-nonsense.com/lyrics/lisa/gurenge/ 紅蓮華 歌詞『LiSA』- 歌詞探索 Lyrical Nonsense【歌詞リリ】 LiSA『紅蓮華』の歌詞ページです。『紅蓮華』は【アニメ 鬼滅の刃 OP】, 歌い出しは ※ 強くなれる理由を知った 僕を連れて進め 泥だらけの走馬灯に酔う こわばる心 震える手は掴みたい�� www.lyrical-nonsense.com from selenium import webdriver from selenium.webdriver.common.keys import Keys driver = webdriver.Chrome('c:/Users/user/Downloads/chromedriver.exe') driver.get('https://www.lyrical-nonsens..

파이썬 2020.08.29

파이썬 네이버 블로그 크롤링 더 깔끔한 코드!

blog.naver.com/jaehong7719/221966771943 업무자동화 - 파이썬으로 웹 사이트 다루기 - 크롬 시크릿창과 네이버 검색어 크롤링 업무자동화 - 파이썬으로 웹 사이트 다루기- 크롬 시크릿창과 네이버 검색어 크롤링​이번시간은 크롬 시크... blog.naver.com from selenium import webdriver from selenium.webdriver.common.keys import Keys driver = webdriver.Chrome('c:/Users/user/Downloads/chromedriver.exe') driver.get('https://www.naver.com') elem = driver.find_element_by_id('query') elem.sen..

파이썬 2020.08.26

python 이용한 네이버 블로그 탑 100개 웹 크롤링 - .format(page)

https://m.blog.naver.com/PostView.nhn?blogId=miniii_su&logNo=221614096216&proxyReferer=https:%2F%2Fwww.google.com%2F [Python] 네이버 블로그 Selenium 웹 크롤링 ​Selenium을 이용한 웹 크롤링네이버 블로그에 "대구 여행" 키워드를 검색하면 뜨는 Top100개... blog.naver.com 네이버 블로그 탑 100 웹 크롤링 하고 싶었는데 음 top 10만 끌어모으는게 단점 page에서 다음으로 넘어가는게 잘 안됨 import platform import time import datetime import matplotlib.pyplot as plt import requests from bs4 i..

파이썬 2020.08.26

파이썬 웹크롤링 연습 : 알고리즘 기초 사이트 : get text

https://code.plus/course/41 알고리즘 기초 1/2 알고리즘 기초 code.plus 요 리스트들을 뽑고 싶다! 요 리스트들을 뽑고 싶다! 그리고 페이지 소스는 이렇게 생겼다! import requests from bs4 import BeautifulSoup import re webpage = requests.get("https://code.plus/course/41") soup = BeautifulSoup(webpage.content, "html.parser") for x in range(10,30): print(soup.select("li")[x].get_text()) C:\Users\user\PycharmProjects\untitled4\venv\Scripts\python.exe ..

파이썬 2020.08.24

파이썬 웹 크롤링 3. find_all, import re, get text

1. find_all 옵션 처음 써보기 import requests from bs4 import BeautifulSoup webpage = requests.get("https://www.daangn.com/hot_articles") soup = BeautifulSoup(webpage.content, "html.parser") print(soup.find_all("h2")) 지금까지 태그를 확인하는 감을 익혔다면 이번엔 원하는 부분을 모두 가져올 수 있는 .find_all()을 익힐 차례다. 싹 다 긁어오는 .find_all()이 유용한 가장 큰 이유는 정규식, html 속성, 함수 등을 사용해서 좀 더 스마트하게 내가 원하는 부분을 추출할 수 있기 때문이다. [이케아 수납장(1세트 3쪽), MOTTO 자..

파이썬 2020.08.24

파이썬 웹 크롤링(Web Crawling) 2. html긁어모으기/태그검색

https://webnautes.tistory.com/779 파이썬 웹 크롤링(Web Crawling) 강좌 - 1. 웹페이지 긁어오기 Beautiful Soup를 사용하여 간단한 웹 크롤러를 만드는 방법을 다루고 있습니다. Python 3.6으로 코드를 작성하였습니다. 버전의 차이로 필요한 모듈이 달라질 수도 있습니다. 웹 크롤러(Web Crawler)는 웹 webnautes.tistory.com 1. html 전체 다 긁어 모으기 1탄 : urlopen / BeatifulSoup(html, "") from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.naver.com") bsObject = ..

파이썬 2020.08.24

파이썬 웹 크롤링(Web Crawling) 1. 파이썬 pip설치 및 옵션

웹문서, 이미지 등을 주기적으로 수집하여 자동으로 데이터베이스화하는 프로그램입니다. 웹 크롤러가 하는 작업을 웹 크롤링(Web Crawling)이라고 부릅니다. 본과정까지 시간이 남아서 오늘은 웹크롤링이란걸 해보려한다. 우선 pip 명령어를 이용해서 설치를 해야한다고 하길래 설치 방법부터 찾아봄 https://dora-guide.com/pip-install/ 파이썬 pip 설치 및 옵션 사용법 총정리 - 도라가이드 파이썬 pip 설치 및 사용법에 정리하였으며, 여러 옵션들에 대해 설명드립니다. pip의 특징과 주요 기능으로는 명령 줄 인터페이스에서의 쉬운 사용입니다. 파이썬 소프트웨어 패키지를 한 번의 � dora-guide.com 엥? 그냥 cmd창을 쳐서 여는 거랑 ctrl + shift + ente..

파이썬 2020.08.24
반응형