파이썬봇우회 (1) 썸네일형 리스트형 [Python] 크롤링 CloudFlare 우회 requests 크롤링을 하다 보면 CloudFlare로 인한 봇 차단 페이지를 맞닥뜨리게 된다. 간단한 해결법이 있다. pip install cloudscraper 먼저 모듈을 설치한다. def scrap(url): scraper = cloudscraper.create_scraper() a = scraper.get(url).text return a a = scrap('우회할URL')print(a) 이렇게 하면 해당 url을 request 한 것과 동일한 내용이 나온다.물론 CloudFlare를 우회한 상태로 말이다. 만약 계속해서 봇탐지를 하는 값을 반환한다면 While문으로 될 때까지 해보자.time.sleep을 넣고. 이전 1 다음