[Python] 크롤링 CloudFlare 우회 requests

 

 

크롤링을 하다 보면 CloudFlare로 인한 봇 차단 페이지를 맞닥뜨리게 된다.

 

 

간단한 해결법이 있다.

 

 

pip install cloudscraper

 

 

 

먼저 모듈을 설치한다.

 

 

def scrap(url):
    scraper = cloudscraper.create_scraper()
    a = scraper.get(url).text
    return a

 

 

 

 

a = scrap('우회할URL')

print(a)

 

 

 

이렇게 하면 해당 url을 request 한 것과 동일한 내용이 나온다.

물론 CloudFlare를 우회한 상태로 말이다.

 

 

만약 계속해서 봇탐지를 하는 값을 반환한다면

 

While문으로 될 때까지 해보자.

time.sleep을 넣고.