[셀레니움 기초] 네이버 쇼핑 크롤링 중 차단?(headless 사용시 주의사항) 셀레니움을 사용하다보면 브라우저가 실제 눈앞에서 작동 되기 때문에, 상당히 번거로울 때가 많습니다. 이러한 문제를 해결하기 위해 많은 분들이 headless 옵션을 사용하시는데요. (headless 사용법을 모르시는 분은 해당 포스팅을 참조하시기 바랍니다.) 하지만 headless를 사용하면 해당 웹서버에 내가 크롤링을 하고 있다는 정보가 노골적으로 노출되게 됩니다. 다시말하면 해당 웹페이지에서 우리 ip를 차단할 확률이 높아진다는것이죠. 네이버 크롤링 중 ip 차단 일례로 저는 최근 headless상태로 네이버 쇼핑을 크롤링을 하는데 5분도 지나지 않아 차단이 된 경험이 있습니다. 차단이 되었을때 발생되는 에러메세지는 아래와 같습니다. 실제로 저희 집 wifi ip연결된 기기로 해당 쇼핑 웹사이트에 접.. 파이썬/크롤링 2022. 4. 7. [selenium 기초] 셀레니움 ~ is not clickable at point ~ 오류 해결 방법 이번 포스팅에서는 ~ is not clickable at point ~ 문구로 오류가 발생할 경우 어떻게 해결 해야 하는지 알아 볼게요. 에러 문을 보면 알수 있듯 해당 부분을 셀레니움으로 클릭할 수 없다는 내용입니다. 분명 클릭할 수 있는 부분인것 같은 데 왜 클릭이 안되지 라는 의문이 드시는 분들이 있을 것 같은데요. 이건 태그 특성상 클릭이 안되는 부분일 가능성이 높습니다. 예를 통해 설명을 드려보겠습니다. 저는 네이버 쇼핑몰에서 해당 더보기 버튼을 누르고 싶습니다. 개발자창을 확인해보니, "더보기"라는 text가 있으니까 저부분을 클릭 하면 되겠라고 생각하고 해당부분을 scraping 합니다. 참고로 해당 부분을 xpath로 가져오려면 //*[text()="연관검색어"] 입니다. (xpath에 대.. 파이썬/크롤링 2022. 4. 6. 이전 1 다음
