• 

  [셀레니움 기초] 네이버 쇼핑 크롤링 중 차단?(headless 사용시 주의사항) 셀레니움을 사용하다보면 브라우저가 실제 눈앞에서 작동 되기 때문에, 상당히 번거로울 때가 많습니다. 이러한 문제를 해결하기 위해 많은 분들이 headless 옵션을 사용하시는데요. (headless 사용법을 모르시는 분은 해당 포스팅을 참조하시기 바랍니다.) 하지만 headless를 사용하면 해당 웹서버에 내가 크롤링을 하고 있다는 정보가 노골적으로 노출되게 됩니다. 다시말하면 해당 웹페이지에서 우리 ip를 차단할 확률이 높아진다는것이죠. 네이버 크롤링 중 ip 차단 일례로 저는 최근 headless상태로 네이버 쇼핑을 크롤링을 하는데 5분도 지나지 않아 차단이 된 경험이 있습니다. 차단이 되었을때 발생되는 에러메세지는 아래와 같습니다. 실제로 저희 집 wifi ip연결된 기기로 해당 쇼핑 웹사이트에 접.. 파이썬/크롤링 2022. 4. 7.

• 

  [셀레니움 기초] StaleElementReferenceException 오류 해결 StaleElementReferenceException: stale element reference: element is not attached to the page document 다른 블로그 포스팅에서 time.sleep() 주면 해결된다고 하는데 여전히 문제가 해결이 되시지 않는다면, 이 포스팅이 도움이 되실겁니다. 제가 원하는 바는 아래와같이 네이버 쇼핑 검색창에 슬리퍼를 입력하고, 다시 그 부분을 지우고 싶었습니다. search_keyword = driver.find_element(by=By.XPATH, value='//input[@title="검색어 입력"]') search_keyword.send_keys(keyword) search_keyword.send_keys(Keys.RETURN) se.. 파이썬/크롤링 2022. 4. 7.