[크롤링 기초] svg 태그 찾기 (with xpath 셀레니움) 크롤링을 하다보면 내가 원하는 정보가 svg태그 안에 있는데, svg태그가 검색이 안되는 경우가 있습니다. 아래 태그는 인스타그램에 포함되어있는 좋아요 버튼을 나타내는 svg태그입니다. 분명 존재하죠? 하지만 검색하면 나오지가 않습니다. 왜그럴까요? 왜냐하면 다른 태그와 달리 svg태그를 찾는 방법이 다르기 때문입니다. //*[local-name()='svg'] svg태그는 //*[local-name()='svg'] 로 검색을 하셔야 합니다. 정말 되는지 볼까요? output : 아주 많은 태그가 검색된걸 알 수 있습니다. 이중에서 svg태그 안에있는 aria-label속성값이 "좋아요"인 태그를 뽑고 싶다면 어떻게할까요? (//*[local-name()='svg' and @aria-label="좋아요".. 파이썬/크롤링 2022. 4. 19. [python 기초] 셀레니움(firefox,IE,chrome 이용) 설치 및 사용법 requests 와 urllib 을 이용하여 크롤링을 하다보면 원하는 정보를 긁어오지 못하는 경우가 종종 있습니다. 이러한 상황이 발생되는 이유는 해당 웹페이지가 자바스크립트로 추가적으로 데이터를 불러들어오는 사이트(동적 웹페이지)일 가능성이 높습니다. 이러한 상황에서 'SELENIUM'이 좋은 해결책이 될 수 있습니다. 물론 셀레니움은 직접 웹 브라우저를 실행시켜 작동하기에 속도가 느린 단점이 있습니다. 이런 단점을 보완하기 위해선 requests와 urllib의 조합을 통해 효율적인 스크레이퍼를 만드시길 추천 드립니다. 1. 셀레니움 설치 터미널 창에서 "pip install selenium'을 입력한후 설치를 해줍니다. 2. 셀레니움 웹드라이브 설정 1 2 from selenium import we.. 파이썬/파이썬 기초 2020. 5. 15. [파이썬 기초] 셀레니움(selenium) NoSuchElementException , ElementNotVisibleException 에러 해결 방법 selenium을 통해 크롤링을 하면 'NoSuchElementException , ElementNotVisibleException ' 와 같은 에러를 자주 만나는데요. 이와 같은 에러가 발생하는 이유는 렌더링 되기전에 특정 요소를 찾으려고 했기 때문입니다. 쉽게 말해 아직 웹페이지가 준비도 안되었는데 정보를 긁으려고 하다보니 발생 되는 문제인것이지요. 이와 같은 문제를 해결하려면 어떻게 해야 할까요? 간단합니다. 웹페이지가 준비가 다 될때까지 기다려 주면 됩니다. 파이썬에서는 여러가지 '시간 대기 메소드'가 있는데요. 그 중에서 오늘 알려드릴 메소드는 time.sleep, 명시적대기(implicit wait), 암시적대기(explicit wait) 총 3개 입니다. 각각의 차이점 및 사용법을 알아보겠습.. 파이썬/파이썬 기초 2020. 5. 13. 이전 1 다음
