
이전 포스팅에 이어서 실전 코드를 작성했습니다.🫡 ◾Web Scraping Problems 🔻Limitation of chrome test browser - 이전 포스팅에 작성한 문제점 때문에 한 번에 2018-01-01 부터 2023-12-31 까지의 모든 뉴스 기사를 스크래핑하는 것은 불가능하다. - 아래 사진과 같이 크롬에서 뉴스 탭 메뉴를 선택하면 기존에 무한 스크롤로 컨텐츠를 보여주던 페이지가 고전적인 페이지 네비게이터를 이용한 페이지로 바뀐다. 🔻Downloading Error - 뉴스 기사의 본문을 추출하는 것이 최종 과제인데 newspaper 라이브러리의 Article 클래스의 download() 함수가 될 때도 있고 안 될 때도 있어서 우선 뉴스 기사들의 url을 수집한 다음 뉴스 기사의..