https://codegarden-farmjun.tistory.com/73 [Java] Jsoup을 사용해서 크림(KREAM) 웹 스크래핑하기 Jsoup을 사용하게 된 이유 현재 진행 중인 앱런칭 프로젝트에서 리셀 상품들의 데이터가 필요하게 됐습니다. 팀원들과 회의 결과 데이터의 크기가 가장 거대하고 신뢰가는 데이터들이 존재하는 codegarden-farmjun.tistory.com 이전 글과 내용이 이어지므로, 해당글의 내용을 이해를 돕기 위해 먼저 읽으면 도움이 될 것입니다. Selenium을 사용하게 된 이유 크림에서 누적 거래 데이터를 스크래핑하기 위해서는 사이트 로그인이 필수였습니다. Jsoup으로 로그인 후 데이터를 스크래핑하기 위한 코드를 짜보고 싶었지만, 생각보다 잘 구현이 되지 않아 막막..
크롤링
Jsoup을 사용하게 된 이유 현재 진행 중인 앱런칭 프로젝트에서 리셀 상품들의 데이터가 필요하게 됐습니다. 팀원들과 회의 결과 데이터의 크기가 가장 거대하고 신뢰가는 데이터들이 존재하는 크림(KREAM)사이트를 스크래핑하여 데이터들을 모으기로 했습니다. https://kream.co.kr/ KREAM | 한정판 거래의 FLEX 한정판을 거래하는 가장 확실한 방법 kream.co.kr 스크래핑을 어떤 기술을 사용하여 진행할지 결정해야했습니다. 아무래도 웹 스크래핑이 처음이다보니 다양한 라이브러리들을 사용해본 후 결정하기로 했습니다. 그래서 먼저 Jsoup 라이브러리를 사용해 스크래핑을 진행했습니다. IntelliJ IDEA에서 Jsoup 라이브러리 추가하기 https://jsoup.org/download..