[Java] Jsoup을 사용해서 크림(KREAM) 웹 스크래핑하기

Jsoup을 사용하게 된 이유

현재 진행 중인 앱런칭 프로젝트에서 리셀 상품들의 데이터가 필요하게 됐습니다.

팀원들과 회의 결과 데이터의 크기가 가장 거대하고 신뢰가는 데이터들이 존재하는 크림(KREAM)사이트를 스크래핑하여 데이터들을 모으기로 했습니다.

https://kream.co.kr/

KREAM | 한정판 거래의 FLEX

스크래핑을 어떤 기술을 사용하여 진행할지 결정해야했습니다. 아무래도 웹 스크래핑이 처음이다보니 다양한 라이브러리들을 사용해본 후 결정하기로 했습니다. 그래서 먼저 Jsoup 라이브러리를 사용해 스크래핑을 진행했습니다.

 

 

IntelliJ IDEA에서 Jsoup 라이브러리 추가하기

https://jsoup.org/download

Download and install jsoup

링크에 접속해서 jsoup-1.15.3.jar core library를 다운 받아주세요!

 

이제 적용할 프로젝트로 넘어와서 라이브러리를 추가해줍시다.

본인은 인텔리제이에서 Gradle 기반으로 개발을 진행하기 때문에 이 기준으로 진행했습니다.

다른 환경이신 분들은 알맞게 라이브러리를 추가해주세요!

Projcet Structure(단축기 command + ; )

-> Modules

-> main

-> + 클릭

-> 1. JARs or Directories... 클릭

-> 다운 받은 jsoup-1.15.3.jar 추가해주기

 

 

스크래핑 할 데이터

1. 브랜드

2. 상품명

3. 상품 url

4. 모델번호

5. 출시일

6. 컬러

7. 발매가

8. 누적 거래 가격

9. 누적 거래 체결 날짜

 

스크래핑할 데이터들이 9개가 있습니다. 

 

코드

스크래핑할 URL 주소와 Jsoup 객체들을 선언해줍니다.

https://kream.co.kr/products/10000

(GS) Nike Air Max Plus Silver Bullet

 

~~공사중~~

 

 

 

전체코드

package jsoup.test;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Crawling {
    public static void main(String[] args) {
        String[] productInfo = new String[]{"모델번호 : ", "출시일 : ", "컬러 : ", "발매가 : "};
		
        //상품번호 10000번부터 10010번까지 스크래핑
        for (int productNum = 10000; productNum <= 10010; productNum++) {

            final String url = "https://kream.co.kr/products/10000";

            try {
                Connection conn = Jsoup.connect(url);
                Document document = conn.get();
                //상품 이미지 URL
                Element imageUrl = document.getElementsByAttributeValue("alt", "상품 이미지").first();

                //브랜드
                Element brand = document.getElementsByClass("brand").first();

                //상품명
                Element title = document.getElementsByClass("sub_title").first();

                //상품정보
                Elements info = document.getElementsByClass("product_info");

                System.out.println("productNumber : " + productNum);
                System.out.println("상품 이미지 URL : " + imageUrl.attr("abs:src"));
                System.out.println("브랜드 : " + brand.text());
                System.out.println("상품명 : " + title.text());
                for (int infoIdx = 0; infoIdx < info.size(); infoIdx++) {
                    System.out.println(productInfo[infoIdx] + info.get(infoIdx).text());
                }
                System.out.println("---------------------------");
            } catch (Exception e) {
            }
        }
    }
}

 

 

결과

> Task :Crawling.main()
productNumber : 10000
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------
productNumber : 10001
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------
productNumber : 10002
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------
productNumber : 10003
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------
productNumber : 10004
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------
productNumber : 10005
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------
productNumber : 10006
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------
productNumber : 10007
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------
productNumber : 10008
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------
productNumber : 10009
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------
productNumber : 10010
상품 이미지 URL : https://kream-phinf.pstatic.net/MjAyMDEwMjJfMjg3/MDAxNjAzMzMzOTQ2MzY4.DKwZf6qD_YSBJ6f9zroe1Q3w_CyIYwJwGWb0XElFWcEg.m2SYP073KQv-Y6wi1CulxlxMvA3ZM50gxkd_xphDGyUg.PNG/p_10000_0_64f83da935834870913935b786d1b48c.png?type=l
브랜드 : Nike
상품명 : (GS) 나이키 에어맥스 플러스 실버불렛
모델번호 : 921073-001
출시일 : 17/04/14
컬러 : METALLIC SILVER/UNIVERSITY RED-BLACK-WHITE
발매가 : $120 (약 149,800원)
---------------------------