[Java] 웹 크롤링 (web Crawling)

웹 크롤링이란?

다양한 정보 자원을 자동화된 방법으로 수집해서 분류 및 저장하는 것

 

웹의 다양한 정보를 자동으로 검색하고 데이터로 추출하기 위해 사용된다. 

 

정적 크롤링 

-> 웹 페이지에만 접근 

페이지에 직접 작성된 데이터만 접근 가능하다. 

"페이지 소스 코드보기 " 로 보이는 데이터만 가져오는것 

ex) jsoup

 

동적 크롤링

-> 웹 페이지가 참조하는 데이터까지 접근가능 

본 서버의 데이터를 암호화(은닉) 했다면 접근 불가능

ex) 셀레니움 (웹 포트폴리오 작업을 할때 주로 사용) 

 

Documents

Documents란 웹 페이지의 화면 문서를 의미합니다. 

 

Jsoup에 대해 알아보기전에  

먼저 parser에 대해 알아야 합니다.

그런데 parser라는 개념은 처음 듣는 사람들이 많을 것입니다. (저도 처음 들었습니다..) 

그러니 이제부터 parser에 대해 알아봅시다. 

 

Parsing이란? 

어떤 큰 자료에서 원하는 정보만 가공하고 뽑아서 원하는 때에 불러올 수 있게 하는것입니다. 

그리고 parsing을 수행하는 프로그램을 parser라고합니다. 

 

Jsoup이란? 

자바로 만들어진 HTML 파서(parser)입니다. 

 

jsoup은 자바 언어로써 HTML을 다루기 쉽고 , 강력한 기능을 제공합니다. 

 

jsoup으로 할 수 있는 작업

• URL, 파일, 문자열을 소스로 하여 HTML을 파싱
• 문서내의 HTML 요소, 속성, 텍스트를 조작 
• 깔끔한 형태의 HTML을 출력 

 

jsoup 다운로드 

이 링크를 통해 자신에게 맡는 jsoup을 다운로드 받아주세요. 

https://search.oracle.com/kr/results?q=jsoup&size=10&page=1&tab=all&app=site

 

 

jsoup 연결하는 방법

1 . 연결하고자 하는 파일 우클릭 -> [Properties] 

 

2 . Java Build Path 클릭 

 

3 . Libraries -> Modulepath -> Add External JARs 

 

 

 

4 . [ jsoup-1.18.1.jar ] - > Open 

 

 

 

 

5. jsoup을 Modulepath에서 Classpath로 이동 

 

 

 

6. Apply -> apply and Close 까지 하면 끝 입니다. 

 

 

 

 

웹 크롤링 코드 

public class CrwalingTask {
     public static void main(String[] args) {
   
    	      String url="https://www.melon.com/";
    	      // 웹 페이지에서 "index"란, 표지 페이지(첫 페이지)를 의미함
    	      
    	      Connection conn = Jsoup.connect(url);
    	      // Jsoup으로 url 연결시도
    	      // 연결객체가 반환됨
    	     
    	      
    	      try {
    	         Document doc = conn.get();
    	         
    	         Elements elems= doc.select("div.list_wrap.typeRealtime");
    	         
    	         for(Element elem:elems) {
    	            System.out.println(elem.text());
    	         }
    	      } catch (IOException e) {
    	         System.out.println("연결중 에러발생!");
    	      }
    	    
    	         
    	      
    	   }

	}

 

이런식으로 크롤링하고 하는 사이트의 URL을 적어두고 

개발자 모드에서 크롤링할 부분을 클릭하여 그 부분을 doc.select() 부분에 적습니다. 

 

 

 

이런식으로 개발자모드로 크롤링하고 싶은 부분을 클릭하고

클릭했을때 나오는 부분을 틀리는 부분 없이 똑같이 입력합니다. (div.list_wrap.typeRealtime)

 

그다음 출력을 해보면 

 

이런식으로 아까 멜론차트에서 보였던 순위가 그대로 출력이 되는걸 보실 수 있습니다. 

 

봐주신 분들 모두 감사합니다.