vba 네이버 인기검색어 스크래핑

이전글 엑셀 vba 스크래핑와 vba 문자열 파싱 함수을 조합하여 네이버에서 인기검색어 데이터를 가져와보자

크롬 개발자도구에서 Network를 살펴보면 인기검색어를 비동기로 가져오는 것을 볼 수 있다.

헤더탭을 보면 Request URL, Request Metohd 값이 있다.

헤더에서 Request URL을 복사하여 접속해본다.

이 때, 데이터가 잘 보이는 경우가 있고 안보이는 경우가 있다. 안보이는 경우는 “Request Method” 값이 post이거나 접근권한이 없을 때이다. 그런 경우는 나중에 다루기로 한다.

Sub populer_scraping()

    Set Winhttp = CreateObject("WinHttp.WinHttpRequest.5.1")
    Winhttp.Open "GET", "https://www.naver.com/srchrank?frm=main&ag=30s&gr=0&ma=-2&si=-2&en=2&sp=-2"
    Winhttp.Send
    HTML = Winhttp.ResponseText
    
    str_start = "keyword" & Chr(34) & ":" & Chr(34)
    str_end = Chr(34)
    
    total_cnt = TextCount(HTML, str_start)

    For i = 1 To total_cnt
        Cells(i, 1) = TextFind(HTML, str_start, str_end, i, 1)
    Next

End Sub

이런 방식으로 각종 포털사이트에서 인기검색어를 스크래핑해와서 보여주는 플랫폼을 만들수 있을 것 같다.