아마존과 쿠팡이 쓰는 툴이 한국 SW였다 : 개발자 필요없는 크롤링 서비스 리스틀리 사용기

조회수 2021. 1. 12. 13:30 수정
번역beta Translated by kaka i
번역중 Now in translation
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 다양한 분야의 재밌고 유익한 콘텐츠를 카카오 플랫폼 곳곳에서 발견하고, 공감하고, 공유해보세요.

엄청난 양의 데이터를 두세 번의 클릭으로 해결할 수 있다!

직장인에게 데이터 정리는 필수다. 데이터 양이 많아지면 웹사이트에서 엑셀로 복붙하는데는 한계가 있다. 자동화가 필요한데, 제품 개발에 바쁜 개발자에게 부탁하려니 눈치가 보인다. 그렇다고 직접 파이썬으로 크롤링하려니 배우고 오류나고… 이게 더 큰 비용이다.


이를 두세번의 클릭으로 처리할 수 있는 툴이 리스틀리다. 다들 해외 서비스인 줄 알았지만, 국내에서 개발된 서비스다. 이미 아마존과 쿠팡 등 주요 기업들이 쓰고 있는, 리스틀리 체험 간증기를 모아보았다.

최근에는 한 대회에서 미국 스타트업을 꺾고 우승하기도 했다.

이런 작업을 리스틀리 클릭 두세번으로 끝낼 수 있다
1. 원클릭에 모든 제품을 긁어준다

물건을 팔려면 경쟁업체 분석이 필요하다. 커머스 업체는 매일같이 네이버 쇼핑과 쿠팡에서 키워드를 검색하고, 인턴 1명이 ‘하루 종일’ 엑셀로 옮긴다. 리스틀리는 이를 10분만에 끝내준다.

네이버에서 가격 등 검색 조건들을 입력하고,
크롬 익스텐션 리스틀리의 LISTLY WHOLE을 클릭하면…
바로 엑셀파일로 완성된다…

2. 스크롤도 알아서 해준다

네이버 지식쇼핑은 마우스를 아래로 스크롤하면 상품이 더 나온다. 리스틀리는 이런 스크롤도 자동 지원한다. 그냥 설정 가서 자동스크롤 횟수만 지정하면 끝이다.

여기서 스크롤 회수만 지정해 주면…
자동으로 스크롤해서 데이터를 긁어다 준다

3. 데스크탑에서 모바일 모드로 크롤링도 쌉가능

데스크탑과 모바일은 노출 형식과 순서가 다르기에 따로 수집해야 한다. 그런데 데스크탑에서 모바일 주소로 접속해도, 자동으로 데스크탑 페이지로 전환시키는 게 요즘 트렌드다. 상관 없다.

출처: 리스틀리 서비스 바로가기
리스틀리 설정에서 모바일 클릭 한 번이면 끝

4. 원하는 특정 파트만 크롤링할 수도 있다

당연히 웹페이지 전체가 아닌 부분만 필요할 때가 있다. 이때는 전체가 아닌 부분만 긁으면 된다. 방법은 간단하다.

LISTLY WHOLE이 아닌, 아래의 LISTLY PART를 누르면 끝

이 기능이 특히 유용한 것은, iframe 내부 데이터도 수집할 수 있기 때문이다. LISTLY PART를 선택한 후 iframe 영역에 가면, 자동으로 iframe 표시가 뜬다. 그때 클릭하면 iframe 내부 데이터도 수집할 수 있다.

이 iframe을 클릭하면…
이렇게 리뷰를 한 번에 긁을 수 있다

5. 수십 페이지를 한 번에 긁어준다

세상은 넓고, 경쟁사와 제품은 많다. 웹페이지는 하나 긁는다고 끝이 아니라 수십 페이지를 긁어야 할 일이 많다.

페이지 하나하나 들어가는 건 보통 일이 아니다

리스틀리에서는 이 역시 한 번에 스크래핑이 가능하다. 아래와 같이 2페이지, 3페이지 등의 주소를 넣어주면 이걸 한번에 긁어준다.

역시나 크롬에서 리스틀리 버튼을 눌러주고,
URL의 페이지 넘버만 바꿔주면, 모든 페이지를 긁는다

6. 그 수십 페이지 안의, 모든 상세페이지를 한 번에 긁어준다!!!

가장 미쳤다고 생각할 기능이다. 리스틀리에는 하이퍼링크도 함께 뽑아주는 옵션이 있다. 이를 활용하면, 목록 속의 모든 상세페이지를 한 번에 긁을 수 있다.

각 페이지 안마다 수십 개의 제품이 있다, 원클릭으로 각 페이지에 있는 모든 제품을 스크래핑할 수 있다
엑셀의 A열은 상품 썸네일 파일명, B열은 그에 따른 상품 상세페이지 링크
여기서 B열(상품 상세페이지 링크)을 복붙해서 리스틀리로 옮기면… 모든 상세페이지를 한 번에 긁을 수 있다
출처: 리스틀리 서비스 바로가기
박람회 정보를 한 번에 긁어 영업에 활용할 수도 있다

7. ‘더 보기’ 버튼도 자동으로 눌러서 수집해준다

쿠팡은 상세페이지가 지저분하지 않도록 ‘상품정보 더보기’ 버튼이 존재한다. 제품 페이지 하나하나 ‘더보기’ 버튼을 누르면 끝이 없다. 리스틀리는 이것도 자동으로 누르고 수집해준다.

여기서 맨 아래 inspect를 클릭한 후,
Copy selector를 클릭하고,
이를 리스틀리에 붙여 넣으면 끝이다

8. 이미지도 스크래핑할 수 있다

아래 이미지는, 위의 방식으로 쿠팡 상세페이지의 ‘이미지 주소’를 긁은 것이다. 이처럼 텍스트 뿐 아니라 이미지도 한두번 클릭으로 수집할 수 있다.

이는 전세계적으로 많은 사용자가 이용하고 있다. 자료수집 뿐 아니라, 쿠팡에서 긁어 아마존에 팔거나, 아마존에서 긁어 한국에 팔거나 등, 커머스에 유용하게 활용할 수 있기 때문이다.

이런 프로그램에 저 주소를 복붙하면 끝!
아마존도 버튼 한 번으로 수집 가능하다

9. SNS 댓글도 수집할 수 있다

소셜미디어 담당이나 대행사 직원들은 이벤트 때마다 당첨자 취합에 힘들어한다. Ctrl+c / ctrl+v 도 짜증나는데, 계속해서 더보기를 클릭해야 한다. 혹시라도 빠진 댓글 없는지 확인도 해야 한다.

리스틀리는 저 빨간 부분을 자동으로 눌러준다

리스틀리의 ‘더 보기’를 자동으로 눌러주는 기능을 활용해 놓침 없이 모든 댓글을 긁을 수 있다. 인스타 뿐 아니라 페이스북에서도 이 기능을 활용 가능하다.


끝판왕. 커스터마이제이션까지 되는 유료 버전

아무리 잘 만든 툴이라도 모든 걸 해결할 수는 없다… 아니, 있다. 왜냐면 회사에서 겪는 어려움을 리스틀리에 문의하면 커스터마이징을 해준다. 마우스 스크롤, 더 보기 버튼 클릭을 넘어, 각종 조건을 건 데이터도 크롤링이 가능하다

위 기능 중 일부는 월 9만원 유료 버전에서만 사용 가능하다. 단순한 수준의 데이터 수집은 무료로 충분하지만, 좀 더 복잡하거나 회사에서 반복적으로 수행할 업무는 유료 버전을 활용하는 쪽이 좋다. 혹시라도 금액이 부담스럽다면 비대면 바우처를 통해 월 8천원대에 활용 가능하다.


리스틀리 서비스 바로가기

리스틀리 최창민 대표 인터뷰 바로가기


이 콘텐츠에 대해 어떻게 생각하시나요?