데이터를 한눈에 볼 수 있는 무료 웹 크롤링 프로그램 탑 10

2022.08.02 11:05

luoyan

조회수 2,830

댓글 4

   오늘 제일 많이 사용되는 국내외 웹 크롤러 탑10을 소개할까 하는데요. 웹 크롤링 도구는 홈페이지에서 유효한 정보를 추출하기 위해 개발된 프로그램으로 웹사이트에서 특정 데이터를 수집하려는 사람들이 주로 사용하는 도구입니다. 특히 오늘 소개할 크롤링 도구중에 코드 기술이 필요없는 도구도 있으니까 주의깊게 봐주세요. (소개순서랑 순위는 무관)

1. ScrapeStorm 

scrapestorm.com


  • 특점:

      ①windows/mac/linux 지원
      ②수천 개의 웹 페이지를 한 번에 등록하고 한 장의 엑셀 시트에 모두 담아낼 수 있음

      ③사진,동영상의 수집이 가능하며 동시에 다운로드도 가능
      ④상세 페이지의 데이터까지 수집 가능하고 웹 페이지 인식 기능이 있어 원하는 만큼 데이터를 수집할수 있음

      ⑤Excel、Txt、Csv、Html 파일로 통합가능

  • 단점:

      ①무료 버저은 스케쥴러 기능이 없음

      ②페이지 방문시 IP 주소 변경 불가

  • 가격:  무료판; 6만/매달
  • 사용 난이도:  낮음, 코드 기술 필요 없음

2. Octoparse

octoparse.com


  • 특점:

      ①코드 작성이 필요 없는 시각화 작업

      ③외부 서비스 또는 외부 데이터베이스와 통합 가능

      ②시간을 설정하여 일정한 주기로 자동 수집

      ④클라우드 서비스 제공

  • 단점:

      ①한번에 많은 웹 페이지 수집시 작동시 시간이 많이 필요함

      ②추출 수량이 한정적임

  • 가격:  무료판;  11만/매달
  • 사용 난이도:  낮음, 코드 기술 필요 없음

3. Pashanhu

51pashanhu.com

  • 특점:

      ①조작 방식이 간단한 시각화 작업

      ②대량의 사이트 수집 템플릿이 있어 원 클릭으로 데이터를 불러올수 있음

      ③대량 페이지 자동 인식

  • 단점:

      ①추출 수량이 한정적

      ②외부 데이터베이스와 통합 불가능

      ③txt파일로만 추출 가능

  • 가격:  무료판;  9만/매달
  • 사용 난이도:  낮음, 코드 기술 필요 없음

4. Gooseeker 

gooseeker.com

  • :

      ①브라우저 확장 프로그램

      ②금액을 지불한 회원들은 서로 추출을 도울수 있는 프로그램이 있음

      ③대량의 사이트 수집 템플릿이 있음 

  • 단점:

      ① 수집한 데이터를 클라우드에 저장 불가

      ②무료 버전의 기능이 적음

  • 가격:  무료판;  7만/매달
  • 사용 난이도:  높음, 간단한 코드 지식이 있는 분에게 적합 

5. Hashscraper

hashscraper.com

  • :

      ①텍스트분석,형태소분석과 감정분석이 가능

      ②동적 웹 스크래핑 지원

      ③고화질 이미지 다운로드 가능

      ④얼굴,테스트의 이미지분석이 가능

  • 단점:

      ①1페이지에 최대 30컬럼까지 수집,초과 30칼럼 당 단가 추가

      ②동영상 수집 및 다운로드 불가

      ③모든 기능이 유료

  • 가격:  3만/매달
  • 사용 난이도:  낮음, 코드 기술 필요 없음

6. APIFY

apify.com

  • 특점:

      ①windows/mac/linux 지원

      ②대량의 사이트 수집 템플릿이 있음

      ③클라우드 크롤링 프로그램 지원

  • 단점:

      ①크롤링 방식이 복잡하여 코드기술이 필요함

      ②무료판이 제공하는 기능이 적음

  • 가격:  무료판; 6만/매달
  • 사용 난이도:  높음, 간단한 코드 지식이 있는 분에게 적합 

7. Mozenda

mozenda.com

  • 특점:

      ①코드 기술이 필요없는 간단한 수집 방식

      ②원하는 대로 코드 변경 가능

      ③추가 데이터 클리닝 도구 제공

  • 단점:  소프트웨어 방문수량 제한
  • 가격:  무료판; 문의
  • 사용 난이도:  낮음, 코드 기술 필요 없음

8. Web scraper 

webscraper.io

  • 특점:
    ①브라우저 확장프로그램
    ②수집 속도 빠름
  • 단점:
    ①텍스트 형식의 데이터만 수집 가능

       ②동적 웹 사이트의 스크래핑이 불가능

       ③한페이지만 크롤링 가능

  • 가격:  무료판; 7만/매달
  • 사용 난이도:  높음, 간단한 코드 지식이 있는 분에게 적합

9. Listly  

listly.io

  • 특점:

      ①페이지 방문시 IP주소 변경 가능

      ②브라우저 확장프로그램으로서 필요할 때 즉시 사용 가능

      ③원하는 요일과 시간을 설정하면 시간에 맞춰 데이터를 자동으로 추출

  • 단점:

       ①많은 기능은 유료로 제공됨

       ②동시에 여러개의 웹 사이트 수집 불가

       ③많은 페이지를 크롤링할 경우 속도가 느려짐

  • 가격: 무료판; 9만만/매달
  • 사용 난이도: 낮음, 코드 기술 필요 없음 

10. Parsehub 

parsehub.com

  • 특점:
    ①windows/mac/linux 지원
    ②수천 개의 링크와 키워드를 입력하면이 링크와 닫힘 찾기키워드
  • 단점:
    ①텍스트만 수집 가능
    ②클라우드 수집을 지원하지 않는 느린 속도
    ③높은 가격
  • 가격: 무료판; 20만/매달
  • 사용 난이도: 낮음, 코드 기술 필요 없음
마케팅 웹크롤링 웹마스터도구 데이터수집 ScrapeStorm

스크랩

공유하기

신고

하트 아이콘박톤님 외 2명이 좋아합니다.

목록글쓰기
댓글 4
댓글 새로고침

로그인 후 더욱 많은 기능을 이용하세요!

네이버 계정으로 로그인
페이스북 계정으로 로그인
구글 계정으로 로그인
카카오톡 계정으로 로그인
이메일 또는 아이디로 로그인
X
회원가입ID/PW 찾기 소셜 계정 로그인