Octoparse

기술

Octoparse는 웹사이트의 비정형 또는 반정형 데이터를 코딩이 필요 없는 정형 데이터 세트로 변환하는 무료 클라이언트 측 Windows 웹 스크래핑 소프트웨어입니다.

웹에서 데이터를 수집하는 사용하기 쉬운 웹 스크래핑 도구입니다. Octoparse에서 실행되는 크롤러는 구성된 추출 규칙에 따라 결정됩니다. 추출 규칙은 Octoparse에 다음과 같이 알려줍니다. 어떤 웹사이트가 열려야 하는지; 크롤링하려는 데이터는 어디에 있습니까? 최대 10개의 동시 스레드를 수행하는 고속 데이터 수집을 제공합니다.

Windows 애플리케이션인 Octoparse는 Ajax를 사용하는 웹 페이지를 포함하여 정적 및 동적 웹 사이트에서 잘 작동합니다. CSV, EXCEL, HTML, TXT 및 데이터베이스(MySQL, SQL Server 및 Oracle)와 같이 원하는 다양한 내보내기 형식이 있습니다. Octoparse는 웹 페이지와 상호 작용하기 위해 인간의 작업을 시뮬레이션합니다.

양식 작성, 텍스트 상자에 검색어 입력과 같은 놀라운 기능을 사용하면 웹 데이터를 훨씬 쉽게 추출할 수 있습니다. 자체 머신(Local Extraction) 또는 클라우드(Cloud Extraction)에서 추출 프로젝트를 실행할 수 있습니다.

Octoparse는 매우 사용자 친화적이고 직관적인 시각적 작업 창을 제공합니다. Octoparse는 웹 페이지 열기, 계정 로그인, 텍스트 입력, 웹 요소 포인팅 및 클릭과 같은 인간의 웹 브라우징 동작을 시뮬레이션합니다. 내장된 브라우저에서 웹사이트의 정보를 클릭하고 추출을 수행하기만 하면 필요한 구조화된 데이터를 얻을 수 있습니다.

분산 컴퓨팅을 기반으로 웹을 동시에 대규모로 스크랩하는 것은 Octoparse의 가장 강력한 기능입니다. 구성 프로젝트를 클라우드에 업로드한 후 여러 클라우드 서버를 사용하여 동시에 추출을 수행하도록 선택할 수 있습니다. 짧은 시간에 10,000개의 웹페이지를 스크랩해야 한다면 옥토파스 클라우드 서비스가 가장 적합합니다.