WebLight

기술

WebLight는 xml 사이트맵을 효율적으로 유지 관리하고 마크업, CSS 및 링크 문제를 찾아 생산성을 저하시키지 않으면서 오류가 없고 완전히 색인화된 사이트를 유지할 수 있도록 하는 웹 크롤러입니다. WebLight의 핵심은 전체 사이트, 심지어 매우 큰 사이트라도 쉽게 검증하고 매핑할 수 있는 빠른 웹 크롤러입니다. WebLight에 시작 위치를 지정하고 robots.txt와 같은 규칙을 사용하여 유효성을 검사하는 리소스와 연결되는 링크를 제어하기만 하면 됩니다. 원하는 모든 리소스를 스캔하고 원하지 않는 리소스는 스캔하지 않는 데 필요한 만큼의 시작 URL과 규칙을 사용할 수 있습니다. 공개 html 페이지만 스캔하는 대부분의 웹 크롤러와 달리 WebLight는 로컬 디스크, 공개 및 비공개 웹 사이트에서 CSS, (x) html, atom, RSS 및 xml 사이트맵과 같이 가장 일반적으로 사용되는 웹 리소스를 스캔할 수 있습니다. 찾아볼 수 있으면 WebLight가 분석할 수 있습니다.

WebLight는 크롤링하는 동안 CSS, html, 뉴스 피드 및 사이트맵을 확인하는 링크 검사기와 같습니다. 그러나 WebLight는 다른 유효성 검사기처럼 비표준 코드와 끊어진 링크만 찾는 것이 아니라 유효성 검사 문제의 클래스를 분류하여 의도적으로 사용하는 비표준 코드로 인해 발생하는 노이즈에 주의를 분산시키지 않고 실제 문제를 찾을 수 있도록 합니다. 브라우저 특정 CSS 속성 및 WAI-ARIA 속성, 또는 수정하지 않기로 선택한 기타 문제. WebLight를 사용하면 검색 엔진이 사이트를 효율적으로 색인화하는 데 도움이 되는 xml 사이트맵을 쉽게 유지 관리할 수 있습니다. 스캐너는 뉴스 피드, 사이트맵 및 기타 문서에서 연결된 모든 문서를 찾습니다. 그런 다음 인터페이스와 같은 WebLight의 스프레드시트를 사용하여 URL의 우선 순위, 변경 빈도 및 마지막 수정 날짜를 설정하고 사이트맵을 사용자 정의할 수 있습니다. 마지막으로, 사이트맵이 준비되면 WebLight는 검색 엔진에 ping을 보내서 가능한 한 빨리 새 페이지를 색인화할 수 있습니다.