구글 검색 엔진은 어떻게 검색을 할까요?
구글 크롤러
구글 크롤러, 구글 봇
- 웹사이트를 끊임 없이 스캔하고 콘텐츠의 색인을 생성하는 자동 탐색기
- 구글 봇 및 기타 엔진은 구글의 크롤러
웹 크롤러
웹 크롤러, 스파이더, 봇
- 웹 데이터를 찾아 수집하는 컴퓨터 생성 프로그램
- 웹사이트 색인 생성, 웹사이트 변경사항 모니터링, 데이터베이스에서 데이터 수집 등의 기능
구글 봇
구글은 다양한 도구(크롤러 및 페처)를 사용해 웹에 대한 정보를 수집
- 크롤러는 한 페이지에서 다른 페이지로 연결되는 링크를 따라가면서 웹사이트를 자동으로 검색하고 스캔
구글 봇(Googlebot)
- 구글에서 사용하는 중앙 크롤러
- 더 나은 검색 결과를 위해 구글의 검색 인덱스를 구축하고 웹사이트를 분석
- 웹사이트 소유자의 기본 설정을 존중하기 위해
robots.txt파일에 지정된 지침을 따름
페처
- 웹 브라우저처럼 작동하는 도구
- 사용자의 요청이 있을 때 하나의 웹페이지를 요청
- 이미지나 동영상을 크롤링하고 사용자 요청에 따라 콘텐츠를 가져오는 등의 특정 작업에도 페처 사용
구글 크롤러의 작동 방식
구글 크롤러는 크롤링(crawl), 색인 생성(index), 검색 결과 제공(SERPs)의 세 가지 필수 단계로 구성
1. 크롤링
구글 봇이 새 페이지를 발견하는 방법
- Googlebot이 페이지를 방문
- 임베드된 링크를 따라 새로운 목적지로 연결
- 웹사이트 소유자는 사이트맵을 제출할 수 있음
사이트맵
- 구글이 크롤링하기를 원하는 페이지 목록
- 크롤러가 해당 페이지를 찾아 색인에 포함시키는 데 도움
2. 인덱싱
색인 생성
- 콘텐츠를 분석하여 해당 정보를 구글의 방대한 DB인 구글 색인에 저장
- 텍스트, 이미지, 동영상, 주요 콘텐츠 태그, 제목 요소 및 대체 속성과 같은 속성을 포함해 웹페이지 콘텐츠의 다양한 측면을 분석
- 페이지를 검토하여 관련성을 파악하고 색인 내에서 페이지를 어떻게 분류해야 하는지 결정
- 이 분석 과정에서 구글은 중복 페이지 또는 동일한 콘텐츠의 대체버전(모바일 친화적인 버전 또는 다른 언어 변형)도 식별
3. 서빙 검색 결과
웹페이지를 크롤링하고 색인 생성 후 마지막으로 검색 결과를 제공
- 관련성은 검색 결과를 결정하는 데 중요한 요소
- 웹페이지의 콘텐츠, 메타데이터, 사용자 신호, 웹사이트의 전반적인 평판 및 권위 등이 포함
- 검색 결과는 사용자의 위치, 언어, 디바이스(데스크톱 또는 모바일) 등 여러 요인에 따라 달라질 수 있음
- 사용자의 검색어와 관련된 특정 검색 기능도 고려
구글 크롤러 최적화를 위한 모범 사례
구글 크롤러를 위해 웹사이트를 최적화하는 것은 구글 검색 결과에서 웹페이지를 검색, 색인화 및 순위를 매기는 데 매우 중요
기술 최적화
- 사이트 구조 최적화
- 명확하고 설명이 포함된 URL을 사용해 논리적이고 체계적인 페이지 계층 구조 만들기
- 콘텐츠를 관련 카테고리 및 하위 카테고리로 구성
- 내부 링크를 구현해 일관된 웹사이트 구조를 구축
Robots.txt파일- 검색 엔진 크롤러에게 크롤링할 페이지와 제외할 페이지를 지시
- 적절하게 구성해 웹사이트의 특정 부분에 대한 크롤러의 액세스를 제어하고,
- 필수 페이지의 크롤링 우선순위를 지정하고, 중복되거나 민감한 콘텐츠의 크롤링을 방지
- 표준 속성
- 중복 콘텐츠 및 URL 매개변수 처리하기
- 표준 태그를 구현
rel="canonical"속성을 사용해 페이지의 기본 버전을 지정하고 잠재적인 중복 콘텐츠 문제를 방지
- XML 사이트맵
- Google Search Console에 제출
- 크롤러가 모든 웹 페이지를 효율적으로 검색하고 색인화하며,
- 색인화할 특정 페이지의 우선순위를 지정하는 데 도움
콘텐츠 최적화
- 사이트 가시성을 극대화하는 데 중요
- 글 구조
- 키워드
- 메타 태그
- 이미지 최적화