무언가를 잘 활용하기 위해서는

먼저 그 것이 어떻게 구성되어있는지 파악해보는 것이 큰 도움이 되겠죠? 

검색엔진최적화 는 크게 세 가지 핵심적인 요소로 구성되어 있는데,

이번 글을 통해서 필수적으로 알아야 할 핵심요소인 크롤링 과 인덱싱 에 대해 말씀드리겠습니다.

SEO 를 위해 크롤링 과 인덱싱 을 알아야 하는 이유

SEO 가 중요한 것은 잘 알겠는데,

왜 구성요소인 크롤링 과 인덱싱 에 대한 정보도 중요할까요?

그건 바로 아무리 유용하고 잘 만들어진 콘텐츠라도 

해당 웹페이지가 검색엔진에 크롤링 과 인덱싱의 과정을 거칠 수 없다면

검색결과페이지 에 나타나지 않기 때문입니다.

그렇다면 왜 우리가 보기엔 잘 만들어진 유용한 정보인데 검색엔진에 뜨지 않을까요?

내가 사과에 대한 정보를 아무리 잘 포스팅 하여도,

누군가 수박에 대한 정보를 원한다면 내 콘텐츠는 그에게 필요가 없습니다.

사용자들이 검색엔진을 사용하는 이유는 정확한 정보를 빨리 얻기 위해서 입니다.

검색한 키워드에 맞춰 확실한 콘텐츠를 제공하는 웹페이지를 제공해야만 

사용자들이 그 검색엔진을 신뢰하고 이용 할 수 있겠죠.

그러기 위해 검색엔진은 알고리즘을 만들었습니다.

그렇기에 SEO 을 활용하기 앞서 이 구성요소들을 반드시 살펴봐야 합니다.

1.  SEO 핵심구성요소 첫 번째 - 크롤링  

- 크롤링 이란?

 인터넷 상의 정보를 수집하는 자동화된 프로세스이며,

크롤러 라고 불리는 로봇이 웹사이트를 순회하며

데이터를 수집,추출 하는 과정을 뜻합니다.

크롤러 가 정보를 수집하다가 크롤링 에 특화된 정보를 발견하면

더욱 빠르게 검색엔진 검색노출 이 가능해집니다.

그렇기에 콘텐츠를 작성하는 사용자는

크롤러 가 발견하기 쉽도록 작성하는 것이 SEO 에 큰 도움이 됩니다.

그렇다면 어떻게 작성을 해야 크롤러 가 발견하기 쉬울까요 ?

다양한 방법이 있지만 대표적인 두 가지를 말씀드리겠습니다. 

2. 크롤링 은 물론 SEO 에도 유리한 콘텐츠를 만드는 법

- 크롤링 촉진을 위한 내부링크 사용

 크롤러 는 끊임없이 모든 웹사이트의 모든 링크들을 타고 순회하며 

새로운 웹사이트, 웹페이지를 찾습니다. 

그렇기에 링크가 배치되어 있을수록 크롤러가 자주 방문을 하고,

크롤링 촉진에 큰 도움이 됩니다.

하지만 아무 링크나 달아선 안됩니다.

연관성이 없는 페이지로의 링크는 역효과를 낼 수 있기에

나의 콘텐츠와 관련성이 높은 링크를 사용하도록 하여야 합니다.

- 페이지 속도 개선을 통한 크롤링 촉진

크롤러 는 웹페이지의 긍정적인 정보 만을 수집,추출 을 하는 것에 그치지 않고

웹사이트의 문제점 또한 정보 안에 포함 시켜서 수집 합니다.

빠른 페이지 로딩 속도는 크롤링 뿐만 아니라 SEO 관점에도 긍정적인 영향을 끼치며 

사용자들에게도 좋은 경험을 제공 할 수 있으므로 

페이지 속도 개선은 반드시 신경을 써야 할 부분입니다. 

그리고 크롤러가 이렇게 크롤링을 통해 모은 문서를

데이터베이스에 저장하는 과정이 있는데, 그것이 바로 인덱싱 입니다.

3. SEO 핵심구성요소 두 번째  - 인덱싱

- 인덱싱 이란?

검색엔진 에서 크롤링 을 통해 수집한 웹페이지의 내용을

인덱스 라는 데이터베이스에 저장하여 

사용자가 검색 할 때 빠르게 결과를 제공할 수 있도록 하는 과정. 

색인 이라는 단어로도 표현할 수 있습니다. 

- 인덱싱 의 단계  

1. 크롤링

2. 텍스트 추출 : HTML 문서에서 텍스트를 추출하고 정보를 분석하여 어떤 내용인지 이해하는 과정.

3. 어휘 분석 및 토큰화

4. 색인 생성

5. 랭킹 및 검색 가능한 형태로 저장

크롤러 가 콘텐츠의 정보를 발견하면 해당 웹페이지의 코드를 렌더링 하여

해당 웹페이지의 모든 데이터와 메타데이터를 분류하고,

그리하여 수집된 텍스트들을 추출하여 정보를 분석해서 단어로 분류합니다.

그리고 각 단어의 의미와 관련성을 분석하여

해당하는 웹페이지의 정보(키워드,문서 구조,링크 등)들을 색인에 저장하는 과정이 인덱싱 입니다.

거대한 도서관에 있는 수십, 수백억 개의 책들을

하나하나 분류하여 라벨을 붙여 항목에 따라 정리하는 과정이라고 생각하시면 이해가 쉽겠습니다.

인덱싱 이 된 데이터베이스를 통해 사용자가 검색 할 때,

검색 엔진은 빠르게 관련성 높은 결과로 제공 할 수 있습니다.

그리고 그 결과에 따라 검색 알고리즘은

어떠한 키워드에 해당되는 웹페이지의 순위를 결정합니다.

따라서 알고리즘이 원하는 것을 파악하고 제공하여

높은 순위를 받아내어 검색엔진 검색노출이 되는 것.

우리가 SEO 를 활용하는 궁극적인 이유 가 아닐까요?

오늘 이렇게 SEO 를 보다 잘 활용하기 위해 크롤링 과 인덱싱 에 관하여 알아보았습니다.

다음 편에는 세 가지 핵심구성요소 중 마지막인

랭킹 에 관하여 말씀드리는 시간을 갖도록 하겠습니다.

이전 글

구글 SEO 를 반드시 알아야 하는 이유 - 마케팅 - 아이보스 (i-boss.co.kr)