웹로그 분석의 원리와 그 결과를 이해하면 분석 결과로부터 더 많은 인사이트를 얻을 수 있습니다. 이해를 통한 다양한 분석을 디자인하고 원하는 결과를 얻을 수 있도록 아이디어를 나누는 데 사용해 보세요.

웹/모바일 로그 데이터 분석은 디지털 마케팅 환경에서 기본적인 업무로 자리잡고 있습니다. 사이트의 기본적인 이용률을 파악하는 것은 물론 방문 고객들의 행동을 이해하고 이를 통해 새로운 마케팅 활동을 시도하는데 활용되고 있기 때문입니다.

최근 무료 웹로그 분석 서비스의 등장으로 대부분의 마케터는 하나 이상의 웹로그 분석 툴을 이용해 사이트를 분석하고 있습니다. 그러나 각 툴의 분석 결과를 확인하는 과정에서 뜻밖의 문제를 발견하게 됩니다. 그것은 바로 분석 툴 간 혹은 분석 툴과 내부 운영계 데이터 간 동일 지표가 서로 다른 측정값을 나타내고 있다는 것입니다.

"같은 사이트를 분석하는데 어떻게 분석 결과가 다르지? 어느 측정값이 맞는 거야? 우리쪽 DB 데이터하고 차이가 많이 나는걸?" 마케터는 혼란과 의심으로 분석 결과를 신뢰하지 못하는 상황까지 이를 수 있습니다. 과연 무엇이 문제일까요? 정말 분석 툴에 오류가 있는 걸까요?

이 문제를 해결하기 위해서는 보다 근본적인 원인을 찾아야 합니다. 즉, 결과값이 다르게 나올 수 있는 경우에는 어떤 것들이 있을지 고민해 보는 것입니다. 어떤 차이가 분석 결과를 다르게 나타내는 걸까요?

첫 번째로 확인해야 할 사항은 각각의 분석 툴이 같은 로그 파일을 분석 하고 있는가 입니다. 웹로그 파일이라고 해서 모두 동일한 정보를 갖고 있지는 않습니다. 이러한 차이가 분석 결과에 반영되어 다른 측정값을 나타낼 수 있습니다.

다음으로는 서로 다른 분석엔진에서 어떤 로직으로 결과를 도출했는가에 대한 부분입니다. 동일한 재료를 이용하는 음식일지라도 약간씩 맛이 틀린 것처럼 같은 측정값이어도 웹분석 도구 마다 측정 기준에 따라 다소 차이가 날 수 있습니다.

그럼 어떤 분석 툴의 측정값을 이용하는 것이 맞을까요? 이 부분은 여러분의 온라인 서비스 환경과 상황에 크게 의존적인 문제입니다. 그러나 차이점에 대한 원인을 자세히 살펴본다면 여러분의 온라인 서비스에 보다 적합한 분석 툴 선택이 가능할 것이라고 봅니다. 측정값 차이에 대한 원인은 다음 글에서 하나씩 짚어보도록 하겠습니다.

분석 툴에서 사용하는 원본 로그 데이터의 차이가 측정값의 차이를 불러올 수 있습니다. 로그 데이터의 차이는 로그에 기록되는 정보의 범위와 로그 수집 방식에 기인합니다.

로그 파일에는 사용자가 사이트에 접근하는 상황과 요청한 정보 등이 기록됩니다. 이때, 좀 더 많은 정보를 로그에 남긴다면 더 자세한 분석 결과 제공이 가능합니다. 예를 들어, 로그파일에 쿠키 정보를 기록하는지 여부에 따라 방문자수(Unique Visitor) 값이 달라질 수 있습니다. 또, 레퍼러 정보를 기록하면 유입에 관련된 여러 측정값이 추출됩니다.

 
대부분의 웹로그 분석 도구를 공급하는 회사에서는 기본 로그 포맷(Common Log Format : CLF) 대신 좀 더 많은 정보를 분석하기 위해   레퍼러, 에이전트, 쿠키정보가 추가된 확장로그 포맷(Extended Log Format : ELF)으로 로그 파일을 기록하기를 권고합니다.

 [Common Log Format 예시]

[Extended Log Format 예시]

로그 수집 방식에 따라서 기록되는 정보가 다릅니다. 예를 들면 스크립트 방식에서는 봇(Bot)이나 프로그램 등에 의해 요청된 정보가 기록되지 않습니다. 로그에 기록되는 정보의 범위가 로그 파일 내 컬럼의 차이라면 로그 수집 방식은 로그 파일 양의 차이를 가져옵니다. 로그 데이터를 수집할 때에는 주로 이용하는 방식으로 웹서버 방식, 스크립트 방식, 스니퍼 방식이 있습니다. 각 방식은 저마다의 특징과 장/단점을 가지고 있습니다. 따라서, 어떤 방식이 좋다/아니다를 얘기하기 보다는 고객사에 맞는 방식이다/아니다를 찾는 것이 중요합니다.

[로그 수집 방식]

1. 웹서버 방식
웹서버에서 기록하는 웹로그 파일을 사용하는 방식입니다. 모든 웹서버는 표준 웹로그를 남기고 있습니다. 웹서버에서 전달된 모든 클라이언트의 요청을 빠짐없이 기록하고 있기 때문에 가장 많고 다양한 정보를 기록한 로그입니다. (단, 웹서버 앞 단에 캐쉬서버를 운영하는 경우 캐쉬서버에서 처리된 요청은 기록되지 않을 수 있습니다.) 적용이 쉽고 웹사이트 변경 시 영향을 받지 않기 때문에 전통적으로 많이 사용되는 방법입니다.
​그러나 정상적인 사용자가 아닌 봇(Bot)이나 프로그램 등에 의해 요청된 정보, 리다이렉트된 페이지 정보도 기록되기 때문에 필요에 따라 필터링 작업을 진행해야 합니다.

2. 스크립트 방식
웹페이지에 로그를 기록할 수 있는 스크립트를 삽입하고, 해당 페이지가 로딩될 때 필요한 정보를 스크립트 수집 서버로 전송하여 수집서버에서 로그 파일을 기록하는 방식입니다. 정상적으로 로딩되는 페이지 혹은 분석가가 원하는 페이지 이용 정보만을 로그로 남길 수 있기 때문에 분석에 필요한 정확한 데이터가 기록되는 방법입니다. 최근 서비스 형태의 웹로그 분석 방식을 제공하는 벤더들 사이에서 가장 많이 사용하는 방법입니다.
그러나 웹페이지에 삽입해야 하는 스크립트 태깅을 누락할 시에는 웹로그를 전혀 남길 수 없기 때문에 사이트 운영 혹은 리뉴얼 시 상당한 주의를 요합니다.

3.  패킷 스니핑 방식
웹사이트 접근 시 고객들이 인터넷을 통해 요청하는 트래픽은 스위치나 탭 장비를(사이트 운영 구조에 따라 달라질 수 있습니다.) 거치게 됩니다. 패킷 스니핑 방식은 용어에서 알 수 있듯이 인터넷 상에 떠도는 패킷을 몰래(?) 읽어보면서 로그 파일을 기록하는 방식입니다. 스위치나 탭 장비를 통해 들어오는 패킷(인바운드 패킷)을 특정 포트로 미러링하여 스니퍼 서버에 연결시키고 서버 내 스니퍼가 패킷을 분석한 후 로그 파일을 기록합니다. 주로 웹서버가 많고 트래픽이 많은 대용량 사이트에서 사용하는 방식입니다.
그러나 포트 미러링과 같은 기술적인 문제가 해결되어야 하고, 암호화된 패킷은 스니핑이 어렵기 때문에 로그 파일에 기록할 수 없습니다.

다음에는 로그 수집방식에 따른 측정값의 영향에 대해서 의견 드리겠습니다.