AI 시대를 살아가는 마케터의 소고

"AI가 과연 인간을 대체할까?"

2016년 알파고가 세상에 처음 등장한 이후, AI가 인간을 대체할 것이라는 전망이 쏟아졌습니다.

실제로 AI가 인간을 대체할 수 있을까요? 

인공지능 시대를 살아가는 사람으로서 그리고 마케터로서 우리는 어떤 역할을 할 수 있을지 생각해보았습니다.

바름의 신입 그로스 해커 김사원입니다.

본 포스팅은 2020년 8월 28일 진행된 UC Irvine 김진식 박사님의  "Big data, Machine Learning, 그리고 Data Analysis. 그 경제학적 가치" 강연을 토대로 작성되었습니다.

바야흐로 빅데이터의 시대입니다. 유통, 영화, 예술, 전자, 제조 등 다양한 산업에서 데이터를 자신들 비즈니스에 활용하기 위해 노력하고 있습니다. 코로나로 디지털 트랜스포메이션(digital transformation)이 이뤄지면서 이러한 흐름이 더욱 빨라진 모양새입니다. 이미 넷플릭스는 내가 본 영화와 비슷한 영화를 찾아 추천해주고, 쿠팡은 내가 구매한 상품 데이터를 가지고 유사한 상품을 추천해주고 있습니다.

빅데이터는 보통 4V의 개념으로 설명되곤 합니다. 양(volume), 속도(velocity), 다양성(variety), 불확실(veracity)이 그것인데요. 최근에는 데이터의 가치(value)도 고려한 이른바 5V의 개념으로까지 확장되고 있습니다.

그러나 빅데이터는 빅데이터 자체로 의미를 가지기보다, 이 데이터를 바탕으로 AI모델을 만들었을 때 의미가 있습니다. 즉 빅데이터는 AI모델을 만들기 위한 재료인 것이죠. 이 과정을 머신러닝(machine learning), 즉 기계학습이라는 말로 표현합니다.

우리 주변에 볼 수 있는 AI는 대부분 이러한 머신러닝 과정을 이용해 만들어지고 있습니다. 특정 사용자의 제품 구매 여부를 예측하거나, 소비자 집단을 유사한 성격으로 묶는 등의 방법을 통해 말이죠.

삐그걱대는 AI의 인간 정복기

그러나 AI의 인간 정복기가 생각보다 순탄치 만은 않은 것 같습니다. 미국 리서치 기업에 따르면, 미국 기업의 약 9%만이 데이터를 비즈니스에 제대로 활용하고 있다고 응답하였습니다. 그리고 50%는 빅데이터에 투자하여도 이를 비즈니스에 활용하는 데 실패하고 있고, 나머지 기업들 중 대다수는 기존 비즈니스를 자동화(automation)하는 것에 불과하다고 합니다.

이러한 현상이 나타나는 이유는 머신러닝과 비즈니스 사이의 괴리 때문입니다. 

현재 빅데이터 분야의 헤게모니를 가진 곳은 공학분야입니다. 공학에서의 빅데이터는 많은 양의 데이터를 모두 넣어 모델을 학습시키는 방식을 취하고 있습니다. 이 과정에서 컴퓨터 알고리즘이 모델 학습에 필요한 변수를 선정하고, 이를 이용해 머신러닝 모델이 만들어지는 것이죠.

그러나 이렇게 만들어진 모델은 예측의 이유를 설명하는 데 한계가 있습니다. 모델이 복잡해질수록 예측의 정확도는 높아지지만, 결과의 해석은 어려워지기 때문입니다. 그래서 머신러닝 모델 내부를 '블랙박스'라고 부르기도 합니다. 이 같은 머신러닝의 블랙박스적 성격은 AI모델의 비즈니스 활용에 걸림돌로 작용합니다. 비즈니스에 활용하기 위해서는 그 이유를 설명할 수 있어야 하는데 머신러닝은 그럴 수 없기 때문이죠.

이러한 머신러닝과 비즈니스 사이의 괴리를 없애고

인간이 과연 AI에 대체될 것인가에 대한 해답을 구하기 위해 

UC Irvine의 김진식 박사님과 연구팀은 새로운 접근법을 고안하셨습니다.

바로  'Human in the loop approach'입니다.

인간의 노하우와 머신러닝의 만남

김진식 박사님이 속한 연구팀은 'Human in the loop approach', 이른바 HITL을 설명하기 위해 국내 한 기업과 한 가지 실험을 진행하였습니다. 바로 놀이공원 이용객 예측 실험입니다. 

실험은 

1) 인간 전문가(마케팅 전문가)가 예측한 이용객 수
2) 순수 머신러닝이 예측한 이용객 수

3) 인간과 머신러닝이 함께 결합(HITL)하여 예측한 이용객 수의 정확도를 비교하는 것으로 진행되었습니다.

각 실험집단에게는 놀이공원 과거 데이터를 비롯하여 당시의 날씨, 방송, 차량 데이터가 주어졌고, 자유롭게 변수를 선택하여 이용객수를 예측하도록 하였는데요. 인간 전문가 집단은 자신들의 노하우를 바탕으로 중요하다고 생각되는 변수를 이용해 예측을 진행했습니다. 두번째 HITL 집단은 인간이 인사이트를 바탕으로 변수를 먼저 선택하고, 다시 통계적 기법으로 선택한 변수들을 이용해 예측을 진행했습니다. 마지막으로 순수 머신러닝 집단은 변수선택을 모두 컴퓨터 알고리즘이 진행했습니다.

그 결과는 어땠을까요? 예상대로라면 순수 머신러닝이 가장 높은 정확도를 기록하였을 것입니다.

그러나 놀랍게도 가장 높은 정확도를 보였던 것은 인간과 머신러닝이 함께 예측한 이용객 수였습니다. 인간과 머신러닝 집단은 18%대 오차를 기록한 반면,  순수 머신러닝 집단군은 46%대 오차를, 순수 인간 전문가 집단은 30%대 오차를 기록하였습니다. 예상과 달리 순수 머신러닝은 인간 전문가 보다도 정확도가 떨어졌습니다.

예측을 잘못하였을 때 드는 비용인 오분류 비용 또한 HITL 집단이 가장 낮았으며, 순수 머신러닝 집단이 가장 높았습니다. 더욱이 순수 머신러닝은 예측에만 이틀이 소요되기 때문에 코로나를 비롯한 정치, 경제, 사회 이슈를 실시간으로 반영하는 데는 한계가 명확했죠.

실험결과에서 알 수 있듯이, 인간의 인사이트와 머신러닝 기법이 결합하였을때 가장 높은 성과를 보였습니다. 그리고 이러한 방식(HITL) 방식으로 만들어진 모델은 설명력 또한 갖추었기 때문에 비즈니스적 활용 또한 가능하죠.

다시, 과연 AI가 인간을 대체할 수 있을까요?

자, 이 시점에 앞의 물음을 다시 던져보겠습니다. 과연 AI가 인간을 대체할 수 있을까요? 

이같은 물음에 저는, 그리고 저희 바름은 '아니다'라고 대답할 것입니다. AI의 시대가 도래할 수록, 데이터가 범람할 수록 인사이트를 바탕으로 데이터의 중요도를 선별하는 능력이 중요해질 것이기 때문입니다. 해당 분야가 유통이든, 영화이든 어떤 산업군이든 말이죠.

마케팅 분야에서도 마찬가지입니다. 우리 바름은 제품과 서비스, 업에 대한 이해를 바탕으로 최적의 마케팅 전략을 도출하고, 끊임 없이 실험을 진행하여 클라이언트의 비즈니스 성장을 이뤄내왔습니다. 이러한 과정에서 얻은 바름만의 마케팅 인사이트와 노하우는 AI 시대를 살아가는 데 있어 강력한 무기가  될 것입니다.

그리고 이제,

바름은 이러한 마케팅 인사이트와 노하우를 인공지능과 결합하고자 합니다. 마케팅 인사이트를 바탕으로 머신러닝 모델을 만들고 이를 비즈니스에 활용하여 최고의 성과를 이루어 내는 것.

앞으로 바름이 나아갈 길이자, 마케팅이 나아가야 할 길이 될 것입니다.

감사합니다.

https://thebarum.co.kr/dataAnalysis