챗GPT는 자연어로 소통이 가능하고, 사용자의 피드백을 통해 스스로 강화학습을 하며 데이터 품질을 개선한다. 챗GPT의 이러한 비약적 성장은 기저에 작동하는 GPT-3가 있어 가능했다.

GPT-3의 우수한 학습 능력은 매개변수 규모에서 비롯한다. GPT-1의 매개변수가 1억1천만 개였던 비해, GPT-3은 1,750억 개로 급증했다.

이처럼 혁신적인 학습능력을 갖춘 챗GPT이지만 막상 사용하다 보면 분명한 한계도 발견된다.

'기업의 챗GPT 활용과 사업혁신 전망 세미나'의 세 번째 세션을 맡은 박성준 상명대 감성공학과 교수는 "챗GPT가 생산성을 제고하는 것은 확실하나 완전성의 결함도 적지 않다"고 지적했다. 그러면서 이 불완전성을 이해하고 사용해야 활용 만족도도 높아진다고 설명했다.

박 교수는 먼저 챗GPT의 한계로 '환각'을 꼽았다. 겉보기에는 그럴싸해 보이지만 사실은 잘못된 정보이거나 의미 없는 내용의 나열인 경우도 많다는 것이다. 아이러니하게도 이러한 결과는 대화형 데이터를 학습하기 때문에 발생한다.