데이터에서 시작되는 플랫폼 기업의 경쟁력

‘데이터는 국부(國富; National Wealth)’라는 주제의 기사를 본 적이 있다. ‘데이터는 그 자체로 비즈니스이자 기업의 경쟁력이 되는 시대’라는 제목의 기사도 있었다. 독자의 시선을 끌기 위한 자극적인 기사의 제목으로만 보기에는, 데이터의 중요성이란 이미 대중이 인식하여 검증된 결과이자 동의할 수밖에 없는 주제가 되어버렸다. 이러한 주제가 혹시라도 실무에 도움될 만한 새로운 정보라도 있을까 싶은 관심을 끌어내기도 한다.

위 기사들의 내용대로라면, 데이터는 정말 기업의 부(wealth)를 창출시킬까? 만약 이 문장이 맞는다면, 현실적으로 부를 창출하는 방법을 정리한 내용이 있을 것 같아 검색해 보았다. 가장 가깝고 쉽게 확인할 수 있는 대화형 AI인 ChatGPT에 물어서 얻은 결과를 요약하면 다음과 같다.

데이터가 기업의 부를 창출하는 10가지 현실적인 방법: 

1. 고객의 인사이트 분석: 고객의 구매 패턴, 선호도, 행동을 분석하여 맞춤형 마케팅 전략을 수립

2. 비용 절감: 운영 데이터를 분석하여 비효율적인프로세스를 개선하고 비용을 절감

3. 시장 트렌드 예측: 데이터분석을 통해 시장변화를 예측하고 변화에 적시 대응하여 경쟁력을 유지

4. 제품 개발: 고객 반응과 시장 데이터를 기반으로 제품개선이나 신제품 개발에 활용

5. 리스크 관리: 데이터를 분석하여 잠재적 리스크를 조기에 발견하고 관리하여 손실을 최소화

6. 재고 관리 최적화: 판매 데이터분석을 통한 재고수준 최적화로 과잉재고나 품절 문제를 최소화

7. 타깃 마케팅: 특정 고객 세그먼트를 타깃으로한 마케팅 캠페인을 설계하여 효율성을 향상

8. 세일즈 전략 강화: 판매데이터 분석을 통해 잘 팔리는 제품 중심으로 판매 전략을 수립하고 조정

9. 고객서비스 향상: 고객 데이터를 활용하여 고객지원을 개선하고 고객 만족도를 향상하여 재구매율 증가

10. 성과측정과 분석: 데이터 기반으로 목표 지표를 설정하고 성과를 분석하여 전략적 의사결정에 활용

상기한 10가지의 내용을 거칠게 한 문장으로 요약하면, ‘모든 업무는 데이터화하여 생성 후 수집·측정하고, 데이터의 분석 결과를 해당 업무의 최적화에 활용한다.’라고 정리할 수 있겠다. 이 내용들을 기업에서 실행하기 위해 세부적인 주제로 살펴본다면 어떤 점을 고려해야 할까? 데이터가 기업에 부를 가져다주기 위해서는 무엇이 필요할지, 리더와 실무자들의 방향성 수립에 도움이 될 내용들로 정리해 보겠다.

AI의 핵심은 신뢰성 높은 데이터!

AI 애플리케이션(이하 AI)은 머신러닝 학습 기능을 활용한다. 따라서 입력하는 데이터의 집합인 데이터베이스가 있어야 작동한다. 데이터는 AI 구성 요소의 핵심이다. 불확실성을 제거한 보다 나은 의사결정을 지원할 것으로 기대하는 AI는, 궁극적으로 신뢰할 수 있는 충분한 데이터가 있어야 원하는 목적으로 동작할 수 있다.

AI의 활용에는 데이터를 최신 상태로 유지하고 기존 데이터를 수정하며, 접근 가능한 데이터를 신뢰할 수 있는 일련의 작업이 전제되어야 한다. 이래야만 AI가 정보를 최적의 상태로 유지하여, 지속적인 학습을 통해 향상된 결과를 얻기 위한 꾸준한 개선이 가능하기 때문이다. 생각보다 복잡하고 어려운 작업처럼 보일 수 있지만, 만약 이렇게 데이터를 다루지 못한다면 어떠한 상황이 발생할까?

이에 답하기 위해서는 데이터가 AI에 부정적인 영향을 미친 사례들을 살펴볼 필요가 있다. 2014년 Amazon은 입사 지원자를 신속하게 거르기 위한 방법으로 AI 기술을 적용하였다. 1년 간 운영한 결과, AI가 남성 위주로 인력을 추천하여 채용이 공평하지 못했다는 사실이 드러났다. 여성을 대표하는 단어나 문장이 부정적인 영향이 있었던 것이다. AI는 과거 10년여의 데이터로부터 여성보다 남성 지원자를 선호하도록 훈련되었기 때문이다. 단순히 여성성을 표현하는 단어와 문장에 한정된 게 아니라 데이터 자체의 문제로 판단하여, 결국 해당 프로젝트는 무산되었다.

2018년 MIT 연구팀의 사례도 짚고 갈 만하다. 연구팀은 사이코패스 인공지능인 Norman을 개발하여 편향된 데이터가 AI에 어떤 영향을 미치는지 실험하였다. 부정적인 언어로 학습한 AI 모델은 모든 결과에서 자살, 총살, 살인과 같은 부정적인 죽음을 표현하였다. 부정적인 데이터를 입력하여 학습한 AI가 어떤 결과를 내는지를 잘 보여주는 사례다. 

2017년 미국 법원과 교도소에서 형량, 가석방, 보석 등의 판결에 주로 사용한 AI인 COMPAS와 관련한 사례도 있다. <ProPublica>지는 COMPAS 알고리즘이 백인보다 흑인의 재범확률이 2배 높다는 편파적인 판결을 냈다고 폭로했다. 재범률은 인종과는 관련이 없었지만, 범죄기록서 내용을 입력값으로 처리한 결과 흑인에 대한 편파적인 정보가 많아서 이러한 결과가 발생한 것이다.

AI는 문제 해결을 위해 인간의 결정과 행동을 모방하는 컴퓨팅 지능의 결과물이다. 이를 다르게 표현하면, 기계에 축적시킨 지능은 비즈니스 환경에서 축적한 데이터를 점진적으로 학습하는 과정의 결과물이라고 할 수 있다. 앞의 사례들을 통해 AI의 학습 재료가 되는 데이터가 미치는 영향과 그 결과를 이해했다면, 다음으로는 기업들이 데이터를 어떻게 관리하고 인식해야 할지를 살펴보자.

데이터로부터 인사이트 얻으려면

우리는 모두 원하는 정보를 찾아볼 수 있지만, 데이터로부터 인사이트를 얻을 수 있는 사람은 극소수다.  하루에도 방대하게 쏟아지는 데이터 속에서 특정 데이터를 심도 있게 통찰할 수 있는 사람 역시 상대적으로 극소수이기 때문이다.

이러한 극소수와 같이 데이터로부터 인사이트를 얻으려면, 관찰력과 기회에 대한 갈망을 키워야 한다. 직접 데이터를 수집하고 세심하게 그려보며 얻는 깨우침은 얼마나 자신의 정신을 투입하여 데이터를 관찰하느냐에 달려 있기 때문이다. 이러한 관찰력에 더하여 데이터가 제공하는 기회에 대한 생각을 함께하면, 예상 밖의 시너지가 발생한다. 이미 공개되어 있는 데이터를 자기만의 방식으로 노력하여 연결하면, 그 데이터는 그만의 경쟁력이 될 수밖에 없을 것이다.  

우리는 필요한 데이터를 스스로 찾아 목표에 따라 분석하며, 남이 보지 못한 것을 발견할 줄 아는 자세가 필요하다. 자신만의 시선에서 서로 간의 연결점을 찾아낼 수 있는 경쟁력이 필요한 시대인 것이다. 앞서 인사이트는 관찰력을 실행하는 자세와 기회를 갈망하는 마인드에서 나온다고 언급했다. 그렇다면 이 두 가지는 어떠한 전제하에서 가능한지를 다음에서 살펴보자.

데이터에서 중요한 건 품질?

AI는 데이터를 통해 학습하고 성능을 향상한다. 따라서 AI가 더 많은 신규 데이터를 일관성 있게 처리할수록, 보다 정확한 의사결정을 내리는 데 도움을 제공할 수 있다. 이를 위해서는 AI에 신뢰성 높은 데이터를 입력해야 한다. 고품질 데이터에 해당하는 양질의 데이터가 있어야만 AI가 목표한 성능을 최대한 끌어낼 수 있다.

로켓 엔진을 동작시키기 위해 연료를 공급하는 것과 같이 AI 모델에는 데이터라는 연료를 공급해야 한다. 그런데 AI는 실제 상황과 동일한 정확한 값의 데이터가 필요하다. 그 데이터의 속성 모음이 총 10개라면, 10개의 속성이 모두 누락 없이 완전한 상태로 수집되어야 하는 것이다. 수백만 번의 실행에도 편향 없이 일관성 있는 결괏값을 발생시켜야 하고, 고품질의 신뢰성을 보장할 수 있어야 한다. 이러한 전제하에서 쉽게 사용할 수 있는 환경이 제공된다면 데이터를 사용할 기본환경은 갖추었다고 볼 수 있겠다. 만약 신뢰성이 낮은 데이터를 생성, 수집, 보정하여 기존 데이터 집합에 누락된 데이터를 추가하려 한다면, 이 작업에는 많은 시간과 노력이 소요되며 비용도 적지 않게 투입된다. 그래서 신뢰성이 낮은 데이터를 정상적으로 정제하는 데 많은 시간과 노력이 투입될 경우, 비용관점에서 포기하는 경우도 심심치 않게 발생한다.

AI 기술이 우리의 생활에 가깝게 다가오면서 그 영향력이 커지고 있다. 이렇게 AI 기술의 안정성과 신뢰성이 그 어느 때보다 중요해진 시점에서, 데이터 품질의 표준 또한 매우 중요한 역할로 주목받고 있는 것이다. 데이터의 품질이 AI에 미치는 영향이 크다 보니, 최근 국제표준으로 인공지능을 위한 데이터 품질-ISO/IEC 5259를 제정하기도 했다. 앞의 설명을 통해 데이터 품질의 중요성을 이해했다면, 이러한 품질을 확보하는 데 필요한 건 무엇일까?

기업문화로 정착되어야 진정한 가치를 발휘

데이터의 품질 개선은 단순한 기술적인 문제가 아니라, 조직의 문제로 인식해야 한다. 데이터의 품질 개선은 각 관련 부서 모두가 참여하여 데이터의 생성부터 검증, 이용 과정까지 지속하여 개선해야 하는 조직의 공통 과제다. 데이터를 활용하는 분석가와 엔지니어 역시 데이터 품질의 신뢰성 문제를 이해하고 데이터의 사용 여부를 결정할 수 있어야 한다. 만약 품질 문제가 발생한다면, 프로세스를 실행시켜 필요한 품질향상에 기여할 수도 있어야 한다. 이러한 전반적인 실행력들이 한곳을 향해서 모여야만 Data governance라는 체계하에서 신뢰할 수 있는 데이터의 활용이 가능해진다.

하루에 10만 명 이상의 고객이 방문하는 서비스를 보유한 기업이 데이터로 경쟁력을 확보해야 한다고 가정하자. 그렇다면 다음의 다섯 단계가 이 기업이 데이터를 다룰 수 있는 시작점이자 선순환 구조라고 할 수 있다.

1. 데이터 담당 부서가 필요한 데이터를 정의하고 개발 및 검증하여 배포하는 ‘데이터 프로세스’를 주도적으로 운영

2. 고객들의 서비스 이용 현황을 cohort나 funnel analysis를 통해 모니터링

3. 신규 기능 적용 시 고객들의 이용 현황을 파악하고, 데이터 유실 발생 시에는 변화를 즉시 인지 후 신속 대응

4. 불필요한 데이터를 제거하거나 데이터의 품질을 향상시키는 방향으로 지속 운영

5. 데이터로부터 얻은 인사이트를 동료들에게 공유하여 문제정의와 해결 방안을 함께 논의

기업이 이러한 다섯 단계의 프로세스를 준수할 수 있다면, 그 기업에는 데이터 관련하여 비용(시간 및 인력 투입)과 품질향상 관리라는 지표만 남는다. 시간이라는 절대적 변수는 데이터부서를 중심으로 품질개선의 노력이 집중 투입되어야 한다. 시간은 의사결정권자의 인내와 리더십에 따라 팽팽한 줄처럼 짧아져 단축되거나, 반대로 느슨하게 늘어져 길어지기도 한다. 품질향상 관리에도 마찬가지로 적지 않은 노력과 인내의 자세가 필요하다.

위 다섯 단계를 지속적으로 실천하면 데이터를 기반으로 한 의사결정을 통해 객관적인 판단과 해석, 실행력을 확보하게 된다. 결국에는 서비스나 제품이 객관적 관점의 올바른 방향으로 발전하는 것이다. 데이터 프로세스가 관련 부서들의 참여와 함께 올바르게 동작한다면 말이다.

그림 1 AI 데이터의 수집과 AI 모델의 머신러닝 개선 프로세스

기업의 입장에서는 숨 가쁘게 목표를 향해 달릴 때, 데이터 개발 일정을 프로젝트 기능개발 일정에 포함하는 현상도 비일비재하다. 이러한 경우 데이터 개발 일정과 데이터 검증 일정은 별도의 일정으로 산정하기 때문에, 일정 부담에서 벗어나지 못하게 된다. 이는 데이터에 대한 중요성과 인식이 부족하여 만들어진 결과로 볼 수밖에 없다. 이러한 현실의 문제를 우리는 어떤 방법으로 해소해야 할까?

데이터 경쟁력 확보가 AI를 성장시킨다

첫 문장으로 다시 돌아가 보자. 데이터는 국부가 될 수도 있고, 또는 데이터 그 자체만으로 비즈니스가 되거나 경쟁력이 된다고 했다. 데이터는 기업활동의 부산물이나 비용이 아니라, 오랫동안 축적한 기술 자산이자 미래가치를 포함하고 있는 전략적 자산이다. 

중요한 건 최상위 리더의 지원 아래에 데이터 조직을 중심으로, 데이터 프로세스가 전사적으로 운영되어야 한다는 것이다. 현실에서는 조명받는 결과물이나 성과에만 주목이 집중되기도 한다. 따라서 아직도 조명받지 못한 어두운 영역의 노력과 인고의 시간은 조직 내 의사결정권자의 눈과 귀에 다가가지 못하는 경우가 더러 발생하고 있다. 데이터가 바로 이러한 경우에 해당한다. 회사 운영상 투입비용이 적지 않은 반면, 눈에 보이는 가시적인 성과를 내기는 어렵기 때문이다. 그러나 거짓말을 듣고 싶은 이에게 거짓말로 응답하면 큰돈을 벌 수 있다는 말이 있듯이, 데이터에 대해서 눈과 귀가 가려진 리더에게 듣고 싶은 결과 위주로 전달하는 것은 머지않아 기업 운영에 위험한 결과를 초래하게 될 것이다.

다시 강조하지만, 기업에서 데이터를 올바르게 운영하기 위해서는 전담 부서의 역할위임과 더불어 조직 전반의 관심과 참여가 필수적이다. 그래야만 모든 성과를 개선할 수 있을 뿐만 아니라, AI 부서의 노력까지도 결실을 볼 수 있다. 부서명에 AI를 넣는다고 해서 AI스러운 결과물이 마법 지팡이처럼 뚝딱 나오지 않는다. 이를 알면서도 데이터의 정비 없이 조직에 미션부터 부여하고 결과가 나오기를 기대하는 조직의 리더와 실무담당자에게, 이 원고가 의미 있게 전달되기를 기대해 본다.