최근 기업들은 인공지능을 기반으로 의미 있는 의사결정을 하기 위해 다양한 데이터 분석을 진행하고 있다. 기본적인 방식인 기초통계분석부터 높은 수준의 인공지능에 이르기까지, 데이터 분석의 공통점은 데이터 속에 숨어 있는 의미 있는 패턴을 기반으로 분석을 진행한다는 것이다. 즉, 의미 있는 패턴이 존재하지 않는다면 그 어떠한 분석 결과도 만들어 낼 수 없다. 하지만 데이터 대부분에는 의미 있는 패턴이 있을 확률이 높고, 이를 잘 활용한다면 의미 있는 결과를 도출할 수 있다. 또한 의미 있는 패턴이 직접적으로 보이지 않아도, 분석을 통해 의미 있는 패턴이 발견되어 이를 활용할 수도 있다.

이렇게 데이터 분석을 기반으로, 인공지능을 적용하여 의미 있는 의사결정을 하기 위해서는 고려해야 할 중요한 사항들이 있다. 먼저, 데이터의 유니크한 특성을 고려한 분석 모델링을 수행하고 활용해야 한다. 즉 원하는 목적을 달성하기 위해서는 적절한 데이터를 활용하여야 한다. 또한, 무조건 모든 데이터를 많이 분석한다고 해서 좋은 결과를 도출할 수 있는 것이 아니기에, 데이터 속에 숨어 있는 노이즈를 제거하고 의미 있는 정보를 효과적으로 활용해야 한다. 여기에 단순 예측모델링이 아니라 데이터의 패턴을 해석하고 검증할 수 있는 통계분석을 결합한다면, 보다 신뢰성 있고 설명성 높은 결과물들을 추출할 수 있을 것이다. 마지막으로, 분야를 구분하여 인공지능과 데이터 분석을 활용하여야 한다. 인공지능을 활용한 데이터 분석으로 의미 있는 결과를 수월하게 도출할 수 있는 분야도 있고, 상대적으로 데이터 분석을 통해서는 원하는 결과를 도출하기가 더 어려운 분야도 있다.

본 고에서는 이와 관련한 필자의 경험을 토대로 인공지능을 활용한 데이터 분석을 논하고자 한다. 이 글의 내용은 모두 실제 필자가 비즈니스와 프로젝트에서 경험한 바를 기반으로 한다.

데이터 특성을 고려한 모델링

데이터는 각각 다양한 패턴과 고유의 특징을 가지고 있다. 그러므로 일반적인 책에서 언급되는 유명한 방법론을 그대로 적용한다고 해서 의미 있는 성과를 도출하기는 어렵다. 데이터 각각의 패턴을 잘 인식하고 분석 및 예측을 하기 위해서는, 그 데이터만의 고유의 특징을 잘 잡아내면서 효과적으로 학습할 수 있는 모델을 적용해야 한다. 또한 데이터 맞춤형으로 추가적인 세부 수정까지 마쳐야, 일반적인 방법론을 적용하는 것보다 의미 있는 결과를 도출할 수 있다. 다시 말해, 여러 산업에서 다양한 타입과 패턴을 가진 데이터들이 존재하기에 각 데이터의 특징을 분석하고 학습 및 예측할 수 있도록 적합한 모델을 적용해야 한다. 각 데이터의 유니크한 특성을 잘 학습할 수 있는 모델링이 추가되어야 의미 있는 결과를 도출할 수 있다. 

그러나 기업 대부분은 데이터 분석 프로젝트를 수행할 때 일반적인 알고리즘을 기반으로 분석을 수행하고, 파라미터를 최적화하는 데에 그치고 있다. 이로써는 원하는 결과를 만들어 내기 어렵다. 또한 타 분야에서 활용되는 다양한 분석방법론들을 각 기업의 분야에 적용하여 효과적으로 활용할 수도 있는데, 이 부분은 세부적인 부연 설명이 필요하여 본 글에서는 생략한다.

이러한 이슈는 데이터 분석 모델로 학습을 수행할 때에만 적용되는 것은 아니고, 데이터의 분석을 위한 전처리 등을 포함한 모든 데이터의 분석 프로세스에 해당하는 문제다. 인공지능을 효율적으로 적용하고 높은 성과를 도출하기 위해서는, 모든 데이터 분석의 과정별로 데이터의 유니크한 특징들을 반영할 수 있는 전략이 함께 들어가야 한다. 즉 다양한 목적에 맞게 새로운 데이터를 수집할 수 있는 기술부터 데이터 처리 기술, 분석 기술까지 모든 기술의 연구가 필요하다. 분석하고자 하는 데이터의 최적 모델과 데이터 처리 기술이 새롭게 적용되어야 좋은 성과를 낼 수 있다.

Digitization

요즘 시대에는 대부분을 데이터로 만들어 낼 수 있다. 과거에는 오프라인보다 온라인에 데이터가 훨씬 다양하고 많았지만, 요즘은 오프라인 환경에서도 다양한 컴퓨터 비전 기술과 센싱 기술을 기반으로 원하는 것의 대부분을 데이터화할 수 있게 되었다. 또한 데이터 품질이 계속 향상되고 있기에 그 활용 가치는 점점 커지고 있다.

이처럼 데이터는 다양한 환경에서 새롭게 수집될 수 있고, 기존과는 다른 방법을 통해 다른 유형으로 데이터화될 수 있다. 따라서 기존에 보유한 데이터만 분석하고 결과를 내야 한다는 강박관념에 갇혀 있어서는 안 된다. 심지어 많은 기업이 특정 미션을 해결하기 위해 데이터 분석을 진행할 때, 그 결과를 도출하기 위한 데이터조차 제대로 준비하지 않은 경우도 많았다. 데이터가 충분하지 않은 상황이라는 것조차 인지하지 못한 것이다. 데이터 수집은 다방면에서 높은 기술력을 기반으로 진행될 수 있기에, 넓은 시야를 가지고 의미 있는 데이터를 수집·활용하여 분석을 수행하여야 한다. 여기에 추가 데이터까지 고려한다면, 기존에 성공하지 못했던 미션들도 새롭게 의미있는 결과로 전환할 수 있을 것이다.

유의미한 데이터

‘의미 있는 인풋이 없다면, 의미 있는 아웃풋은 절대 만들어 낼 수 없다.’ 빅데이터 시대가 열려 수많은 데이터가 쏟아져 나오면서 인공지능이 더욱 활성화되었다. 하지만 빅데이터에는 숨겨진 일면이 있다. 무작정 많은 데이터를 수집하고 활용한다고 해서 더욱 의미 있는 데이터 분석 결과를 도출할 수 있는 것은 아니다. 또한 많은 데이터를 활용하는 것이 적은 데이터를 활용하는 것보다 목표하는 예측 결과를 더욱 쉽게 생성해 주는 것도 아니다.

빅데이터는 수많은 노이즈를 함께 가지고 있을 가능성이 높다. 모든 빅데이터를 분석에 적용하게 되면 이와 같은 노이즈도 함께 모델에 학습되어, 오히려 안 좋은 영향을 줄 수도 있다. 그러므로 인공지능을 적용하기 전에, 보유한 데이터를 기반으로 유의미한 정보를 추출하고 의미 없는 노이즈를 제거하는 과정은 필수적이다. 단, 여기에서 유의미한 정보는 모든 경우에 유의미한 정보를 말하는 것은 아니다. 목적 값에 따라 유의미한 정보는 계속 달라질 것이기에, 유의미한 데이터를 활용하는 방법은 데이터 분석 프로세스에 반드시 포함되어야 한다.

통계와 인공지능

기존 인공지능의 한계점 중 하나는, 원인을 파악하려는 노력은 없이 그저 예측정확도 향상에만 집중했다는 점이다. 하지만 요즘에는 원인을 설명할 수 있는 인공지능도 활발히 연구되고 있어, 그 가치가 더욱 높아질 예정이다. 데이터 해석에 중점을 두는 기존의 통계분석 기법에 인공지능이 적용되면, 그 가치를 더욱 높게 만들 수 있다. 통계의 기본 원리는 샘플링을 통해 모집단을 설명하는 것으로, 가설 검정을 통하여 데이터 각각의 유의미성을 통계적으로 검증하고 해석한다. 그러므로 데이터에 대한 해석에는 통계를 활용하는 것이 좋고, 통계는 기존 인공지능의 약점을 효과적으로 보완하여 시너지를 낼 수 있다.

이러한 접근을 활용하면 한 번의 데이터 분석 프로젝트로 하나의 예측 모델을 생성하는 데에서 끝나지 않고, 분석 과정의 다양한 패턴 결과들까지 명확하게 해석할 수 있다. 이는 다양한 경영 분야에 추가로 활용될 수 있기에 데이터를 기반으로 하는 효율적인 의사결정에도 많은 도움이 될 것이다. 또한 이를 인공지능 모델들에 활용하여 모델 파라미터의 최적화에서도 시너지를 창출한다면, 기존보다 훨씬 효과적인 성과물을 만들어 낼 수 있을 것이다.

스마트 팩토리와 인공지능

현재 인공지능은 다양한 분야에 적용되고 있는데, 가장 빠르고 정확하게 인공지능의 효과를 누릴 분야는 많은 데이터가 쌓이는 분야가 될 것이다. 대표적인 분야가 스마트 팩토리로, 이 분야에는 일정하고 명확한 패턴이 존재하며 다양하기보다는 한정된 패턴의 데이터가 많이 쌓인다. 스마트 팩토리는 각 제조 프로세스가 명확하고 프로세스별로 반복적인 작업이 이루어지기에, 분석이 효과적으로 이루어질 수 있다.

이러한 스마트 팩토리의 특성에 적합한 인공지능을 활용한 데이터 분석 예로는, 첫 번째로 ‘고속데이터 분석 기반 이상 감지 시스템’을 꼽을 수 있다. 이 시스템은 진동 데이터와 같은 고속데이터를 기반으로 하여, 상세한 분석을 통해 명확한 패턴을 학습한다. 이후 이상 패턴을 감지하여 불량품이나 기기의 고장을 예측하는 데 효과적으로 사용될 수 있다. 그림2와 같이, 다양한 데이터는 아니지만 반복적인 상세 데이터를 수집하기 때문에 민감도 분석이 가능하다. 작은 움직임 패턴만으로도 의미 있는 정보를 추출하고, 이를 의사결정에 활용할 수 있다.

두 번째 예로는, 컴퓨터 비전 기술을 활용하여 사람의 패턴을 인식하고 로봇에 적용한 사례를 들 수 있다. 제조공장의 공정에서 사람이 수행하는 업무는 패턴이 정해져 있는 반복 작업이다. 따라서 데이터화를 통해 패턴을 분석할 수 있으며, 분석된 결과를 기반으로 로봇이 사람을 대체하여 공정 업무를 수행할 수 있다. 심지어 사람의 패턴을 인공지능으로 학습하여 이 패턴을 로봇에 자동 적용하는 것도 가능하다. 앞으로 사람의 단순한 행동 패턴뿐만 아니라 다양한 행동 패턴을 모두 학습하여 기계에 적용하게 된다면, 기계에 많은 사람들의 효율적인 행동이 학습되어 사람보다 정확하고 효과적인 움직임이 가능한 로봇이 탄생할 것이다.