지난 3월 14일, 엘타워 그랜드홀에서 제72회 조찬세미나가 열렸다. 이번 세미나에서는 권영준 삼성SDS 부사장이 연사로 나서 생성형 AI 산업 생태계에 대한 이해를 높이고, 이를 어떻게 기업에 도입해야 하는지 그 방법과 전략에 관해 전했다. 

 

생성형 AI를 마주한 기업의 기대와 고민

PC나 태블릿, 스마트폰 등 인터넷과 연결되는 디바이스만 있다면, 누구든 생성형 AI를 접할 수 있는 시대가 왔다. 사람들이 가장 익숙하게 접하고 있는 생성형 AI는 ChatGPT다. 글로벌 IT 기업들도 생성형 AI 서비스를 새롭게 선보이고 있다. 구글에서는 바드(Bard)를, 마이크로소프트에서는 오픈소스처럼 활용할 수 있는 리서치 사이트인 오르카2(Orca2)를 선보였다. 메타는 자체 LLM이 가능한 수준의 코드가 있는 라마를 선보였는데, 이는 오픈소스 아키텍처를 갖추어 영향력이 크다. ChatGPT로 대표되는 오픈AI는 여전히 강자의 자리를 지키고 있다. 

하지만 이는 생성형 AI의 일부일 뿐이다. 대형언어모델(Large Language Model, LLM), 기업 데이터, 미세조정(Fine-tuning), 프롬프트 엔지니어링(Prompt Engineering), 클라우드(Cloud), GPU(Graphics Processing Unit), 보안(Security) 등 겉으로 드러나지 않는 다양한 분야에서 생성형 AI를 활용하고 있다. 

가장 중요한 것은 보안이다. 성능이 좋더라도 내부 정책 때문에 ChatGPT를 그대로 사용할 수는 없다. 데이터를 업로드하는 순간 생성형 AI의 학습 자료가 되기 때문이다. 이를 방지하려면 제한된 디바이스 내에서만 생성형AI를 활용하는 한편, 부가적으로 데이터를 암호화해야 한다.

기업들은 ‘생산성 제고’, ‘고객 서비스 향상’, ‘비용 절감’, 신규 사업 확장‘ 등을 이유로 생성형 AI에 대한 기대를 갖고 있다. 생성형 AI를 적용한 워크플로우(workflows) 자동화로 단순 반복적인 작업에 소요되는 시간과 비용을 감축하고, 생성형 AI와 사내 시스템을 안전하게 연계하여 고객 서비스 적용과 함께 기업 데이터 활용을 확대하고자 한다. 

기업을 위한 생성형 AI 도입 전략

많은 기업이 생성형 AI 서비스를 개발하고, 이를 비즈니스에 적용하기를 바란다. 하지만 현실적으로 기업 내에 AI/데이터 전문 인력을 확보하기란 쉽지 않다. 기존 구성원들의 관련 역량 계발도 어렵다. 생성형 AI 확대에 직면한 기업들은 ‘보안’, ‘정확도’, ‘비용’ 측면에 대한 고민이 깊다. 보안은 가장 큰 고민이다. 기업 내부의 고객 정보 등 민감한 데이터가 외부로 누출되는 것에 대한 우려, 그리고 악의적인 사용자로부터 데이터의 왜곡이나 무단 접근 등에 대한 걱정이 깊다. 부정확하거나 편향된 답변 생성에 대한 우려는 물론 LLM 사용료 및 인프라 리소스 비용에 대한 부담도 있다.

만약 생성형 AI 도입을 진지하게 고려하고 있다면, 기업 내부에 이와 관련한 TF를 조직해야 한다. 그리고 각 회사에 적합하도록 생성형 AI에 맞추어 차별화된 활용 사례를 만들어 가는 과정이 필요하다. 

생성형 AI 도입 단계를 살펴보면, 먼저는 기술동향 분석이나 활용사례 검토 등 사전 검증이 시행되어야 한다. 그리고 본격적인 활용 사례 발굴이 진행되어야 한다. 각종 사례를 연구하고 요구사항을 분석하며, 활용 사례에 대한 모델링 및 개발 등을 수행하는 ‘활용사례 정의’는 본격적인 첫걸음에 해당한다. 다음으로는 생성형 AI에 대한 적합성 검토가 이루어져야 한다. 생성형 AI 교육 및 관련 업무 수행을 기반으로 ROI 등을 측정해야 한다. 그리고 다음 단계에서 솔루션/서비스별 벤치마킹을 포함한 생성형 AI 구현 계획을 수립한다. 이와 같은 생성형 AI 내부 준비도 평가를 마친 후에는 각 기업에 적합한 LLM 혹은 AI 서비스 플랫폼을 선정하고, 수집/전처리를 포함한 데이터 확보, 기업 내부 데이터 활용도에 따른 플랫폼/포털 구축을 진행한다. 

생성형 AI 도입 방식 결정에 필요한 참고사항

각 기업은 기업 데이터의 LLM 활용 목적과 범위, 보안 요구수준에 따라 생성형 AI 도입 방식을 결정할 수 있다. 자체 용도로 활용하는 내부 프라이빗 LLM을 구성해 기업 데이터의 외부 유출을 최소화할 수도 있고, 오픈AI나 제미나이 등 외부 LLM 플랫폼을 통해 기업 데이터를 활용할 수도 있다. 다만 이 경우 LLM 제공업체에 전적으로 데이터를 의존하게 된다. 가장 강력한 대안은 외부 LLM과 연계한 하이브리드(Hybrid)형이라 할 수 있다. 

각 기업의 사업 영역에 특화된 데이터를 활용해 특정 업무에 최적화된 LLM을 학습하려면, 미세조정 단계를 거쳐야 한다. 나아가 RAG(Retrieval-Augmented Generation)를 통해 응답의 신뢰성을 높인다. 이는 단어나 문장을 수학적인 벡터로 처리하고, 유사도 검색을 통해 검색을 더 쉽게 만드는 과정이다.

기업의 핵심 비즈니스를 생성형 AI와 통합하기 위해서는 기업 특화 데이터를 활용한 AI 모델 학습과 최적화가 필요하다. 각종 지침과 질문, 맥락을 활용하는 프롬프트 엔지니어링은 훈련기간이 없고 비용도 저렴하다. 하지만 전문성이 낮다는 한계가 있다. 가장 높은 수준의 전문성을 확보하려면 사전 학습 모델(Pre-trained Model)을 활용해야 한다. 다만 이 경우 더 긴 훈련기간과 더 높은 훈련비용이 필요하다. 삼성SDS에서도 생성형 AI를 통해 기업의 업무생산성을 향상시키는 Hyperautomation 혁신을 진행 중이다. 이를 바탕으로 업무 효율화, 비용 절감 등은 물론 코드 품질 향상과 개발 생산성 증대 등 다양한 연계 사례를 확인할 수 있었다.