CONTENTS

• 목록

8월 KSUG 뉴스레터 : 

생성형 AI를 기업에서 활용하기

2024년 8월 28일(수)

 현재 많은 기업들은 빠르게 발전하는 생성형 AI를 어떻게 활용할지에 대해 많은 연구와 시도를 하고 있습니다. 특히 OpenAI의 Chat-GPT와 유사한 AI 서비스들이 주목받으면서 대형 언어 모델(LLM, Large Language Model)의 활용에 대한 관심이 커지고 있습니다. 최근에는 모든 영역을 다루는 LLM 대신, s-LLM(소형화된 LLM)을 도입해 자사의 환경이나 사업에 특화된 영역에서 전문성을 극대화하려는 시도가 증가하고 있습니다.

기업의 AI 활용 현황
 

 이전 뉴스레터에서 여러 번 언급한 것처럼, 많은 기업들이 AI 기능을 업무에 활용하여 생산성을 높이기 위한 다양한 시도를 하고 있습니다. 기존의 머신러닝은 계획 수립, 품질 분석, 예방 보전 등 여러 운영 문제를 분류하고 분석하는 데 활발히 쓰여지고 있습니다. 그러나 Chat-GPT 이후 생성형 AI, 특히 LLM은 주로 개인 사용자들이 많이 사용하고 있는 반면, 기업에서는 보고서 작성 등 사무직 보조 역할로 제한적으로 활용되고 있습니다. 운영 인력을 대체하거나 프로세스를 혁신적으로 변화시키기 위해서는 아직 많은 장애물이 존재합니다.

보안 문제와 AI 도입의 고민
 

 Chat-GPT와 같은 일반 LLM 서비스에 대해 기업들이 가장 우려하는 문제는 보안입니다. 과거 클라우드 IT 인프라 도입 초기의 우려처럼, 기업의 내부 정보가 외부로 유출될 수 있다는 걱정이 있습니다. LLM이 학습할 때, 기존에 질문을 통해 흘러간 우리 회사의 정보를 활용하게 되면, 경쟁사의 사용자가 질문했을 때 내 정보가 포함될 수 있다는 우려가 있는 것이죠. AI 서비스 업체들은 이러한 일이 발생하지 않도록 조치를 취했고, 별도의 B2B용 서비스를 제공하고 있지만, 여전히 일부 산업에서는 이러한 우려가 남아있습니다.

콜센터와 챗봇의 활용

 많은 회사들은 콜센터 상담사 역할이나 챗봇에 LLM을 활용하려는 시도를 하고 있습니다. LLM이 대고객 서비스 수준을 높일 수 있을 것이라는 기대 때문입니다. 상담사 역할은 매우 힘든 정신 노동이 요구되는 직종이기 때문에, 이를 AI가 대체할 수 있다면 많은 기업들이 환영할 것입니다. 그러나 여기에도 여전히 문제가 남아있습니다. 바로 언어 모델을 기반으로 한 생성형 AI에서 흔히 발생하는 "Hallucination"(환각, 엉뚱한 대답) 현상입니다.

Hallucination의 문제와 s-LLM의 도입

 Chat-GPT와 같은 LLM 서비스에서는 틀린 대답을 마치 진짜처럼 그럴듯하게 내놓는 경우가 많습니다. 기업에게는 이러한 Hallucination이 고객 관계에서 큰 문제를 일으킬 수 있습니다. 잘못된 대답으로 고객을 화나게 하거나, 경쟁사를 자극할 수 있으며, 이는 법적 분쟁을 초래할 수 있습니다. 현재는 챗봇이 고객 응대를 직접 처리하기보다는, 상담원이 이를 검토하고 판단하여 불필요한 말을 걸러내는 방식이 사용되고 있지만, 이는 근본적인 해결책이 되지 않습니다. 또한, 이러한 Hallucination 현상은 기업 내부에서 LLM을 활용하는 데에도 문제를 야기합니다. 잘못된 정보에 기반한 응답이 잘못된 의사결정을 초래할 수 있기 때문입니다. 이를 극복하기 위해 s-LLM을 도입하여 도메인 특화 데이터를 활용하고, 특정 분야에서 전문적인 지식 베이스를 활용해 훈련하는 방법이 있습니다. 그러나 이 모든 과정은 막대한 비용이 들기 때문에, 대기업이 아닌 일반 기업에게는 어려운 선택일 수 있습니다.

RAG를 통한 Hallucination 최소화

 최근에는 일반 LLM을 사용하면서도 Hallucination을 최소화하기 위해 RAG(Retrieval-Augmented Generation)가 많이 활용되고 있습니다. RAG는 정보 검색과 생성 모델을 결합하여, 질문에 대한 답변을 제공하는 접근 방식입니다. 사용자가 질문을 하면 관련된 정보를 먼저 검색하고, 그 정보를 바탕으로 LLM이 응답을 생성하도록 제한합니다. 이렇게 하면 엉뚱한 답을 할 가능성이 줄어듭니다. 또한 사전에 준비된 템플릿이나 연관 정보를 활용하여 질문 자체를 좀 더 구체화하거나 강화된 질문으로 대체함으로써, LLM이 정확도 높은 답변을 생성하도록 유도할 수도 있습니다. 초기에는 변형된 질문으로 생성된 응답을 상담원이 먼저 검수하는 프로세스를 통해 답변의 품질을 관리하고 리스크를 관리할 수도 있습니다.

RAG의 역할과 성공 요인
 

 RAG의 주요 역할은 다음과 같습니다:
        – 데이터 수집 및 준비
        – 데이터 전처리
        – 인덱싱
        – 데이터 품질 관리
        – 검색 모델 최적화

 이러한 활동의 성공 요인은 데이터 품질 관리와 검색 모델 최적화에 있으며, 이와 관련된 솔루션들도 시장에 등장하고 있습니다. Hallucination이 최소화된 응답을 제공할 수 있게 되면, LLM은 기업에서 본격적인 혁신을 이끄는 역할을 할 것으로 기대됩니다.

 다음 호에서는 RAG가 어떻게 작동하는지, 어떤 솔루션들이 있는지, 그리고 SAP와의 연계 사용 방법에 대해 계속 알아보도록 하겠습니다.