CONTENTS

• 목록

9월 KSUG 뉴스레터 : 

생성형 AI를 기업에서 활용하기 (2)

2024년 9월 24일(화)

 지난 달에는 생성형 AI를 업무에 도입하고자 하는 기업들이 당면하는 어려움에 대해 알아보았습니다. 그 중에서 틀린 대답을 마치 진짜처럼 그럴듯하게 내놓는 Hallucination이 큰 걸림돌이라고 합니다. 그리고 최신 정보가 업데이트 되지 않은 지나간 정보의 제공, 게다가 챗봇 등에서 활용할 때 일정 기간 동안 외부로 나가면 안되는 보안 정보, 경쟁사 관련된 언급에서 생길지 모르는 법적인 이슈 등을 말씀드리면서 이를 해결하기 위한 방안으로 RAG (Retrieval-Augmented Generation)에 대해 말씀을 드렸습니다. 이번에는 최근 집중적인 관심을 받고 있는 RAG의 활용에 대해 간략하게 말씀을 드리겠습니다.

 RAG(Retrieval-Augmented Generation)은 기업에서 ChatGPT와 같은 언어 모델을 사용할 때 매우 유용한 기능을 제공합니다. RAG는 언어 모델에 질문을 할 때 관련된 정보를 찾아내고 언어 모델이 질문에 대한 대답을 할 때 해당 핵심 정보들을 활용하도록 하는 용도로 많이 쓰입니다. 보통 RAG는 두 가지 주요 단계로 작동하는데, 첫 번째는 ‘정보 검색 단계(Retrieval)’이고 두 번째는 ‘텍스트 생성 단계(Generation)’입니다. 이를 통해 모델은 더 정확하고 실질적인 응답을 제공할 수 있으며, 기업이 활용하기에 다음과 같은 다양한 이점을 가지고 있습니다.

1. 최신 정보 활용 : Chat-GPT 같은 일반적인 언어 모델은 대규모 학습을 시킬 때 엄청난 지원이 소요되므로 학습된 시점 이후에는 다음 학습 시킬 때까지 새로 생성된 정보를 활용할 수 없음. 그러나 RAG를 활용하면 외부 데이터베이스나 문서에서 최신 정보를 실시간으로 검색하여 이를 질문과 함께 집어 넣어 주므로 언어 모델이 답변을 할 때 같이 제공된 최신 정보를 활용할 수 있음. 기업 사용자는 사내 데이터베이스나 최신 문서를 연결하여 실시간 정보를 반영한 답변을 받을 수 있으므로 시차나 정보 부족의 제약을 극복 가능.  

2. 정확성 향상 : 일반적인 언어 모델은 학습된 데이터에 기반해 추론을 하므로, 경우에 따라 부정확하거나 오래된 정보를 제공할 수 있고, 이는 Chat-GPT와 같은 언어 모델의 단점으로 많이 지적을 받는 점임. 그러나 RAG를 활용하면 특정 질문에 대한 관련 문서를 먼저 검색한 후, 그 문서에 기초하여 더 정확하고 문맥에 맞는 답변을 생성하도록 할 수 있음. 이는 기업 사용자에게 특정 도메인 지식이나 규제 정보에 대한 정확한 응답을 보장할 때 매우 유리함.

3. 맞춤형 정보 제공 : RAG는 기업이 보유한 내부 문서, 정책, 가이드라인 등과 같은 비공개 데이터를 검색해 응답을 생성할 수 있음. 이는 기업 내 특정한 규정, 제품 매뉴얼, 기술 문서 등에 기반한 맞춤형 답변을 생성할 때 유용함.

4. 기술 지원 및 고객 서비스 향상 : RAG를 활용하면 고객의 질문에 대해 내부 기술 문서나 FAQ 등을 기반으로 더욱 정확하고 빠른 답변을 제공. 예를 들어, 고객 지원 팀은 기술 문서나 고객 이력에서 즉각적인 검색을 통해 고객 문의를 해결할 수 있음. 방만한 대답을 하기보다 특정 영역에 특화된 대답을 유도하기 위해 유용하게 활용.

5. 데이터 보안 및 프라이버시 유지 : 기업 내 민감한 데이터를 외부로 유출하지 않고 내부 정보만 검색해 사용할 수 있는 시스템을 구축 가능. 이를 통해 기업의 데이터를 안전하게 유지하면서도 효율적으로 활용할 수 있음. 이러한 정보는 대부분 기업 밖으로 나가면 곤란한 보안 정책에 관련되어 있고, 외부로 흘러 나가서 언어모델이 학습을 하는 정보에 포함되면 안되지만 기업 내부적으로는 유용하게 활용되어야 할 내용들을 활용 가능케 함.

 이러한 RAG의 장점은 현재까지 개인의 활용에 국한되었던 AI 언어모델이 보안이나 Hallucination 문제로 인해 기업에서는 활용이 더디어지고, 업무 혁신에 직접적인 도움을 주지 못한다는 사실을 극복하는 결정적인 솔루션이 되고 있습니다. 이렇게 ChatGPT와 RAG를 결합해 사용하면 다양한 측면에서 효율성을 높일 수 있으니, 기업의 입장에서는 이제는 더 이상 Chat-GPT와 같은 언어 모델의 도입을 미루지 않아도 되는 상황이 되고 있습니다.

 기업에서 RAG를 활용할 때 고려할 수 있는 다양한 대안 및 기술 스택이 있습니다. 이러한 대안들은 RAG와 유사한 방식으로 정보 검색과 생성 작업을 결합하여 기업의 요구에 맞게 확장 가능하고 유연하게 적용할 수 있습니다. 아래는 유용한 대안들입니다.

1. OpenAI GPT-4와 검색 API 통합
– 특징 : OpenAI의 GPT-4 같은 강력한 언어 모델을 외부 검색 API 또는 내부 데이터베이스와 통합하여 RAG 방식으로 사용 가능. 기업은 자체적인 문서 데이터베이스나 웹사이트에서 실시간 정보를 검색하고 이를 기반으로 ChatGPT가 답변을 생성하게 할 수 있음
– 강점 : OpenAI의 강력한 언어 처리 능력과 기업의 최신 정보 또는 내부 데이터베이스를 결합하여 최신 및 도메인 특화된 답변을 제공.

2. Microsoft Azure Cognitive Search + Azure OpenAI 
– 특징 : Microsoft의 Azure Cognitive Search는 고급 검색 기능을 제공하며, 이를 Azure OpenAI 서비스와 결합하여 사용하면 RAG와 같은 구조를 만들 수 있음. Azure Cognitive Search는 문서, 데이터베이스, 내부 시스템 등에서 관련 데이터를 검색하고, 검색된 데이터를 바탕으로 Azure OpenAI를 통해 텍스트를 생성함.
– 강점 : 클라우드 기반의 확장성, 다양한 데이터 소스 통합, 강력한 검색 기능, Azure 생태계와의 원활한 통합을 통한 관리 편의성.

3. Google Cloud’s PaLM API + Google Cloud Search
– 특징: Google Cloud의 PaLM(Pre-trained Language Model) API를 Google Cloud Search와 통합하여, 내부 문서 및 데이터에서 검색된 정보를 바탕으로 텍스트를 생성하는 시스템을 구축 가능. Google Cloud Search는 Google의 강력한 검색 기술을 바탕으로 하며, 기업의 내부 데이터를 안전하게 관리하고 검색하는 데 효과적임.
– 강점 : Google의 언어 모델 및 검색 기능을 결합하여 대규모 데이터에서 효율적으로 정보를 검색하고 답변을 생성할 수 있음. Google Workspace와의 원활한 통합.

4. ElasticSearch + LangChain
– 특징 : ElasticSearch는 오픈소스 기반의 강력한 검색 엔진으로, 대규모 데이터 세트에서 빠르게 검색할 수 있음. 이와 함께 LangChain을 사용하여 언어 모델이 검색된 정보를 바탕으로 텍스트를 생성 가능. LangChain은 다양한 언어 모델과 검색 엔진을 통합하는 프레임워크로, RAG 스타일의 시스템을 구현하는 데 적합.
– 강점 : 오픈소스 기반으로 자유롭게 커스터마이징 가능하며, ElasticSearch의 빠르고 강력한 검색 기능을 활용하여 대규모 데이터를 빠르게 검색할 수 있는 성능 덕분에 많은 기업들이 채택. ElasticSearch와 함께 LangChain을 사용하면 검색과 텍스트 생성의 조합을 손쉽게 구현할 수 있음.

 이렇게 기업에서 언어 모델을 활용하기 어려웠던 장벽이 허물어지면서 이제는 본격적으로 생성형 AI의 선도인 언어모델이 생산성의 혁신을 만들기 위해 활용되는데 한걸음 크게 다가서게 되었습니다. 앞으로 이러한 AI 기술 도입은 더욱 가속화될 것이므로, 기업들은 이를 연구하고 도입하는 데 박차를 가할 필요가 있다고 생각됩니다.

 다음 호에서는 이를 유용하게 잘 활용하는 사례에 대해 알아보도록 하겠습니다.