CONTENTS

• 목록

[12월 KSUG 특집 패널 토크 : 핵심 포인트만 보기!]

2024년 12월 13일(금) 진행된 제46회 KSUG 패널 토크, ‘기업을 위한 AI 적용 사례 - 2탄’ 세션이 성료 되었습니다!

12월 패널 토크는 11월에 이어서 두 번째 AI 특집을 이어갔습니다. 이번 토론회에서는 ERP+AI 운영 사례, 업무에서 생성형 AI의 활용법, 그리고 AI 투자의 핵심 영역 등, 보다 구체적이고 실질적인 AI 활용 사례를 공유하고, 기업이 직면한 AI 도입 및 활용의 주요 주제들을 대상으로 각 분야 전문가들과 함께 심도 있는 토론을 하며 자세히 알아보는 시간이었습니다!

<Session 1. 발표>

[Megazone Cloud] 실전에 강한 메가존클라우드 생성형 AI 오퍼링 소개
메가존클라우드는 국내 최고의 클라우드 MSP 전문 업체로 알고 있었는데 생성형AI를 기반으로 기업의 클라우드 도입부터 디지털 트랜스포메이션을 위한 컨설팅, 구축 및 운영 관리를 포함한 다양한 서비스를 통해서 성공적인 디지털 전환과 최적화를 지원하고 있어서 인상적이였습니다. 데이터 분석을 전문적으로 지원하고 GenAI 360을 통해서 AI 구축 및 운영을 위한 토탈 서비스를 제공하고 있으니 관심 가져보시면 좋을 것 같습니다.

[PwC Consulting] SAP ERP 활용 기업을 위한 ERP + AI 적용 사례

국내 SAP ERP 및 CRM, SCM 등 메가시스템 관련 컨설팅 및 구축을 독보적으로 하고 있는 PwC컨설팅이 ERP 활용 효율성을 높이기 위해서 SAP ERP 위에 AI 적용을 통해서 오퍼레이션 효율을 높여주고 있는 점이 매우 인상적이였습니다. 프로세스를 자동처리하고 예상만 확인하며 또한 미래 예측을 지원해주고 하나의 화면에서 모든 업무 처리를 해주니 매우 유용할 것 같습니다. 상세한 사례도 도움이 많이 되었습니다.

[Dell Technologies] Dell의 AI 기술이 비즈니스 혁신에 기여하는 방법

Dell Technologies도 하드웨어 기반의 기업으로 인식하고 있었는데 Dell AI 팩토리 컨셉을 통해서 유저케이스와 데이터를 기반으로 폭넓은 인프라스트럭처 기반 위에 다양한 AI 에코시스템을 통해서 광범위한 AI 서비스 포트폴리오 활용을 통한 기업의 비즈니스 성과 창출을 견인하고 있는 점이 놀라웠습니다. AI 적용을 위한 커먼 유저 케이스와 방법론 등이 많은 도움이 될 것 같습니다. 

뿐만 아니라 여러분들의 사전 및 실시간 질문에 대한 전문가들의 답변을 실시간 생생한 내용으로 들을 수 있었습니다. 전문가들의 답변, 지금 바로 확인해 보세요! 

<Session 2. 패널 토의 및 실시간 Q&A>

1) 생성형 AI APP 개발 아키텍처와 MLOps 관련 간단한 설명 부탁합니다

(Megazone Cloud) 생각보다 굉장히 넓은 주제를 한 번에 물어보셔 가지고 좀 당황스럽긴 합니다. 그런데 간단하게 좀 설명 드리면 일단은 기본적으로 인프라 스트럭쳐 레이어가 분명히 필요할 거고요. 그리고 그 위에 두 개의 플랫폼이 필요합니다. 하나는 AI의 모델들을 서빙하고 학습시키고 이런 이제 이른바 AI플랫폼 그리고 당연하게도 AI도 데이터가 기반이 되지 않으면 일어날 수 없습니다. 그래서 데이터 플랫폼이 존재할 거고요. 그리고 이것이 비즈니스에 익스포저 되기 위한 어플리케이션을 응용할 수 있을만한 프레임웍 그리고 전체적으로 이것을 아울러가지고 매지지먼트 할 수 있는 매지니먼트 프레임웍 이 정도로 일단은 간단하게 설명을 드리겠습니다.      

2) ERP에 AI 사례들을 구현하기 위해서 사전에 ERP에서 준비해야 하는 것들이 있다면 무엇인가요? 또한 이 때 SAP ERP 버전에 대한 제약이 있나요? (김희균)

(PwC) 네 역시 몸풀기에 비해서 핵심적인 질문입니다. 사실 ERP에 AI를 접목을 할 때 필요한 요소들이 크게 이제 4가지 정도가 있습니다. 보면은 AI 플랫폼하고 모델은 기본적으로 필요하고요. 뭐 전형적인 이제 모델이 필요한 게 chatGPT니 LLM이니 그리고 RAG 이런 것들이 필요하고요. 두 번째로는 프로세스를 이제 상세하게 분석하고 설계하는 능력이 필요합니다. 과거 같은 경우에 Level5 이 정도로 끝났는데 이제는 Level6까지 내려 갈 수도 있고요. 그리고 ERP도 개발 방법론이 바뀌어야 될 수도 있습니다. 이런 부분도 있고 데이터의 접근권도 이제 좀 다르게 생각해야 됩니다. 과거에는 정형데이터만 보고 이제 비정형 데이터 같은 경우에는 무시를 했는데 이제는 AI에서는 오히려 비정형 데이터가 더 중요할 수도 있습니다. 그런 관점에서 봤을 때 ERP관점으로 봤을 때 플랫폼이 이제 어떻게 보면 어떤 플랫폼을 쓸 수 있느냐 또는 어떤 형태로 될 수 있느냐 유형이 있을 것 같은데요. SAP에서는 이제 두 가지 유형을 나누고 있습니다. 커스터마이즈드AI가 있고 임베디드AI라고 볼 수 있는 게 있는데요. 임베디드AI는 한마디로 SAP에 있는 표준 프로그램에 붙은 AI기능이라고 보시면 되고요. 결론만 먼저 말씀을 드리면 온프레미스 버전에서는 일반적으로 이런 임베디드AI는 사용이 불가합니다. PCE같은 경우에는 어떤 부분들은 로드맵에 따라 가지고 오픈이 되기도 하고요. 그런데 퍼블릭 클라우드 ERP 같은 경우에는 100% 임베디드AI를 사용할 수 있다라고 보시면 좋을 것 같습니다. 그리고 커스터마이즈드 AI는 사실 SAP에서는 BTP라는 솔루션도 플랫폼을 제공을 하고 있고요. 뭐 MS에서는 애저라든지 하는 서비스들을 활용하는 방식으로 개발을 할 수 있을 것으로 보입니다.    

3) 하드웨어 사이즈에 대한 전략은 어떻게 가져가는 것이 좋은가요? -인프라 특성에 맞춰서 달라질 수 있는 요소들이 있는지? (지정원)

(Dell Technologies) 네 먼저 인프라 관점에서는 저희들은 이제 온프레임에 대한 부분들이 일단 전제가 되는 부분들이 좀 있습니다. 기본적으로 클라우드 같은 경우에는 모든 인프라에 대한 사이징이나 이런 부분들을 다 클라우드에 맡겨 놨지만 결국은 데이터가 이제 중요해 지고 데이터의 사이즈가 커지면 클라우드에 넣는 부분들이 부담이 되기 때문에 사실 온프레임을 내려오게 되는데요. 출발은 고객이 뭘 원하느냐에 따라서 달라진다고 생각합니다. 예를 들어서 내가 이제 데이터를 학습을 먼저 시켜야 된다 아니면 기존에 있는 모델을 가지고 튜닝을 시켜야 된다 아니면 그 데이터에 대한 부분보다는 우리가 RAG를 통해서 인퍼런스에 포커스하고 서비스 먼저 개발하는데 따라서 사실 유스케이스가 달라지는데요. 그 때 그 때마다 들어가야 되는 어떤 사이징과 종류가 달라지게 되겠죠. GPU 사이즈도 달라지고 사실 스토리지 사이즈 노드 숫자가 다 달라질 겁니다. 그래서 그 부분들을 잘 할 수 있는 부분들이 워크로드에 따라서 결국 달라지게 되는 부분이 있다라고 하는 거고요. 중요한 것은 뭐냐 하면 기업이 AI비즈니스를 할 때 AI서비스를 할 때 한 가지만 하지는 않습니다. 첫 번째에 대한 부분들로 내가 어떻게 성공하고 이게 얼마나 성과를 나는지를 본 다음에 그 것이 연계되든지 아니면 좀 더 나가는 비용으로 그 부분으로 점점 확대를 시켜야 합니다. 그러면서 기존에 있던 자산을 계속 증강시켜서 넓혀가는 부분들이 있거든요. 그렇게 때문에 사이징을 할 때 일관된 아키텍처를 가지고 스케일러블 하는 아키텍처에 대한 인프라 구조를 가져가는 것이 맞다 라고 말씀드릴 수 있을 것 같습니다.     

4) 기업마다 DB의 데이터 구조 및 운영 기준이 각기 상이한데, 어떤 기준으로 데이터를 수집하는지요? 

(Megazone Cloud) 잠깐 중간에 이제 Pwc쪽에서도 말씀 드렸던 것 같은데 이게 기존의 데이터, 빅데이터 때부터 데이터를 수집할 때 업무 어플리케이션부터 수집하는 것을 통합시키기 위해 데이터 플랫폼 만드는 노력을 했잖아요. 그런데 지금은 또 AI시대에 와서는 이른바 AI레디 데이터라고 표현이 되죠. 그러니까 AI에 맞게 정리가 될 필요가 있거든요. 그러니까 실제로 저희가 뭐 AI를 위해서 데이터를 학습용 데이터를 만든다거나 아니면은 AI의 검색증강을 시키기 위한 데이터거나 이런 것들이 저희가 상상하는 것 보다는 구조가 조금 다릅니다. 그래서 예를 들어서 문서라고 해도 문서가 그냥 있는 그대로 그 안에 텍스트만 가지고서 검색증강을 하긴 좀 어려운 구조가 있어요. 그래서 예를 들어 저희 같은 경우에는 문서가 바라는 바가 무엇이라는 일종의 문서를 위한 메타정보도 같이 넣으면서 모델링을 해서 적재를 하거든요. 이렇게 되면은 다른 형태의 AI 에이전트들이 이 메타가 있는 문서의 데이터를 가지고서 즉시 활용하기 굉장히 용이한 구조가 되어 버립니다. 그래서 현재는 AI를 위한 데이터도 뭐 근본적인 건 데이터 플랫폼인건 맞는데 그 안에 형태가 AI향으로 갈 필요가 있다라고 고객들 한테 말씀 드리고 설계하고 있습니다.         

5) 성능 좋은 검색, 증강 및 생성의 RAG를 구축하는 방법과 해야 하는 주요 이유는? -정확도가 떨어지는 경우 어떻게 해야 되는지? (양광진)

(Megazone Cloud) 네 그 검색증강이라는 영역이 이게 원론적으로 얘기 드리면 이게 오픈AI라는 걸 비롯해서 생성형AI가 좀 퍼블릭씰 부터 좀 온 게 있어요. 그런데 기업에서는 사실 내부의 데이터가 꼭 문서만은 아니거든요. 저희는 고객한테 물어보는 게 이 문서도 사실 기업에서 생산한 문서면은 이 문서를 생산하기 위한 근거 데이터가 있는 거 아닐까요? 라고 해서 그게 원천이라고 말씀을 드립니다. 그랬을 때 보다도 정확성을 올릴 수가 있고요. 그리고 두 번째로는 고객 분들이 문서만 생각하는 게 아니라 사실은 기업에는 생각보다 훌륭한 데이터들이 이미 있거든요. 정형데이터들이 그래서 저희는 RAG를 구성할 때 정확도를 올리기 위해서 특히나 이런 주로 이제 RAG를 필요로 하는 데가 이제 환각현상을 방지하기 위해서 쓰는데 그래서 기업의 어떤 텍스트 기반으로 검색이 되어지는 무언가 그리고 문서로 생산된 무언가 그리고 기존에 있던 기업의 정형데이터 셋트 이게 엄밀히 보면 넓은 의미의 RAG대상이라고 보고 그것을 맞추기 위한 데이터를 수집해서 랜딩 시키고 있습니다.       

(Dell Technologies) 일단은 퍼포먼스 같은게 되게 중요할 것 같습니다. 일단 저희들이 RAG라고 하는 부분들이 결국 내부에 있는 데이터를 이용을 하는 부분이기 때문에 벡터 대비라든지 이런 부분들이 결국은 그 성능이 결국 물어보는 거에 대해서 답이 바로 나오는 부분이기 때문에 거기에 대한 성능과 아키텍처 이런 것들이 다 되게 중요할 것 같습니다. 

6) 텍스트 기반이 아닌 수치 데이터 기반의 데이터를 LLM 및 RAG로 분석하기 위한 중간 해석 미들웨어를 위한 솔루션이나 계획이 있는지요?

(Megazone Cloud) 마침 아까 앞서 설명 들었던 것처럼 저희 프로덕에 테이블 형태의 RAG라는 아마 기능을 보셨을 것 같아요. 그러니까 그게 어느 정도 일부 커버를 하고 있고요. 그런데 여기서 분명히 말씀 드리고 싶은 것은 기존의 정형 데이터베이스를 RAG형태로 활용하기 위해서는 이렇게 한번 상상해 보시면 좋을 것 같아요. 저희가 정본기 시스템에서 데이터 웨어하우스를 구성하고 데이터 마트를 만드는 것은 사실 현재까지는 대부분이 BI도구에 붙이기 위한 모델링을 했다고 본다면은 생성형AI에 붙일 때는 생성형AI에 맞는 모델링이 필요합니다. 그래서 뭐 예를 들어서 SAP BW에 어떤 데이터 셋트 수행하려는 어떤 데이터 셋트가 있으면은 이 것은 SAP에 프론트 엔드에서 보기에 좋은 구조 그리고 BI도구에 붙기 좋은 구조이긴 하나 AI에 바로 붙이면은 이해를 못할 수 있거든요. 그래서 저희가 경우에 따라서는 역정규화 하기도 하고요. 자연어로 잘 처리 될 수 있도록 그런 기법들을 일종의 표준화 시켜서 이제 자동화를 시켜 놓는 방안들을 고민해서 일부는 적용한 게 저희 플랫폼에 녹여져 있는 거고 또 일부는 고객들하고 커스터마이징을 해서 진행을 하고 있습니다.                 

7) 기업이 데이터를 가지고 있지 않은데 어떻게 수집할 수 있으며, 특히 중소기업은 데이터 제약을 어떻게 극복해서 사용할 수 있나요?

(Megazone Cloud) 이제 없는 데이터를 만들어 내는 거에 대해서는 사실은 과거부터 있었던 것 같아요. 그런데 일단 먼저 중소기업 씬을 먼저 말씀 드리면 결국에는 데이터를 수집하려는 목적이 예를 들어서 모델을 개발하고 싶은 거다 라고 하면 사실 훌륭한 파운데이션 모델을 기반으로 두고 그 다음에 그것을 보조하는 SLM을 개발하는 형태로만 진행해도 사실은 충분히 가시화 시킬 수 있는 성과를 낼 수 있을 거라고 보고요. 그런데 만약에 실제로 우리든 예를 들어서 큰 이제 우리만의 거대모델 한번 만들어 보고 싶다 그런데 데이터가 일부 부족하다 하는 것은 여러 가지 사실 활용사례가 있을 수 있겠으나 가장 대표적으로는 현재 그 파운데이션 모델을 활용해서 데이터를 증강시켜 버리는 방법들을 주로 사용하고 있습니다. 기존의 데이터를 가지고 현재 오픈 LLM을 가지고 그 데이터를 팽창을 시키는 거죠. 확대를 시키고 주제를 넣어서 확대를 시키고 그런 다음에 그 데이터에 대한 품질평가를 자동화 해서 믿을 수 있는 데이터를 다시 넣는 형태 그렇게도 좀 가이드를 드리고 있어요.

(사회자) 기업이 하기에는 좀 어렵다고 느껴지네요? 

(Megazone Cloud) 속된 말로 AI는 돈이면 다 되는데 돈이 많이 들긴 합니다. 아무래도.   

8) 설명한 "A/P Automation Process Overview"는 어떤 기술 기반 위에서 작동하게 되며, 기존 DT 과제와 유사한 것 같은데 어떤 변화가 있으며 특장점은 무엇인가요? 더불어 기존의 RPA 구축은 어떻게 되나요? (tj1156)

(PwC) 네 우선 기술기반이라는 측면에서는 소위 과거에는 OCR로 불렀지만 저는 다큐먼트 AI라고 부르고 싶은 그런 기술요소가 있었고요. 그리고 판단이라는 측면에서는 뭐 파운데이션 모델이라고 부르고 LLM이라고 부르는 그런 이제 언어모델을 사용을 했었습니다. 그리고 사실 이런 주제들이 2018년부터 2022년도 DT라는 과제로 상당히 많이 있었습니다. 그런데 그때하고 달라졌던 부분을 저는 크게 이제 두 가지 정도라고 생각을 하는데요. 기존 모델이 기존 알고리즘이 되게 좋아졌다 그리고 두 번째로는 없던 게 생겼다. 없던 것이 무엇이냐 하면은 GPT에 추론이나 판단능력 이런 것들이 준수하게 올라 온 그런 두 가지가 좀 차이가 있을 것 같습니다. 예가 일종에 이런 겁니다. OCR의 정확도라든지 그런 것들이 과거에는 75% 뭐 80%였다면 요즘에는 프리 트랜드 모델을 이용을 하면 90에서 95% 뭐 더 옵티마이제이션 하면은 좀 더 올라갈 수 있는 그런 부분들이 크게 바뀌었기 때문에 DT의, 과거의 DT에 과제들을 이제는 진짜 해볼 수 있지 않을까 라고도 낙관적으로 생각하고 있습니다.        

9) Document AI의 경우 Cloud 서비스를 사용하는지요? 이 때 어떤 LLM을 사용하는지요?

(PwC) 사실 앞에 얘기했던 75%, 80%가 사실은 과거에는 다 온프레미스에 머신러닝 기반이었습니다. 그러다 보니까 모든 데이터들을 다 넣고 회사 고유의 OCR을 만들었었죠. 그런데 이제 지금은 클라우드 서비스 특히 SAP에는 다큐먼트 인포메이션 익스트랙션이 있고요. MS에는 애저의 다큐먼트 인텔리전스 등등의 클라우드 솔루션들이 상당히 많이 있습니다. 그래서 이런 것들을 사용을 하면 적은 비용으로도 준수한 성능을 나올 수 있고요. 다만 이제 문서의 보안이라든지 그런 측면에서 좀 고려할 요소들은 좀 있고요. 저희 Pwc에서는 그런 보안적인 관점에서도 여러 가지 대안을 가지고 있다라고 말씀 드리고 싶습니다. 

10) 지능형 프로세스의 자동화는 어떤 기술 기반으로 만들었나요? 또한 MS 팀즈에서만 작동이 되나요? 

(PwC) 사실 사례를 팀즈를 보여 드렸던 이유가 어떻게 보면 요즘에 기업에서 가장 많이 쓰는 커뮤니케이션 채널이 이제 팀즈니까 먼저 팀즈를 보여 드렸고요. 커뮤니케이션이 다른데도 많습니다. 뭐 판교IT쪽에는 슬랙이 기본이고요. 뭐 그런 쪽에서는 이제 그에 맞춰서 기술을 적용을 하고 있습니다. 기술요소가 필요한 것들은 AI는 당연히 필요하고 대부분의 기술요소가 다큐먼트 AI도 필요로 하고 그리고 오픈API 등등의 기술들도 필요합니다. 우리가 홈텍스에 가가지고 사업자 등록 상태를 확인한다든가 또는 SAP에 트랜잭션을 처리할 때는 뭐 바피라든지 또는 비즈니스API 또는 RFC등등을 결합해가지고 하고 있고요. 그래서 기술요소라는 측면에서는 여러 가지 앞에서 소개 드렸던 기술요소들을 컨설팅의 입장에서 재조합 해 가지고 하는 서비스들이 가장 특장점이 되어야 되지 않을까 생각하고 있습니다.   

11 지능형 프로세스의 자동화는 SAP Joule과 어떻게 되나요? 

(PwC) 사실 SAP의 가장 좋은 프로덕트를 기반으로 만든 프로지능형 프로세스 자동화의 대명사 또는 트레이드마크가 Joule이라고 저는 생각을 하고 있고요. 그 Joule의 동작을 보시면 사용자의 의도와 그리고 지시에 따라가지고 트랜잭션을 처리하거나 데이터를 보여 주는 그런 사례는 유사합니다. 그렇기 때문에 SAP내에서 최대한 만들어진 지능형 프로세스 자동화의 상품 Joule이라고 보시면 되고요. 다만 컨설팅이라는 입장에서 조금 말씀을 좀 드리자면 결국에는 사용자가 인지하지도 못한 채도 지능형으로 프로세스가 흘러 가는 게 백-엔드 에서 흘러가는 게 가장 핵심적인 포인트라고 생각을 하고 있습니다. 그래서 저희는 여러 가지 기술 요소 중에서 Joule이 출시가 되고 공식적으로 한국에서 활용하게 되면 그런 Joule도 쓸 거고요. 여러 가지 기술요소를 조합해 가지고 서비스 할 예정입니다.   

12) AI Factory란 무엇이며, 필요한 이유는? Dell의 AI Factory의 주요 특징은?

(Dell Technologies) 네 우리가 공장에서, 공장이라고 하면 원료를 사다가 여러 가지 프로세스를 거쳐서 실 제품을 만들지 않습니까? 그러니까 AI에서 가장 중요한 재료는 데이터인데 그러면 데이터를 일반적으로 어떤 프로세스와 과정을 거치고 어떤 시스템을 거쳐서 결국 기업이 필요한 어떤 비즈니스 통찰력을 만들어 내는 것들이 AI 팩토리가 해야 될 일이라고 할 수 있습니다. 이 부분들이 왜 AI 팩토리 같은 개념이 필요하냐 하면 AI과정이 굉장히 복잡한 과정을 만들어서 데이터를 처리하는 과정을 필요하게 되는데 이것들을 어떤 특정한 체계나 시스템이 없다고 하면 돌아가지가 않을 위험이 있습니다. 그래서 이 부분들을 일관적이고 그 기업내부에서 일관적으로 갈 수 있도록 하는 것들이 이 AI팩토리의 개념입니다. DELL에서는 AI팩토리를 그래서 다섯 가지의 가장 중요한 팩터를 나누고 있는데 그게 이제 유스케이스에 대한 부분들이 집중하고요. 그 다음에 그걸 데이터를 만들 수 있는 데이터의 생산부터 관리 그 다음에 그걸 갖다 어떻게 공급을 할 것인지 파이프라인을 지속적으로 유지할 수 있는 부분들에 대한 부분들이 이제 포커스가 됩니다. 그리고 그걸 할 수 있는 다양한 인프라가 있죠. 그 네트워크도 저성능부터 아주 고속 네트워크도 있고 스토리지도 마찬가지고요. 그 다음에 서버도 한가지가 아니라 사실 GPU가 일하는 서버뿐만 아니라 PC, 일반적인 노트북까지 MPU깔리는 어떤 노트북까지 굉장히 다양한 옵션들이 인프라에서 존재합니다. 그리고 그 위에 올라 가는 것들이 결국 여러 가지 소프트웨어들이 많이 결합되면서 사실 이어져야 되는 부분들이 있고 그래서 서비스까지 그래서 5가지 영역에 대해서는 가장 핵심적인 부분들이 그 5가지 영역에 대해서 가장 집중적으로 할 수 있어야 된다라고 해서 그래서 그걸 약간 프레임웍화 시켜서 만들어 놓은 것들이 DELL AI 팩토리라고 말씀 드릴 수 있습니다.          

13) AI 팩토리 구축을 위해서 온프레미스나 클라우드에 특정한 제약이 있는지? 그리고 DELL AI팩토리를 쓰면 뭐가 좋은지? 그리고 혹시 이걸 사용한 국내 사례가 있는지? 

(Dell Technologies) 첫 번째 온프레임에 대한 부분들이 가장 일단 저희들은 AI 팩토리 라고 하는 부분들이 결국 고객이 하드웨어를 필요로 하는 부분들이 있기 때문에 전체적으로 클라우드에 올라갔다고 하면 고객은 클라우드에서는 이제 하드웨어를 신경 쓰지 않으시죠. 그렇지만 고객이 비용이나 데이터에 대한 보안문제 특히 우리나라에는 그런 방산기업 이라든지 아니면 내부 제조기업이라든지 온라인으로 갈 수 없는 기업들이 꽤 있습니다. 그 기업 같은 경우에는 결국 내부에 있는 온프레임에 대한 부분들이 필요한데 사실은 AI 팩토리는 온프레임에 대한 부분들이 좀 집중이 되고요. 하이브리드 형태로 데이터에 대한 위치와 그 부분들을 하이브리드 형태로 할 수는 있습니다. 그런데 이제 일단은 온프레임에 집중이 됐다고 생각하시면 될 것 같고요. 그 다음에 이 부분들이 DELL같은 경우에는 사실 한 3가지 정도로 좀 생각할 수 있을 것 같은데 일단은 최근에 이제 NVIDIA가 굉장히 각광을 받으면서 사실 같이 뜬 기업들이 DELL같은 기업인데요. 가장 서버라든지 이런 하드웨어 인프라에 대한 안정성 부분들이 아마 성능적으로 가장 우수한 부분들이 있다는 게 첫 번째가 될 수 있고 두 번째는 공급망 관련된 부분입니다. 지금 사실은 작년부터 실제 그 GPU서버에 대한 공급망이 굉장히 딸려있는 부분들인데 DELL이 공급망에 대한 강점을 갖고 있고요. 그 다음에 DELL이 이제 에코시스템들이 굉장히 강합니다. 그래서 실제 글로벌에 있는 많은 기업들이 DELL과 파트너십을 통해서 여기 있는 Pwc라든지 국내에서는 메가존이라든지 이런 식으로 국내외로 다양한 에코 파트너들하고 협업을 하고 있기 때문에 그 부분들에 대한 강점을 충분히 누릴 수 있는 게 저희 DELL의 강점이라고 볼 수 있을 것 같습니다.

14) 생성형 AI를 활용해 업무를 자동화할 수 있는 방법과 해결 가능한 문제점은? 또한 생성형 AI를 통해 할 수 있는 일들은 무엇이 있는지요?

(Megazone Cloud) 진짜 크게 보면은 말로 하는 건 다할 수 있을 것 같습니다. 현재 그리고 이제 계속 멀티 모달이 되니까 이미지를 인지하고 문자를 인지하고 난 다음에 그 타스크를 수행하는 일은 거의 대부분 할 수 있다고 보고요. 그런데 대신에 뭐 구체적인 예로 들으면은 예를 들어서 일단 첫 번째가 검색이 될 수 있을 것 같아요 검색 특히 뭐냐 하면 예를 들어서 이 검색엔진들 같은 경우에는 보통 이커머스나 이런 시장에서 검색엔진의 키워드 중심으로 이제 검색을 할 때 뒤에 어떤 비즈니스 의도에 의해서 검색랭킹이 부여가 되고 이런 것들이 굉장히 중요 하거든요. B2c 씬에서는 그런데 그럴 때 마다 태그를 부여하고 이런 활동들이 거의 대부분 아직까지도 현업들이 비즈니스 오너들이 다 타이핑을 하고 데이터를 만들어 내는 중이세요. 그러니까 그런 부분들이 상당 부분 자동화 될 수 있고 그렇게 실제로 저희도 구축사례가 있기도 하고요. 그래서 기존에 있는 검색엔진 체계를 조금 AI향으로 바꾸는 시도들이 좀 있습니다. 그런 것들도 있고 일반 임직원들이 업무를 보는 데에서는 뭐 예를 들어서 지식검색시스템이나 지식베이스AI향으로 옮기면 그 안에서 업무를 자동화 시킬 수 있는 포인트들이 여러 가지가 있을 것 같아요. 뭐 예를 들어서 주간보고를 작성한다든지 예를 들어서 내가 노트 테이킹 한 것만으로 내가 주간보고서를 생성해 가지고 바로 뭐 라인매니저한테 올린다든지 그런 다 사소한 것부터 여러 가지들이 있을 수 있습니다.  

15) 기업이 생성형 AI를 도입 할려고 할 때 너무 많은 서비스들이 있어서, 해당기업에 적합한 서비스를 선택할 수 있는 가이드 라인에 대한 설명과 메가존 서비스의 장점은 무엇인가요?

(Megazone Cloud) 저희도 인티그레이터 입장에서 봤을 때 저희가 제일 잘할 수 있는 부분은 여전히 그런 거 같아요. 좀 객관적으로 본다 기술을 그래서 예를 들어서 뭐 AI에서 다 말씀드릴 수는 없겠으나 시간 상 모델선정에 관한 것도 저희는 저희만의 어느 정도 노하우가 있는 게 예를 들어서 오픈AI로 대표되는 chatGPT 모델이 시장에 계속 발휘하고 있는 그런 로드맵이 좀 있어요. 그리고 클러드로 대표되는 이 모델들이 각각의 기능개발 로드맵을 보면은 예를 들어서 chatGPT는 조금 유저 경험향으로 피처들을 내놓고 있다 그리고 클러드는 비용절감이나 캐시나 이런 형태로 내고 있기 때문에 그 워크로드에 맞게 적절한 모델들을 선택해서 진행하면 된다. 그리고 그 것들을 알려줄 수 있는 게 저희 메가존 클라우드의 장점이지 않을까 싶습니다.   

16) Data Enrichment의 개선 포인트는 무엇이며, 사례를 간단하게 소개해 주면 좋겠습니다.

(PwC) 일단 사례부터 좀 말씀을 드리고 싶은데요. 대표적으로 우리가 문서상으로 존재했지만 데이터화 하지 못했던 사례 중에 하나가 지로용지가 있습니다. 지로용지를 되게 이제 간단한 주제라고 생각을 하시는데 사실은 많은 정보들을 포함하고 있습니다. 수도요금이라든지 또는 전기요금에 보면 단순히 금액정보만 있지 않습니다. 뭐 매트릭 정보들 그러니까 사용량도 있고 그리고 뭐 특정 피크시간 대 뭐 이런 것도 보여 주고 있습니다. 그런 것들을 이제 과거에는 다 그냥 무시하고 돈 내보내는데 급급했었죠. 지금은 그런 정보들을 쉽게 이제 입수를 하게 되면 분석에도 쓸 수 있습니다. 예를 들어가지고 소매점포를 운영을 한다 그러면은 그 소매점포의 매출과 그리고 그런 사용량 유시지 매트릭을 비교를 하면 어떤 인사이트가 나올 수도 있고요. 이상 상황을 식별할 수 있는 그런 사례들도 있을 것 같습니다. 그런데 이런 주제를 저희 Pwc 네트워크 안에서도 얘기를 했더니 조금 다른 관점으로도 얘기 하더라고요. 그런 매트릭 정보를 ESG레포팅에 넣어보면 어떻겠느냐 라는 이제 참신한 생각들도 있었습니다. 그래서 그런 데이터 Enrichment가 뭐가 될 거냐 개선 포인트가 과거에는 없었던 정보를 입수를 하고 그 정보를 과거에 있었던 정보들하고 비교를 해보면 기존에는 몰랐던 인사이트 들을 추출하는 게 그런 게 어떻게 보면은 여러 개선포인트가 되지 않을까 싶습니다.           

17) Data Enrichment는 필연적으로 OCR 기술에 의지할 것 같은데, 이 경우에 정확도는 어떻게 되며, OCR만 적용이 가능한지요?

(PwC) 네 사실 우리가 OCR 이라고 애기를 하고 그리고 앞에서도 간단하게 얘기 했지만 애큐러시를 이제 많이 올라가고 있고 요즘에는 거의 96%까지 저희가 테스트를 해봤었거든요. 그리고 실제 더 중요한 것은 평균 작동시간 입니다. 그래서 평균적으로 3초에서 7초안에 이제 끊게 되는데요. 물론 위전마다 좀 다릅니다. 그렇기 때문에 이제 프리트랜드 모델을 쓰게 되니까 이런 애큐러시가 나오는데 오히려 더 중요한 것들은 이제 이런 것들도 있습니다. 사례 중에 하나가 저희가 체코에서 프로젝트를 했는데 체코는 소숫점을 점을 안 찍고 콤마를 찍더라고요. 이런 이제 로컬 프랙티스도 고려를 해야 되고요. 그리고 단순히 OCR만 데이터 인리치먼트라고 저희는 생각하지 않습니다. 다른 사례들이 있는데 저희가 했던 것 중에 건설현장의 야적장 있지 않습니까? 그런 모래에 쌓여있는 비중이라든지 또는 건설트럭이 얼마만큼 충분히 로딩을 다하고 업로딩을 다 했는지 또는 이런 식으로 해서 이미지에 대한 오브젝트에 대한 래저먼트도 하는 것들도 다 이 인리치먼트의 하나의 사례라고 보시면 좋겠습니다.      

18) 자연어 질의 시 제약 사항이나 고려해야 할 사항은? 또한 자연어로 질의할 때 정해진 형식이 있는지? ERP에서 자연어 질의 사례는? 

(PwC) 일단은 자연어 질의에 대해 가지고는 두 가지의 개발방향성이 있습니다. 순수하게 개발하는 부분이 있고 그리고 여러 가지 솔루션을 사용하는 부분이 있는데요. 그 솔루션을 사용하는 부분이 SAP는 보면 애널리틱스 클라우드라는 솔루션 밑에 저스 태스크가 있고요. 파워 BI안에는 코펠라 스튜디오가 있습니다. 다만 어떤 커스터마이즈드 방식이든 솔루션 방식이든 이런 질문들은 좀 잘 안됩니다. 즉 예를 들어가지고 해외에 있는 여러 회사가 있는 그런 상황에서 사용자가 우리 회사의 실적을 보여줘~ 라고 하면 실제로는 그런 식으로 질문해서는 답변이 좀 나오기는 어렵고요. 조금의 반정형 형태의 질의를 해야만 비로소 데이터가 끄집어 나오는 그런 부분들은 좀 현재의 기술적인 한계는 있습니다.      

19) Validated Design이 고객에게 중요한 이유는 무엇이며 Dell의 Validated Design이란 무엇인가요?

(Dell Technologies) 먼저 Validated Design의 개념을 한번 설명을 좀 드리면요. AI를 구축하기 위해서는 여러 가지 유스케이스 들이 있는데 예를 들어서 RAG라는 부분들이 있고 그 다음에 파인 튜닝이 있고 트레이닝들이 있습니다. 이 때 인프라 구성들 그러니까 예를 들어서 스토리지, 네트워크, 서버의 구성들이 각각의 조금의 차이가 있고 크기도 차이가 있겠죠. 그 다음에 사실 내부적으로 안에 들어가는 컨피규레이션의 차이도 있습니다. 그 다음에 그 위에 올라가 있는 소프트웨어에 대한 어떤 궁합도 잘 맞아야 되고 소프트웨어도 하나가 아니고 여러 가지 부분들이 있어서 궁극적으로는 그 원하는 워크로드를 제공할 수 있는 전체 하나의 형상이 나와야 되는데 그 부분들을 일반적으로는 우리가 예전에 그 PC를 조립할 때 각각 부품을 모아서 조립을 해놓고 안 돌아 가면 다시 쪼개고 이런 부분들을 많이 했었지 않습니까? 그런 거 같이 일단 기업 안에서 전문가들이 그걸 한다 하더라도 이것들을 그때 그 때 필요한 부분을 모아서 하기에는 굉장히 힘든 일이 많이 있습니다. 그래서 오히려 기간이 많이 들고 시간이 더 많이 들고 돈이 더 많이 들겠죠. 그래서 Validated Design 이라고 하는 것들은 사실 처음에 DELL과 NVIDIA에서 먼저 출발을 해서 꽤 많은 시간 그러니까 chatGPT가 상용화 되기 훨씬 전부터 사실 준비를 하고 있던 내용인데요. 실제 그 인프라 부분들에 대해서 그런 컨피규레이션, 그러니까 유형별 컨피규레이션과 그 다음에 그 위에 올라가는 소프트웨어들에 대한 조합을 미리 셋팅을 해서 준비를 했던 것들이 이제 Validated Design입니다. 그게 NVIDIA뿐만 아니라 다른 여러 가지 업체들과 같이 이제 확장되고 있는 부분인데요. 이 부분이 왜 중요하냐 하면 고객들은 아까 말씀 드렸다시피 오픈 소스 기술 이런 것들은 되게 많이 나와 있고 실제 좋은 부분들이 있는데 그 부분들을 직접 하나 하나 조립하는 데는 시간과 비용과 리스크가 되게 많이 들 부분이 있습니다. 그래서 일단은 저희들이 AI팩토리는 그 부분들 Validated Design은 그 부분들을 고객이 다른데 일단 신경을 쓰는 거 보다는 자기 데이터와 유스케이스에 신경을 쓸 수 있도록 이미 검증된 데이터를 가지고 검증된 모델을 가지고 접근한다 그런 개념으로 보실 수 있을 것 같습니다.   

20) 환각현상에 대한 처리 방안이 있는지요? 

(Megazone Cloud) 일단은 정확한 정보를 AI옆에다 널어 놓아야 된다는 게 가장 핵심이고요. 그리고 환각현상을 잡는 방법은 데이터를 놓는 게 첫 번째 방식이었지만 두 번째는 사실 AI가 애큐러시를 제공하고 확률적으로 계산하는 모델이라서 그래서 답변을 한번 더 재 보정 한다는 후속 파이프라인을 구성하는 것 만으로도 마치 저희가 서버를 이중화 하면은 나인이 하나 더 9가 하나 더 늘어나듯이 환각률을 잡는 이렇게 후 보정 방법도 쓰고 있습니다.     

(PwC) 사실 환각 현상이 LLM어플리케이션 중에 사용자나 또는 설계자가 의도치 않은 사례 중에 하나라고 생각을 합니다. 어떻게 보면 이런 것들도 있죠. 뭐 보안이라든지 이런 관점들도 있기 때문에 사실 환각현상 플러스 다른 부작용을 막기 위해서는 어떻게 구조화된 프레임웍이 필요하다라고 생각을 하고 있고요. 그렇기 때문에 여러 가지들이 필요합니다. 예를 들어 가지고 보안필터를 설치를 한다든지 또는 사용자의 질의를 의도를 파악을 한다든지 또는 LLM관련해 가지고 성능평가를 우선은 통과해야지 비로소 어플리케이션을 출시한다든지 하는 방법론 이런 것들도 필요하고요. 또 어떻게 보면 LLM이라는 것들을 전체적으로 거버넌스 할 수 있는 그런 형태의 기업의 체계들도 필요로 하고 또 AI시큐리티 관점에서의 체크포인트들도 수행을 해야 됩니다. 그래서 단순히 환각현상을 조금 더 크게 보면은 여러 가지 의도치 않은 현상을 막을 수 있는 기술적인 그리고 제도적인 그런 장치들이 있어야 된다고 생각을 하고 있고요. 저희 Pwc내에서도 그런 서비스들을 이미 하고 있기 때문에 이런 현상들이 있으면 저희를 한번 컨택을 해 보시면 좋을 것 같습니다.     

이어서 21번~ 26번 질문 및 답변 확인하러 가기