SAP 사용자들의 오픈 커뮤니티

• 목록

안녕하세요, KSUG Admin입니다.

"[12월 KSUG 특집 패널 토크] 기업을 위한 AI 적용 사례 - 2탄” 세션이 많은 SAP 사용자 여러분의 관심 속에 마무리 되었습니다!

KSUG 온라인 패널 토크 세션의 시청자 여러분께서 남겨 주신 질문에 대한 패널 분들의 답변을 올려 드립니다.

아직 답변드리지 못한 내용은 순차적으로 업데이트 될 예정입니다 :) 

이번 패널 토크에서 궁금했던 점을 풀어 보세요!

1. AI 업체에 따른 특화된 영역에 대한 AI를 구현할 경우, 사용 기업의 영역에 맞는 인프라 종류, 특성에 맞춰 주요한 구축 도입 요소는 어떻게 세워야 하는지요? 

[Dell Technologies] 자체 구축된 AI가 사용하는 데이터 발생/저장 장소, AI 모델 및 패턴에 따라 달라질 수 있습니다.

2. AI를 기반으로 자동화가 급증하고, 이를 통한 자동화 개발속도 향상과 사용자 업무 자동화가 증가하는 추세입니다. SAP ERP솔루션에 ChatGPT와같은 생성형AI를 활용한 연계기능이나 서비스가 어떤게 있는지와실무에서 생성형AI 서비스적용시 업무 향상효과는 어느정도로 보시는지요?

[PwC] SAP ERP 애플리케이션 자체에 붙은 AI 기능을 embedded AI라고 부릅니다. 대표적인 사례가 채권과 거래내역을 반제하는 SAP Cash Application이 있고, GR/IR 항목을 반제하는 기능도 애플리케이션 형태로 제공합니다. 또한 SAP에서는 BTP 플랫폼 안에 Document Information Extraction 이라는 OCR 솔루션이 있고 Gen.AI Hub라는 도구를 활용해서 Azure Open AI와 같은 언어모델에 접근할 수 있습니다. 그리고 SAP 이외에도 AWS, GCP, MS Azure에서 각종 AI/ML 도구를 제공하고 있고, 이를 시스템에 연동하기 위한 api를 제공하고 있습니다. 필요에 따라서는 ERP에서 이러한 AI/ML api를 호출하는 방식으로도 ERP에 AI를 접목할 수 있습니다. 업무 자동화의 비율은 늘 그렇듯 적용 사례마다 다릅니다. 다만 저희가 기준정보 정비 (중복 거래처 식별)에 Gen.AI를 활용한 자동화 도구를 적용했을 때, 기존에는 수 일에 걸리던 중복 거래처 식별을 단 몇 시간 내에 완료한 경험이 있습니다.

3. 산업별,업무별 특성에 맞춘 ERP에 AI를 적용하는 경우에 분석과 예측에 대한 정확도를 높이기 위한 고도화 방안은 어떻게 세워야 하는지요? SAP ERP 사용자가 아닌 경우에, AI를 도입 활용하기 위한 주요 사전 업무 플로우 변경과 데이터 구조 작업은 어떻게 되는지요?

[PwC] 예측과 분석은 일반적으로 언어모델 (LLM)보다는 전통적인 머신러닝/딥러닝/시계열 분석 도구를 사용해야 합니다. 그리고 이러한 모델을 학습이라는 과정을 거쳐야 하고, 이를 위해서는 사전에 데이터를 축적해야 합니다. 즉, 예측 정확도 향상을 위해서는 그 전에 모델 훈련을 위한 데이터 축적부터 시작해야 합니다. SAP ERP가 아닌 경우에는 SAP 이외에도 AWS, GCP, MS Azure에서 각종 AI/ML 도구를 제공하고 있고, 이를 시스템에 연동하기 위한 api를 제공하고 있습니다. 필요에 따라서는 ERP에서 이러한 AI/ML api를 호출하는 방식으로도 ERP에 AI를 접목할 수 있습니다. 

4. ERP AI 기술을 통해 업무 자동화 구축 시, 업무 효율을 어느 정도 높일 수 있는지요? 기존 단순화된 업무(회의,정리,요약 등) 외에 전문성과 복잡한 업무에 대한 반영은 어디까지 높일 수 있는지요?

[PwC] ERP에서의 업무 중 트랜잭션 처리 부분에 있어서 AI/ML의 전면적인 적용이 가능하다고 봅니다. 예를 들어, 경비 전표 입력, 판매오더 생성, 유무형자산 마스터 생성 등에 적용 가능합니다. 예측이나 이상상황 발견의 경우에는 머신러닝/딥러닝 모델을 사용해야 할 경우가 있고, 이 경우에는 모델 훈련을 위한 데이터 축적이 필요합니다. 또한 보고서 작성과 같이 생성형 AI가 가장 잘 할 수 있는 분야에도 접목이 가능합니다. 결론적으로 업무 영역 전반에 대한 ERP with AI 적용이 가능하다고 봅니다.

5. SAP에서 AI기술을 사용하려면 pce 버전을 사용해야하는 등의 제약조건이 있는지 궁금합니다. 그리고 다양한 기업의 AI모델들이 있는데 SAP에서 제공하는 AI가 아닌 다른 AI모델도 적용가능한지 궁금합니다.

[PwC] SAP의 애플리케이션에 붙은 embedded AI 기능은 아쉽게도 Public Cloud ERP 및 일부 Private Cloud ERP에서만 사용 가능합니다. On-Premise 버전은 SAP BTP의 AI 도구 혹은 다른 클라우드 서비스의 AI 도구를 API 형식으로 연계해서 기능을 Customized 개발 해야 합니다.

6. 업무 프로세스를 digital화하고 변화 시켜나가는 관점에서 어떤식으로 it부서의 문제점등과 프로세스를 개선할수있을까요?

[PwC] 여러 가지 방법론과 접근법이 있겠지만, 저희 PwC가 했던 사례 중에 하나는 Operation 영역의 담당자의 업무 방식을 수작업 포함 해서 파악한 다음에 프로세스 자동화 개선 기회를 식별하는 식이었습니다. 예를 들어 MD 담당자가 기존에는 엑셀로 구매 대상 목록을 정리한 다음에 메일로 구매 요청을 했다라고 하면, 각종 AI/ML과 API 도구 들을 결합해서 위의 프로세스를 지능형 자동화로 변화시키는 식으로 프로젝트를 하기도 했습니다.

7. Dell AI Factory 적용 사례로 국내는 어떤 회사가 있으신지와 도입 적용 이후 개발 완료까지 개략적인소요된 기간이 어떻게 되는 지 궁긓합니다. (소요규모와 기간 등에 대한 정보 궁금)

[Dell Technologies] 우선 Dell AI Factory는 하나의 제품이 아닙니다. 인프라 특성으로는 Validated Design이라는 미리 검증된 유형별로 다른 사이즈의 인프라를 기반으로 고객 환경에 맞는 소프트웨어와 서비스가 조합됩니다. 국내에는 On-Prem에 LLM 구축을 위한 대규모 인프라 도입이 많으며, Validated Design에 기반한 케이스는 몇몇 기업에서 진행 중입니다.

8. Dell의 AI 플랫폼 구축 가속화는 어떻게 진행되고 있으며 온프레미스 및 모든 클라우드에서 AI 기술을 적용할 수 있는 것인지요?

[Dell Technologies] Dell의 AI 플랫폼은 ChatGPT 확산 이전 부터도 이미 NVIDIA 등과 함께 연구구되고 개발되어 왔습니다. 데이터 처리 및 AI 모델 연산을 위한 인프라는 개별 고객사를 위해서는 온프레미스를 전제로 진행되고 있으며, 데이터의 경우 온프레미스와 클라우드에서 발생하는 데이터를 효율적으로 관리/통합할 수 있는 다양한 솔루션을 파트너들과 함께 구현하고 있습니다. 또한 Dell은 많은 클라우드 사업자들의 AI 인프라도 공급하고 있습니다.

9. 기업이 자동화 기능을 통해 기술 수준에 상관없이 신속하게 애플리케이션을 구축하는것외에 유용한 기능은 어떤게 있는지 궁금합니다

[Dell Technologies] GenAI 가 가장 빠르게 기업에 효과를 줄수 있는 부분이 Code Generation 영역입니다. 기존의 어플리케이션의 개선, 현대화 뿐만 아니라 신규 기능 개발/테스트 등에도 많이 활용되고 있습니다.

10. 중소기업에서 GEN AI대한 상대적으로 큰 비용투자대비 비용절감효과는 어떻게 얻을수있는지 궁금합니다

[Dell Technologies] 현재 기업 활동에서 가장 비효율적인 운영 프로세스를 찾는데부터 시작할 수 있을 것 같습니다. 그 프로세스를 개선하기 위해 AI가 적절한 솔루션이라 판단되면 기대되는 효과와 투자 필요 비용을 비교하면서 추진하면 될 것 같습니다. 

11. SAP 에서 AI활용하는 사례에 대해 잘 들었습니다. ERP with AI 도입시, 시스템 구성에 대해 Legacy와 호환이 잘 되는지, 그리고 데이터 분석, 알고리즘 구현, 배포시 실시간으로 가능한지 문의드립니다. AI도입으로 인한 시스템 속도 외 (예측)정확도 관점에서 어느 정도 성능을 보이는지 사례를 들어 설명부탁드립니다.

[PwC] AI/ML 기능 자체는 별도의 서버에서 작동합니다. 그러므로 ERP 및 Legacy 시스템과는 어떠한 방식으로든 연동되어서 개발되어야 합니다. 주로 AI/ML 기능은 Restful API 형식으로 만들고, 필요로 하는 시스템이 이러한 API를 호출하는 식으로 연계했습니다. 

AI/ML의 모델은 각각 처리 시간이 있습니다. Document AI의 경우는 3~7 혹은 10초 정도 소요되고, LLM도 마찬가지의 스트리밍 시간이 필요합니다. 모델의 학습과 배포의 과정은 훨씬 더 많은 시간이 소요됩니다. 

예측 정확도의 경우 머신러닝/딥러닝/시계열 분석을 활용한 예측, 이상치 탐지 등은 모델 학습 수준에 따라 편차가 너무 큽니다. LLM+RAG의 경우에는 모델의 평가 지표가 여러 가지가 있으나, 문맥 정확도 및 사실 추출 정확도 정도로 보면 Baseline 기준으로 70 ~ 80점에서 주로 시작하는 것을 볼 수 있었습니다. 

12. SAP+AI를 도입할 때 가장 먼저 고려해야 할 요소는 무엇인지와초기 투자 및 기술적 용이함 외에 인력 교육이나 프로세스 변경에 대한 고려 사항은 어떤 것들이 있을까요?

[PwC] AI 역시 데이터가 확보되어야 추론 및 판단을 수행할 수 있습니다. 그러므로 기존의 시스템 구조에서 최대한 확보할 수 있는 정형/비정형 데이터를 확보할 수 있는 시스템 파이프라인이 필요합니다. 제일 대표적인 비정형 데이터는 기안지 문서 및 각종 문서가 담기는 Document Management System (DMS)입니다. 이를 위해서 ERP의 문서와 전자문서를 추적할 수 있는 tracking 체계가 필요하고, 문서에 접근하기 위한 api 등의 도구가 필요합니다. 

가장 먼저 고려해야 할 요소는 명확한 대상 프로세스의 선정과 프로세스 개선 지향점 설정 및 기대효과 정의이며, 프로세스 각각을 End-to-End로 볼 수 있는 시야를 가진 인력이 필요합니다. 가장 피해야 하는 방식이 단지 AI 기술을 적용하는 방식이라고 봅니다. 

13. 최초 시스템 도입시 학습테이타가 없을 때 pre learned/ configured 시스템이 작동하는 방식인가요? 아니면 시스템의 설치 이전에 충분한 데이타의 확보가 선결조건인가요?

[Dell Technologies] 시스템 도입이라는 것을 AI 모델을 사내 구현하는 것이라 전제한다면, 대개의 경우 openAI와 같은 상용서비스를 API를 통해 이용하거나 Meta Llama 와 같은 오픈소스 AI 모델을 다운 받아 사용하는 것을 말씀하시는 것 같습니다. 이때 두 경우 모두 이미 AI 모델이 대규모 데이터를 활용해 학습된 상태이기 때문에 일반적인/상식적인 질문이나 번역 서비스 등은 제공가능하지만 기업 내부데이터를 활용한 정보는 얻을 수 없을 것입니다.  RAG 기술을 활용하면 충분한 데이터가 아니더라도 가장 필요한 데이터부터 지속적으로 RAG 벡터DB에 업로드 하면서 활용해 나갈 수 있습니다.

14. 제조업에서 스마트팩토리 구성 시, 제조 업무 플로우에 맞춘 시스템 통합과 데이터 통합에 대한 어려운 문제점은 무엇인지요? 시스템 구축 후, 새로운 장비나 업무로 인한 변경 발생 시에 모델링 검증 등 최적화 소요 시간과 지원은 어떻게 되는지요?

[Dell Technologies] AI를 통해 제조 업무를 개선하고자 할 때 가장 문제가 될 수 있는 부분은 데이터의 품질입니다. 제조 관련 시스템이 수집하고 관리하는 데이터가 AI의 재료로서 인사이트를 발굴하기에는 부족하거나 관리가 잘 되지 않는 경우가 많이 있습니다. 따라서 목표하는 결과를 얻기 위해서는 데이터 수집과 관리의 체계를 점검하고 보완할 필요가 있습니다.

확정적으로 선언할 수 있는 소요시간은 없습니다. 하지만 제조 환경의 경우 사용한 AI 모델이 적절한지, 데이터의 품질이 적절한지, 추론하는 성능이 적절한지는 지속적으로 관찰하며 파악되어야 합니다. 이후 변경이 필요할 떄는 이러한 개별 기업 환경에 맞는 사전 정보를 통해 판단될 수 있을 것 같습니다. 

15. SAP에서 AI는 클라우드에만 적용된다고 들었습니다. 그럴 때 AI가 정보보안 관점 (다른 회사의 정보침해...)에서 어떻게 처리되고 있는지 알고 싶습니다.

[PwC] 클라우드 서비스는 비록 클라우드 사업자의 인프라 스트럭쳐 및 운영 시스템을 사용하나, 시스템 및 지식 자산의 소유권 혹은 사용권은 전적으로 고객에게 있습니다. 그러므로 다른 회사의 정보가 침해되거나 하는 경우는 발생하지 않습니다. AI 서비스 역시 마찬가지입니다. 예를 들어 MS Azure는 서비스 약관 상 고객사의 데이터를 가지고 AI 모델을 학습 하는데 사용하지 않음을 명시적으로 선언하였고, 다른 회사 역시 마찬가지입니다.

16. ‘생성형 AI’의 등장은 AI 기술 발전의 방향성을 상당히 바꾸는 계기가 되었고, 델은 이 ‘생성형 AI’의 등장을 거대한 생태계의 등장으로 표현하며, 이를 위한 인프라는 복잡한 생태계를 편리하게 도입, 활용할 수 있는 ‘솔루션’으로 다뤄야 한다하는데요. 실제 내부 데이터를 사용할수 있는 프라이빗 인프라를 위해서 사전 검토할 부분은??

[Dell Technologies] 인프라를 검토하기 전단계에 우선 활용대상 Usecase 와 가지고 있는 데이터 품질/활용 방법에 대한 검토가 먼저 있어야 할 것입니다. 그 다음 단계로 중요한 것은 내부 기술역량의 현황과 확보 방향일 것 같습니다.

17. 중요한 사내데이터를 생성형ai로 구축하는데 있어서 데이터 및 고객,직원의 정보를 어떻게 안전하게 보호 및 외부로 누출되지 않도록 보안체제를 구축하는게 중요하다고 생각하는데 이에 대한 준비 방안이 궁금합니다

[Dell Technologies] 목표하는 AI usecase 의 사용자 범위 및 접근 방법에 따라 보안 전략이 수립되어야 할 것 같습니다. 외부 Access 및 서비스를 전제로 하는 경우라면, 파인튜닝 등으로 AI 모델에 기업내부 정보를 반영하는 것 피하고 온프림의 RAG 형태의 구축으로 보안체계를 가져가는 것이 필요할 것 같습니다.

18. On-prem일 경우 SAP에서 제공하는 AI 기능을 사용하기 어려울 것 같은데, AI 기능 활용을 위해서 PCE(Cloud type)로 전환이 반드시 필요한지 궁금합니다.

[PwC] 아닙니다. 대부분의 경우에는 AI 기능 때문에 PCE 혹은 Public Cloud ERP를 쓸 필요는 없다고 봅니다. SAP BTP 및 여타 클라우드 서비스 업체에서 Customized 방식의 AI 도구를 제공하고 있고, 여기에서 AI 모델을 개발한 다음에 ERP에 API 방식으로 연동해도 충분히 사용할 수 있습니다. 물론 ERP 내부의 애플리케이션 개발 및 수정이 필요한 경우가 있으리라 봅니다. 

19. LLM을 구축 및 관리 보완등에 있어서 전문기술 및 이를 갖춘 인력이 필요한데 대책방안이 어떻게될까요

[Dell Technologies] LLM 모델 자체를 학습하거나 파인튜닝하는 경우에는 전문인력을 필요로 합니다. RAG 로는 부족하고 파인튜닝이 필요한 경우 자체 인력 확보 또는 장기간 안정적으로 유지할 수 있는 검증된 전문 파트너를 검토하는 것이 필요할 것 같습니다.

20. 생성형ai모델이 학습하는법에 따라 시나리오의 완성도가 천차만별인데 이에 대한 적절한 방안이 궁금합니다

[Dell Technologies] 개별 기업에서 가능한 방법은 추가학습이나 파인튜닝 입니다. 실제 유형별로 확인이 필요할 것 같네요

21. 자체 개발된 ERP를 사용하고 있을 경우, AI의 도입은 어떠한 방법으로 시작하는 것이 좋을까요?

[PwC] 이 경우에는 SAP BTP 및 여타 클라우드 서비스 업체에서 Customized 방식의 AI 도구를 이용해서 AI 모델을 개발한 다음에 ERP에 API 방식으로 연동하는 방식을 추천합니다.

22. 오픈AI의 장애로 이를 사용하는 고객과 시스템에 혼란이 있었는데 이런 문제를 예방 감소시키는 방안은 어떤게 있을까요

[Dell Technologies] 기업의 입장에서는 오픈AI 서비스의 통제를 할 수 없는 상황이므로 OpenAI하나의 서비스에만 의존하면 피할 수 없는 상황인 것 같습니다. 많은 경우에 OpenAI 말고도 Claude 나 Gemini 등으로 Public 서비스를 멀티 소스로 운영하는 케이스가 많고, 좀 더 적극적으로는 Meta Llama와 같은 솔루션을 통해 자체 서비스를 구현하는 방법이 있습니다. 

23. 사용 기업에 AI 모델링 적용 시, AI 모델링에 대한 특허나 지적재산권 이슈는 없는지요? 만약 AI 모델링에 대한 분쟁이 발생을 방지하는 방안은 있는지요?

[Dell Technologies] 오픈소스로 제공되는 모델의 경우에도 라이선스 정책이 차이가 있습니다. 예를 들어 Stable Diffusion 같은 경우 일반적인 Apache 2.0 라이선스가 아닌 새로운 라이선스 체계를 적용합니다. 이 라이선스는 개인 사용자나 일반적 기업의 경우는 문제가 되지 않으나 기업 규모가 큰 경우 라이선스 비용을 내야 하는 구조 입니다. 이렇게 오픈소스를 업무/상업적 용도로 기업 내부에 사용할 때에는 사전에 라이선스 내용을 잘 확인하는 것이 필요합니다.

24. 생성형 AI의 장점도 많지만 현재 한계점도 분명한데 이런 불완전함을 보완하기위한 보완책은 어떤게 있는지요

[Dell Technologies] 일단 생성형 AI를 사용하는 목적에 근거한 역할과 할 수 있는것과 할 수 없는 것을 명확하게 아는 것이 중요합니다. 그리고 이를 사용하는 사람들이 모두 인지하게 해서 기대수준을 맞추는 것이 필요합니다. GenAI는 기존의 AI와 보완적으로 사용될 때, RAG를 통해 강화할 때 보다 생산적으로 사용될 수 있습니다.

25. 자체 개발된 ERP를 사용하고 있을 경우, AI의 도입은 어떠한 방법으로 시작하는 것이 좋을까요?

[PwC] 이 경우에는 SAP BTP 및 여타 클라우드 서비스 업체에서 Customized 방식의 AI 도구를 이용해서 AI 모델을 개발한 다음에 ERP에 API 방식으로 연동하는 방식을 추천합니다. 

26. 자체적으로 구축하기보다는 SAAS방식의 외부의 생성형 AI 플랫폼을 사용하려는 기업에게 보안과 신뢰성은 필수인데 만에하나 발생할수있는 SAAS플랫폼자체의 장애나 보안침해사고시의 문제를 최소화 및 예방할수있는 장치는 어떻게 구현되어있는지 궁금합니다

[PwC] 클라우드 서비스는 비록 클라우드 사업자의 인프라 스트럭쳐 및 운영 시스템을 사용하나, 시스템 및 지식 자산의 소유권 혹은 사용권은 전적으로 고객에게 있습니다. 그러므로 다른 회사의 정보가 침해되거나 하는 경우는 발생하지 않습니다. AI 서비스 역시 마찬가지입니다. 예를 들어 MS Azure는 서비스 약관 상 고객사의 데이터를 가지고 AI 모델을 학습 하는데 사용하지 않음을 명시적으로 선언하였고, 다른 회사 역시 마찬가지입니다. 

만약에 데이터 유출 시 기업의 비즈니스가 회복 불가능한 수준까지 떨어질 수 있는 데이터라면, Cloud 형태의 AI 모델 대신에 On-premise AI 모델을 직접 구축하는 방법도 고려할 수 있겠으나, 이 경우 많은 유무형의 자원이 필요합니다. 대표적인 방식이 Llama 모델에 파인튜닝을 하는 방식이 있습니다. 

27. 온프레미스로 구축하더라도 외부망과 연동시에 보안상의 문제를 물리적으로 이중화하는 방법에 대해 설명 부탁드립니다.

[Dell Technologies] 물리적 이중화는 외부망에서 접속하는 것은 막고 내부에서 외부 정보는 활용 가능하게 하는 것을 전제한다고 생각합니다. 이때는 AI 모델과, RAG 시스템 등은 내부에 격리시키고 RAG에 제공되는 외부 정보만 단방향으로만 Airgap 내부에 전달할 수 있는 구조가 필요합니다.

28. 공급망 분야에 AI를 적용하는데 있어 데이터 성숙도에 따라 발전할수록 데이터와 AI 적용 성과를 높일 수 있는 방안이 궁금합니다.

[Dell Technologies] 공급망 분야 뿐만 아니라 거의 모든 분야에서 최초에 생성되는 AI 모델과 데이터는 업무에 바로 적용하기에 부족한 부분이 있을 것 입니다. 업무 적용과 피드백을 통해 데이터 파이프라인의 보완, 데이터 자체의 품질를 높이는 과제, 재학습 등을 병행해야 합니다. 또한, AI 모델의 보완과 이를 운영할 수 있는 인프라의 확장과 최적화도 이루어져야 합니다.

29. 생성형 AI의 학습 모델에 의한 정보 유출 가능성을 테스트를 통해 보완이 가능할까요

[Dell Technologies] 만약 정보 유출이 우려될 정도의 데이터라면 외부 또는 허가 받지 않은 사용자의 접속이 가능한 AI 모델에 학습시키는 자체를 피하는 것을 권고합니다. AI 모델에 대한 거버넌스, 필터링 및 별도의 특화된 솔루션 등으로 보완을 하려는 노력이 진행되고 있습니다.

30. 기업들이 투자 대비 성과가 안나올 것을 염려하여 AI 도입이나 활용을 주저하는 경우가 많은데, AI 관련 투자시 효율성이나 성과 등을 시뮬레이션 할 수 있는 도구가 제공되는지, 제공된다면 어떤 형태인지도 궁금합니다

[Dell Technologies] 개발된 AI 모델을 점수로 평가하는 기술적인 도구는 있습니다. 하지만 AI 투자 효율성이나 성과를 시뮬레이션 할 수 있는 도구는 없습니다. 단, 유즈케이스를 사전 검토할 때, AI가 적절하게 구현된다면 해당 업무의 문제를 어떻게 해소할지에 따라 그 가치를 판단하는 방법론과 서비스는 있습니다. 그 서비스의 성공을 좌우하는 요소는 가지고 있는 데이터의 품질과 AI 모델의 성능입니다. AI 모델은 지속적으로 발전하고 있으므로 유즈케이스가 구현되었을 때의 비즈니스 가치와 데이터의 품질이 가장 핵심요소가 됩니다.

31. 서비스나 인프라, 솔루션 기업들이 초기에는 기업의 규모나 산업들의 반영이 더딘 일률적인 제공을 주로 하였는데, 현재 혹은 내년에는 기업의 규모나 산업을 고려한 공급이나 계획이 마련되어 있는지 문의 드립니다

[Dell Technologies] Onprem 인프라 기업의 입장에서 보면 chatGPT가 발표된 후 지금까지 2년간은 주로 LLM 구축과 관련된 일부 기업의 대규모 인프라 투자가 주를 이루었습니다. 하지만 이제는 실제 AI 서비스를 기업 내부 프로세스 개선이나 상품 개발, 세일즈와 마케팅 등에 사용하려는 고객들의 니즈가 점점 커질 것으로 예상되므로 이러한 기업들의 요구에 맞는 다양한 사이징과 S.W에 기반한 솔루션을 공급할 계획을 가지고 있습니다. 

32. 생성형 AI기반으로 정책을 수립시 생성된 시나리오등에 심각한 오류발생시에 오동작을 최소화하기위한 방안, 백업정책은 어떻게 되는지요?

[Dell Technologies] 특정 패턴을 인식하여 자동으로 후속 작업을 수행하게 하는 것은 생성형 AI라기 보단 기존의 판별형 AI의 영역으로 이는 수많은 테스트 등을 통해 오류율을 줄여가는 방법으로 활용할 수 있습니다. 반면 생성형 AI가 생성하는 컨텐츠는 프롬프트(질문) 에 따라 품질이 달라집니다. 따라서, 하나의 질문에 대한 하나의 답으로 후속 작업을 자동으로 수행하는 것은 권고되지 않습니다. 다양한 유즈케이스가 있겠지만 정책을 수립하기 위한 시나리오 검토가 필요한 경우 여러가지 전제 사항과 조건을 가지고 가능한 한 많은 시나리오를 생성하게 하고 이를 전문가의 눈으로 잘 검토해야 합니다. 그리고, 생성형 AI는 프롬프트를 통해 현재 가지고 있는 AI 모델이나 결과를 업데이트 하지는 않습니다. 따라서, AI 모델을 학습시켜 버전을 관리하는 형태가 아니라면 별도의 AI 모델의 백업이 필수는 아닙니다.

33. "할루시네이션 데이터 vs 오입력 데이터 vs 의도된 차이가 있는 데이터" 인지 분별하는 방법이 Gen AI 에서 과거 학습된 누적 데이터 기반에서만 가능하면 한계가 있을 텐데 이러한 부분도 분별이 가능할 수 있는지 문의드립니다.

[Dell Technologies] 할루시네이션은 학습되지 않은 데이터를 기반으로 근거 없는 정보를 만들어내는 것을 얘기하는 명확한 GenAI의 오류 입니다. 두번째 오입력 데이터는 처음부터 오류가 있는 데이터를 학습했으므로 모델 관점에서는 대답을 제대로 한 것으로, 즉 AI 자체는 정상 동작한 것로 생각됩니다. 세번째, AI 고의적인 의도를 갖는 인격체가 아니라 통계적 방법으로 가장 높은 확률을 찾는 기계적인 동작이므로 AI가 의도된 차이를 발생시키지는 않습니다. 다만, 학습 데이터가 학습 시키는 사람의 의도에 따라 편향적일 수는 있습니다. 마지막으로 모델 학습 시킬때는 만들어진 모델을 사람들이 평가하는 중요한 단계가 있습니다. 이 단계를 RLHF(Reinforcement Learning from Human Feedback) 이라고 부릅니다. 기업 내부에서 모델의 아웃풋을 여러명의 인간 평가자가 평가하여 다시 모델의 학습에 반영하는 반복적인 방법입니다. 모든 상용 모델과 기업 내부의 모델을 평가할 때 중요한 단계입니다.