고객과 함께 하는 GenAI 학습 여정

이것은 "우리의 GenAI 여정" 시리즈의 세 번째 이야기입니다.

생성형 AI(GenAI)에 대한 무언의 진실 중 하나는 모든 사람이 배우면서 성장한다는 것입니다. 아마도 혁신의 속도가 너무 빨라서 학습 곡선이 계속 위쪽으로 치솟기 때문일 것입니다.

"복잡하고 긴 작업"을 처리하기 위해 Chat GTP-4 Turbo를 Copilot에 통합하려는 Microsoft의 계획을 포함하여 가장 최근의 발전도 고려하십시오. Google은 고급 하드웨어에서 휴대 전화에 이르기는 모든 것을 지원하는 Ultra, Pro, Nano 모델로 구성된 Gemini 제품군을 출시했으며, 심지어 Apple 조차도 Apple 실리콘을 위해 설계된 머신 러닝을 위해 ML-Explore(MLX) 어레이 프레임워크에 대한 GitHub를 배포했습니다.

속도는 때때로 어지럽게 보일 수 있습니다. Hitachi Digital Services는 모회사인 Hitachi Ltd.와 함께 수십 년 동안 AI 분야에서 일해 왔으며 심지어 우리는 매일 GenAI 기능, 기회 및 잠재적 위험에 대한 새로운 요소를 배우고 있습니다.

사실, 클라우드 공급업체, 시스템 제조업체, 소프트웨어 개발자 등의 누군가가 모든 것을 알아냈다고 말하면 주의하십시오. 기술이 너무 빠르게 발전하여 주어진 날에 모든 답을 가진 사람은 거의 없습니다. 반면에 그들이 GenAI의 도움으로 문제를 해결하고 목표를 달성하기 위해 귀사와 협력하고 협력하기로 귀사에 귀를 기울이고 약속한다면 고려할 가치가 있습니다.

저는 이 분야와 GenAI 및 AI 개발 분야에 대해 잘 알고 있습니다. Hitachi Digital Services의 최고 기술 책임자(CTO)로서 저는 전 세계의 대규모 고객들과 직접 협력하여 디지털 솔루션을 통해 그들이 문제를 극복하고 비즈니스 목표를 달성할 수 있도록 돕고 있습니다. 앞선 두 기사에서 동료들이 언급했듯이 GenAI와 AI의 출현은 점점 더, 그리고 놀랍지 않게도 기업에 가장 극적인 기회와 함께 심각한 위험을 안겨주고 있습니다. 기술에 참여하는 것이 중요하지만 가능한 한 가장 사려 깊은 방식으로 참여해야 합니다.

제 업무 라인에서 우리는 솔루션을 설계하는 것을 좋아하며, 가능한 한 다른 비교 가능한 고객 과제에서 신속하게 재사용할 수 있도록 솔루션의 특정 측면을 템플릿화하기 시작합니다. 그러나 GenAI는 이러한 철학을 크게 변화시켰습니다. 주로 이러한 종류의 솔루션이 특정 워크로드, 즉 매우 구체적인 매개변수를 가진 특정 산업의 특정 고객을 위해 맞춰져 있기 때문입니다. 즉, 이러한 '눈송이' 유형의 솔루션 중 극히 일부만 패키징하여 재사용할 수 있습니다.

그러나 GenAI의 급속한 채택으로 나타난 한 가지 패턴은 고객 이해 수준입니다. 저는 기술에 진심인, 기술에 덜 진심인, 기술에 전혀 진심 없지만 기술을 채택하고 싶어하는 열성적인 조직을 인식했습니다.

흥미롭게도, 이 세 가지 범주를 구분하는 것은 종종 도전이나 선택이 아니라 심각성 또는 규모입니다.

중요한 결정 내리기

예를 들어, 모든 조직은 GenAI를 통해 자신들을 기다리고 있는 기본 선택 사항을 조기에 이해해야 합니다.

어떤 엔진을 사용해야 합니까? 온프레미스가 클라우드에서 이 작업을 수행하는 것보다 더 나은 옵션인가요? (그리고 클라우드로 이동하면 클라우드 공급업체에 고착될 위험이 있습니까?)

그런 다음 AI의 핵심 요소와 어떤 유형의 대규모 언어 모델(LLM)을 사용해야 하는지에 대한 논의로 이동합니다. LLaMA 2 모델과 같은 소규모 모델은 70억 개에서 700억 개의 매개변수에 대해 훈련되고 온프레미스 또는 클라우드에서 실행하는 데 적합한 반면, OpenAI의 GPT-3 및 GPT-4는 1,750억 개에서 1조 개 사이의 매개변수에 대해 훈련되며 일반적으로 클라우드가 제공하는 컴퓨팅 파워와 함께 더 잘 사용됩니다.

최근 기사에서 언급한 바와 같이 로컬 LLM과 온프레미스 설치 공간이 퍼블릭 클라우드를 활용하는 것보다 더 유익할 수 있는지 여부를 결정할 때 고려해야 할 몇 가지 사항에는 훈련 빈도 및 훈련 데이터가 포함되지만 이에 국한되지 않습니다.

예를 들어, Hitachi Vantara의 동료인 Bharti Patel은 최근에 회사에서 GenAI 작업을 수행하면서 LLaMA 2 작업을 지원하기 위해 자체 시스템을 온프레미스에 구축했다고 썼습니다. 그녀는 이러한 움직임의 이유 중 하나가 LLM의 데이터 및 관리에 대한 통제력을 강화하기 위해서라고 말합니다.

고객 관점

이는 고객이 매일 고심하는 다양한 문제와 결정 중 일부에 불과합니다. 예를 들어, 위에서 언급했듯이 보안, 데이터 개인 정보 보호 및 모델의 편향을 둘러싼 문제가 점점 더 중요한 관심사가 되고 있습니다. 우리와 함께 일한 한 글로벌 은행은 GenAI 봇이 응답/결과를 생성하거나 비의회적이거나 공격적인 언어로 쿼리에 응답할 위험을 제거하려고 했었습니다.

우리는 GenAI 모델에 대한 자연어 텍스트 지침을 작성하는 프로세스인 프롬프트 엔지니어링(prompt engineering)에서 책임 있는 AI(예: 독성 분석, 환각 제어 등)에 이르기까지 여러 주요 기술을 직접 적용했습니다. 특히 외부 데이터세트의 정보를 결합하는 AI 기술인 RAG(Retrieval Augmented Generation)를 적용하여 AI 모델이 지식 소스에서 관련 정보를 검색하고 생성된 텍스트와 함께 통합할 수 있도록 했습니다.

이러한 기술과 도구를 사용하여 감정, 독성, 잠재적 탈옥, 거부 등과 같은 다양한 매개변수에 걸쳐 AI 모델을 측정하는 AI Compass라는 프로그램을 구축했습니다. 이는 기업이 개념 증명에서 프로덕션 GenAI 사용 사례로 이동함에 따라 매우 중요합니다.

그리고 독성 분석 이상의 것이 필요했기 때문에 이 은행에 적합한 솔루션이었습니다. 모든 지점이 위에서 언급한 여러 차원에서 규정을 준수하고 일관된 대응을 할 수 있도록 해야 했습니다.

제조 기회

때때로 고객은 도구나 기술이 필요하다고 생각하지만 평가 후에는 다른 접근 방식이 훨씬 더 효과적입니다. 또 다른 GenAI 사례로, 주거용 가정용 제품의 선두 제조업체는 매우 복잡한 가격 책정 시스템을 보다 효과적으로 자동화하기 위해 이 기술을 활용하고자 했습니다. 리모델링을 처음 접하는 사람들에게는 많은 리모델링 제품이 가격 책정에 있어 종속성을 가지고 있습니다. 맞춤형 크기 조정에서 사용 가능한 무수한 유형의 재료에 이르기까지, 지역성에서 계절성에 이르기까지 제안된 모든 부품은 공정한 가격을 권장하기 전에 극복해야 할 여러 가지 과제가 있습니다. 이 회사가 원했던 것은 이 프로세스를 자동화하는 방법이었습니다. 사실 활용할 수 있는 데이터와 과거 데이터도 많았지만, 더 많은 판매를 성사시키기 위해 신속하게 답변을 생성할 수 있는 방법이 필요했습니다.

회사와 함께 과제를 검토한 후 우리 모두는 이것이 단순한 Gen AI 사용 사례가 아니라는 것을 깨달았습니다. 오히려, 고객이 더 쉽게 사용할 수 있도록 GenAI로 래핑할 수 있는 보다 전통적인 머신 러닝 및 규범적 자동화를 위한 좋은 기회였습니다. 따라서 우리는 Hitachi Digital Services의 제 그룹과 함께 Hitachi America Limited의 데이터 과학자 및 엔지니어와 협력하여 범위를 지정하고 실행하기 위한 여정을 시작했습니다.

AI와 GenAI 분야에서 우리가 배운 것이 있다면, 그것은 우리 모두가 고객 및 파트너와 함께, 그리고 우리 자신의 그룹 내에서 이 일을 하고 있다는 것입니다. 우리 모두는 함께 빠르게 배우고 앞으로 나아가고 있습니다. Gajen Kandiah 회장은 얼마 전 독자들에게 GenAI에 참여하는 것을 미루지 말라고 격려한 게시물에서 이에 대해 언급했습니다. 프로젝트를 시작하고 실험하되 철저히 보호 대책을 강구한 상태에서 그렇게 해야 합니다.

관련

·       GenAI의 첫 번째 단계 추적

·       GenAI 여정 소개

·       AI에 대한 생성적 접근 방식