AI를 위한 데이터 접근성에 대한 복잡성

Mark Katz
CTO, Financial Services

2024년 5월 15일

The Intricacies of Data Accessibility for AI

데이터 접근성 향상: 복잡성 해소

인공 지능(AI)은 다양한 산업 분야에서 혁신의 중요 쟁점이 되었으며, 기업은 상업적 성공을 위해 인공 지능의 힘을 활용할 방법을 모색하고 있습니다. Chat GPT와 같은 기술의 중요성은 기업들이 AI의 다양한 응용 분야를 탐색하는 새로운 창의성과 실험의 물결을 촉발했습니다. 가상 어시스턴트와 같은 생성형 AI 애플리케이션은 사용자에게 원활한 디지털 경험을 제공하지만, 금융 서비스와 같은 고급 부문은 신용 카드 사기를 감지하고 거래 결정에 대한 더 나은 인사이트를 제공하기 위해 추천 엔진과 포트폴리오 최적화를 배포하기 시작했습니다.

그러나 기업이 AI 모델을 운영에 통합함에 따라 주로 비정형 데이터세트의 폭발적인 증가 문제를 처리하고 있습니다. 이는 조직이 생성형 AI 애플리케이션을 위한 새로운 아키텍처를 관리하기 위해 매우 우수한 데이터 인프라가 필요하다는 것을 의미합니다. 이는 2024년 2월 뉴욕에서 개최된 Hitachi Vantara Exchange 행사에서 중점적으로 다루어졌습니다.

기업이 생성형 AI의 고급 모델을 적용하려고 할 때 데이터 관리 문제를 처리하는 과정에서 고려해야 할 몇 가지 주요 사항과 데이터 접근성 위험을 완화하기 위해 사용할 수 있는 몇 가지 전략이 있습니다.

책임감 있는 AI 및 데이터 관리

조직에서 비정형 데이터가 폭발적으로 증가함에 따라 데이터 관리에 대한 접근 방식이 변화게 되었습니다. 단순히 클라우드에서 데이터를 호스팅하는 것만으로는 더 이상 충분하지 않으며, 개인 식별 정보(PII)를 식별하고, 액세스를 제어하고, 관리 체인을 설정하려면 데이터 콘텐츠에 데이터 관리 도구를 내장해야 합니다. 생성형 AI를 통해 조직은 새로운 데이터 관리 도구를 채택하는 동시에 안정성, 보안 및 비즈니스 목표와의 전략적 연계를 보장하는 데 균형을 맞춰야 합니다.

Gen AI 모델을 훈련할 때 소셜 미디어 플랫폼 전반의 데이터 지식 기반을 흡수할 뿐만 아니라 데이터를 생산한 사회에 내재된 모든 편견도 흡수합니다. 이로 인해 Gen AI 애플리케이션은 '환각'이라는 오류를 범할 수 있으며, 이는 본질적으로 모델에 훈련된 내재적 편향입니다. 결국에 원치 않는 결과를 초래합니다. 이때 책임감 있고 설명 가능한 AI가 등장합니다. 모델이 스스로 설명하도록 강제함으로써 AI 배포의 투명성과 책임성을 촉진할 수 있습니다.

책임 있는 AI는 포용적인 AI 훈련 관행을 촉진하여 AI 모델의 편향과 오류를 완화해야 할 필요성을 강조합니다. 설명 가능한 AI는 AI 의사결정 프로세스에 대한 가시성을 향상시켜 AI 출력에 대한 제어와 이해를 높이는 것을 목표로 하는 유사한 이니셔티브입니다. 기업이 생성형 AI의 컴퓨팅 수요와 씨름함에 따라 대규모 언어 모델에서 소규모 언어 모델로 규모를 축소하는 것도 효율성을 높이고 특정 사용 사례에 집중할 수 있는 실용적인 솔루션으로 부상하고 있습니다.

멀티 클라우드 환경에서의 데이터 관리 및 개인 정보 보호

데이터 접근성을 간소화함에 따라 적절한 세분화를 보장하여 조직에 대한 모든 기대치를 준수할 수 있는 기회를 제공하는 것이 중요합니다. 예를 들어, EU GDPR 고객은 이제 데이터에 대한 개인 정보 보호에 대한 기대를 가지고 있으므로 데이터 사용에 대한 감시가 강화되고 있습니다. 이제 고객은 책임감 있는 데이터 처리를 요구하며, 이로 인해 레지던시 요구 사항 및 삭제 권한을 포함하여 데이터 사용에 대한 제약이 증가하고 있습니다.

규정 미준수의 의미는 특히 신뢰가 기본이 되는 금융 및 의료와 같은 부문에서 신뢰의 위반이며, 한 번 잃어버리면 복원하기 어렵습니다. 규제 기관은 개인 정보 보호를 넘어 사이버 복원력에 대한 초점을 확대하고 있으며, 디지털 운영 복원력법(DORA)과 같은 이니셔티브가 이러한 환경에 영향을 미치고 있는 것이 그 예입니다.

사이버 복원력으로의 전환에서 불변 데이터의 중요성이 분명해지고 있습니다. 그러나 랜섬웨어 위협에 직면했을 때 불변성만으로는 충분하지 않습니다. 마지막으로 알려진 양호한 복구 지점을 이해하는 것이 중요하므로 대규모 데이터 복구에 대한 포괄적인 접근 방식이 필요합니다.

사이버 복원력 태세의 핵심 구성 요소에는 데이터 불변성, 복구 지점에 대한 지식, 대규모 복구 기능이 포함됩니다. 수천 또는 수만 개의 인스턴스 복구를 처리할 수 있는 제품에 대한 수요는 사이버 위협 발생 시에도 비즈니스 연속성을 보장합니다.

디지털 트랜스포메이션을 위한 실행 가능한 인사이트

여기에서 살펴본 AI 사용 사례는 매우 복잡한 환경입니다. 여기에는 생성형 AI, 사이버 복원력 및 개인 정보 보호, 클라우드 및 하이브리드 클라우드가 포함됩니다. 모든 조직의 디지털 트랜스포메이션 전략은 올바른 기술 파트너를 선택하는 것이 성공에 매우 중요한 여정이 될 것입니다. 다양한 문제가 내포된 환경에서 모든 기능을 제공할 수 있는 파트너를 확보하면 디지털 트랜스포메이션에 대한 보다 강력하고 총체적인 접근 방식을 보장할 수 있습니다.

우리가 이 여정을 계속하는 동안, 중요한 점은 분명합니다: 위대한 힘과 훌륭한 데이터에는 지혜와 회복력을 가지고 미래를 항해해야 하는 책임이 따릅니다.

Hitachi iQ 솔루션 페이지를 방문하여 AI를 통해 비즈니스 운영과 그 이상을 혁신하는 방법을 알아보십시오.