새로운 연구 이니셔티브는 동남아시아를 위한 대규모 언어 AI 모델 구축을 목표로 합니다.

싱가포르는 서방 국가와는 다른 대규모 언어 모델을 개발하기 위한 노력에 5,200만 달러를 투자하고 있습니다.

동남아시아 국가의 인구 통계에 더 잘 맞는 LLM(대형 언어 모델)을 구축하기 위한 새로운 연구 이니셔티브가 진행 중입니다.

National Multimodal LLM Programme이라고 불리는 이 계획은 지역의 다양한 문화와 언어 조합을 지원하는 인공 지능(AI) 대규모 언어 모델을 개발하기 위해 싱가포르가 주도하고 있습니다.

IMDA(Infocomm Media Development Authority), AISG(AI Singapore), A*STAR(Agency for Science, Technology and Research) 등 3개 정부 기관이 협력하여 7천만 싱가포르 달러(SG$) 상당의 자금으로 연구 프로그램을 시작했습니다. 5,248만 달러) 국립연구재단.

"기술이 빠르게 발전함에 따라 LLM의 주권 역량을 개발하는 전략적 필요성이 있습니다"라고 두 기관은 공동 성명에서 말했습니다. "싱가포르와 이 지역의 현지 및 지역 문화, 가치 및 규범은 대부분의 대규모 언어 모델이 유래한 서구 국가의 문화, 가치 및 규범과 다릅니다."

그들은 싱가포르를 포함한 동남아시아 지역의 다양한 문화 및 언어와 관련된 맥락과 가치를 이해하는 다중 모드 및 현지화 LLM 개발의 중요성을 강조했습니다. 이러한 가변성은 예를 들어 싱가포르의 다국어 인구에서 언어 간의 컨텍스트 전환을 포함할 수 있습니다.

연구 이니셔티브는 싱가포르 국립 슈퍼컴퓨팅 센터의 고성능 컴퓨팅 리소스를 활용하고 다중 모드 LLM에서 국가의 연구 및 엔지니어링 역량을 개발할 것입니다.

IMDA의 비즈테크 그룹 부회장인 Ong Chen Hui는 "이번 국가적 노력은 글로벌 AI 허브가 되겠다는 싱가포르의 의지를 강조하는 것입니다."라고 말했습니다. "언어는 협업을 위한 필수적인 요소입니다. 인재에 투자하고 지역 언어를 위한 대규모 언어 AI 모델에 투자함으로써 우리는 국경을 넘어 업계 협업을 촉진하고 동남아시아에서 AI 혁신의 차세대 물결을 주도하고자 합니다."

이 이니셔티브는 AISG의 SEA-LION(Southeast Asian Languages in One Network)의 현재 노력을 기반으로 구축될 것입니다. SEA-LION은 현재 시장에 나와 있는 LLM에 비해 더 작고 유연하며 더 빠르게 설계되었다고 정부 기관이 밝혔습니다. . SEA-LION은 현재 30억 매개변수 모델과 70억 매개변수 모델이라는 두 가지 기본 모델로 실행됩니다.

AISG는 오픈 소스 모델의 중요성에 대해 자세히 설명하면서 다음과 같이 말했습니다. "기존 LLM은 문화적 가치, 정치적 신념 및 사회적 태도 측면에서 강한 편견을 나타냅니다. 이는 훈련 데이터, 특히 인터넷에서 스크랩한 데이터 때문입니다. WEIRD 기반 출신이 불균형적으로 많습니다. WEIRD는 서구, 교육을 받은, 산업화된, 부유하고 민주적인 사회를 의미합니다. WEIRD 출신이 아닌 사람들은 글을 읽고 쓸 줄 모르고, 인터넷을 사용하고, 자신의 결과물에 쉽게 접근할 가능성이 낮습니다."

SEA-LION은 "WEIRD가 아닌" 인구를 더 잘 대표하는 LLM 설립을 목표로 합니다. 훈련 데이터는 9,810억 개의 언어 토큰으로 구성되어 있으며, AISG는 이를 토큰화 과정에서 텍스트를 분해하여 생성된 단어 조각으로 정의합니다. 이 조각에는 6,230억 개의 영어 토큰, 1,280억 개의 동남아시아 토큰, 910억 개의 중국 토큰이 포함됩니다.

현지화된 LLM을 구축하려는 노력은 2030년까지 AI 솔루션의 글로벌 개발 허브가 되겠다는 야망을 추구하는 싱가포르의 최신 AI 전략의 일부입니다. 이러한 노력에는 싱가포르의 AI 전문가 수를 앞으로 15,000명으로 3배 늘리려는 계획이 포함됩니다. AI 윤리 및 안전 지침과 함께 거버넌스, 테스트, 벤치마킹을 지원하는 생태계를 제공하는 데 3~5년이 소요됩니다.

싱가포르 부총리 로렌스 웡(Lawrence Wong)은 최근 AI의 발전으로 세계가 미지의 영역으로 나아가고 있다는 점을 지적하며 국가 AI 전략 출범식에서 이렇게 말했습니다. "지금까지 AI는 주로 패턴 인식에 관한 것이었습니다. 그러나 앞으로는 우리는 주체성과 거래 능력을 갖춘 AI 시스템을 갖게 될 것이며, 인간과 같은 인지 능력과 자기 인식 및 독립적인 의사 결정 능력을 갖춘 기계를 갖게 될 것입니다."

인간의 삶을 크게 변화시키고 사회에 영향을 미칠 수 있는 잠재력을 지닌 AI의 책임 있는 개발과 채택은 보다 신중하게 이루어져야 한다고 Wong은 말했습니다.