OpenAI의 Sora 비디오 생성기로 지금 바로 시작할 수 있는 3가지 수익성 있는 부업

Facebook의 모회사가 기계 번역에 대한 최신 노력을 공개합니다.

"광범위하게 액세스할 수 있는 기계 번역 시스템은 약 130개 언어를 지원합니다. 우리의 목표는 이 숫자를 200명으로 늘리는 것입니다." 저자들은 사명 선언문에 썼습니다.

페이스북, 인스타그램, 왓츠앱의 소유주인 메타(Meta)는 지난 수요일 딥 러닝 형태의 신경망을 사용하여 에티오피아 오로미아 주의 언어인 웨스트 센트럴 오로모어(West Central Oromo)와 같은 소위 "자원이 부족한" 언어인 202개 언어에 대한 최첨단 번역을 두 배로 늘린 방법을 설명하는 190페이지 분량의 저번역 작업을 공개했습니다. 타마셰크어는 알제리와 북아프리카의 다른 여러 지역에서 사용되며, 와레이는 필리핀의 와레이족의 언어입니다. 

메타(Meta)와 UC 버클리(UC Berkeley) 및 존스 홉킨스(Johns Hopkins)의 연구팀이 공동으로 작성한 보고서 'No Language Left Behind: Scaling Human-Centered Machine Translation'은 페이스북의 AI 연구 웹사이트와 함께 블로그 게시물과 함께 게시되었으며, 이 문제에 대한 자세한 내용을 보려면 두 보고서 모두 읽어야 합니다.

"광범위하게 액세스할 수 있는 기계 번역 시스템은 약 130개 언어를 지원합니다. 우리의 목표는 이 숫자를 200명으로 늘리는 것입니다." 그들은 사명 선언문에 썼습니다.

간단한 보기는 ZDNet의 Stephanie Condon의 개요 보고서를 확인하십시오. 스테파니의 말에 따르면, 메타는 깃허브(GitHub)에서 데이터 세트와 신경망 모델 코드를 오픈 소스화하고 있으며, 이 기술을 외부에서 사용할 경우 20만 달러의 I'm 상을 제공하고 있습니다. 이 회사는 위키백과 문서의 번역을 개선하기 위해 위키백과의 소유주인  위키미디어 재단과 파트너십을 맺었습니다. 

이 보고서에서 주목할 만한 점은 자동 채점 시스템에서 알 수 있듯이 더 많은 언어 그룹에서 전반적으로 측정 가능한 개선이 이루어졌음에도 불구하고 번역 품질에 대한 인간의 평가에 관해서는 "No Language Left Behind Two Hundred" 또는 NLLB-200이라는 애칭으로 알려진 연구자들의 신경망이 다음과 같다는 것입니다. 오로모어와 같이 자원이 적은 언어뿐만 아니라 그리스어와 아이슬란드어와 같이 번역 자료가 널리 사용되는 언어를 포함한 많은 언어 사례에서 많은 개선을 보여주지 못했습니다.

여기서 얻을 수 있는 교훈은 평균 점수를 끌어올릴 수 있는 능력에도 불구하고, 적어도 인간이 번역을 보는 한, 의미 있는 번역을 만드는 것의 복잡성은 단순히 자동화될 수 없다는 것입니다. 저자들은 더 강력하다는 것을 의미하는 숫자 그물을 더 크게 만드는 부분을 발견했고, 실제로 영어에서 다른 언어로 문장을 번역할 때 수익이 감소하고 영어가 아닌 문장 사이를 번역할 때 약간의 부정적인 효과를 발견했습니다. 

이 팀은 번역을 개선하기 위해 자원이 부족한 언어를 사용하는 수백 명의 원어민을 인터뷰하는 등 여러 단계를 밟았으며(인터뷰는 평균 1시간 30분 정도 소요됨) 화자의 요구 사항과 우려 사항을 평가했습니다. (이러한 현장 조사의 윤리와 자원이 부족한 언어를 통합하는 윤리에 대한 광범위한 논의가 있는데, 이는 쏟아지는 관심에 압도될 수 있다. 논문의 논의는 특별한 주의를 기울인다.) 

그러나 이 연구의 핵심은 신경망을 훈련시키기 위해 새로운 데이터 세트를 컴파일하기 위해 많은 노력을 기울였으며, 심지어 웹 자료에서 언어 식별을 수행하고 어떤 테스트가 언어에 속하는지 식별하기 위해 소스 코드로 제공하는 새로운 방법을 발명하기까지 했습니다.

그들은 자동화된 방법을 사용하여 모든 대상 언어에 대한 이중 언어 문장 쌍의 데이터 세트를 컴파일합니다. 데이터 세트에는 꽤 흥미로운 통계가 있습니다.

총 1220개의 언어 쌍 또는 2440개의 방향(xx-yy 및 yy-xx)이 훈련을 위한 것입니다. 이 2440 개의 방향은 총 180 억 개 이상의 문장 쌍에 해당합니다. [...] 대부분의 쌍은 1M 미만의 문장을 가지며 자원이 적은 방향입니다.

저자는 이 데이터를 사용하여 NLLB 신경망을 훈련시키지만, 인간 번역가가 구축한 수작업 번역 데이터 세트도 사용합니다. 인적 요소인 "NLLB-SEED" 데이터 세트는 매우 중요한 것으로 밝혀졌습니다. "공개적으로 사용 가능한 훈련 데이터의 크기가 상당히 크음에도 불구하고 NLLB-Seed에 대한 훈련은 평균적으로 현저히 더 높은 성능으로 이어집니다"라고 그들은 씁니다.

NLLB 노력에는 공개적으로 사용 가능한 언어 쌍의 양방향 텍스트를 샅샅이 뒤지고, 자동화된 방법을 통해 언어를 식별하고, 거대한 훈련 데이터 세트를 생성하고, NLLB-200 신경망을 훈련한 다음, 인간 번역가인 FLORES-200으로 만든 새로운 벤치마크 데이터 세트에서 프로그램을 평가하는 것부터 시작하여 여러 단계가 포함됩니다.

Meta 팀만 이러한 대규모 데이터 세트 작업을 수행하는 것은 아닙니다. 지난 5월 구글 과학자들은 200개 이상의 언어로 된 100만 개 이상의 문장과 400개 이상의 언어로 된 40만 개 이상의 문장을 웹에서 샅샅이 뒤질 수 있었다.

이러한 훈련 데이터 세트는 신경망 NLLB-200을 구성하는 데 사용됩니다. 그들은 오늘날 대부분의 언어 번역의 기초가 되는 Google의 유비쿼터스 Transformer 언어 모델에서 시작합니다. 

그들은 540억 개의 매개변수 트랜스포머를 사용하는데, 이는 크지 않지만(일부 모드는 1조 개의 매개변수에 육박함) 중요한 수정을 합니다. 

"어텐션 헤드(attention heads)"로 알려진 네트워크의 개별 계층 사이에서, 저자는 드문드문 게이트가 있는 내보내기 혼합으로 알려진 조건부 실행 분기를 인터리브합니다. 기본적으로 전문가들은 예측을 할 때 540억 개의 매개변수 중 일부를 끄거나 켤 수 있도록 선택하여 신경망이 각 작업에 따라 특성을 변경할 수 있도록 할 수 있습니다. 

"MoE(Sparsely Gated Mixture of Experts) 모델은 입력당 모든 모델 매개변수를 활성화하는 밀집 모델과 달리 입력당 모델 매개변수의 하위 집합을 활성화하는 조건부 컴퓨팅 모델의 한 유형입니다"라고 그들은 설명합니다. 그들은 MoE의 가치는 "코어 밀집 아키텍처와 비교하여 FLOP(초당 부동 소수점 연산) 측면에서 동일한 추론 및 훈련 효율성을 유지하면서 상당한 표현 용량을 확보하는 것"이라고 설명합니다.

NLLB-200 네트워크(오른쪽)는 트랜스포머 모델(왼쪽)의 표준 어텐션 블록 사이에 "전문가 혼합" 요소를 삽입합니다.

(저자들은 이 접근법에 대한 최적의 지점을 발견하기도 했습니다. "트랜스포머 블록 4개마다 MoE(전문가 혼합물) 레이어를 삽입하면 최상의 성능을 발휘하며, 특히 매우 낮은 리소스 설정에서 성능이 향상됩니다.")

교육 세트와 함께 저자는 Flores-101로 알려진 이전 노력의 언어 범위를 두 배로 늘리는 고품질의 다대다 벤치마크 데이터 세트인 새로운 벤치마크 데이터 세트인 FLORES-200을 개발합니다."데이터 세트는 "FLORES 소스 데이터 세트를 대상 언어로 번역하는 전문 인간 번역가와 인간 번역에 대한 품질 평가를 수행하고 번역 피드백을 제공하는 별도의 독립 번역 검토자 그룹에 의해 생성됩니다 번역가들에게."

그런 다음 NLLB가 FLORES-200에서 어떻게 작동하는지 테스트합니다.

위의 요약에서 언급했듯이 결과는 BLUE 및 chrF와 같은 일반적인 자동 점수로 측정한 바와 같이 이전 번역 프로그램에 비해 44% 향상된 것입니다. 그들은 그 점수의 다른 버전을 광범위하게 비교합니다. 

자동화된 점수 외에도 저자는 사람이 번역을 읽고 점수를 매기도록 했는데, 바로 여기에서 몇 가지 균열이 나타납니다. 메타 팀은 2012년 에네코 아기레(Eneko Agirre)와 동료들이 처음 제안한 '의미론적 텍스트 유사성(Semantic Textual Similarity)'이라는 프로토콜을 사용해 'XSTS'라는 변형을 사용했고, 이는 지난 5월 별도의 논문에서 소개했다.

XSTS는 인간에게 1에서 5까지의 척도로 번역을 평가하도록 요청하며, 1이 최악이고, 두 문장은 서로 관련이 없으며, 5가 가장 좋으며, 사람에 따르면 거의 같은 것을 말하고 있습니다. 

"요컨대, XSTS는 유창성보다 의미 보존에 훨씬 더 중점을 둔 인간 평가 프로토콜입니다"라고 그들은 씁니다. 

"리소스가 적은 언어의 경우 번역의 품질이 일반적으로 낮기 때문에 완전히 유창하지 않더라도 사용 가능한(의미 보존) 번역에 훨씬 더 집중합니다."

baseline Transformer가 영어와 다른 언어로 번역하는 방법을 비교할 때 전체 점수는 나쁘지 않지만 실제로 영어에서 그리스어로 번역하는 한 쌍에서 더 나쁜 결과를 볼 수 있습니다.

전반적으로 NLLB-200은 영어 방향에서 4.15, 영어 방향에서 3.75의 평균 XSTS 점수를 달성했습니다. 베이스라인 고밀도 모델과 비교하여 NLLB-200의 성능이 더 강력합니다. rus_Cyrl-tgk_Cyrl[러시아어에서 타갈로그어로] 및 eng_Latn-gla_Latn[영어에서 스코틀랜드 게일어로]와 같은 특정 방향은 상당한 차이가 있습니다. 또한 NLLB-200은 성능이 약간 더 나빴던 eng_Latn-ell_Grek[영어에서 그리스어로]를 제외하고는 테스트된 모든 방향에서 기준선보다 성능이 우수합니다.

그러나 조금 더 깊이 파고 들면 더 많은 균열이 나타납니다. 이러한 거대한 노력은 통계적 기업이며, 모든 통계 기업에서 평균이나 중앙값보다 더 많은 것을 드러내는 것은 점수의 분포입니다. 

아르메니아어를 영어로, 중서부 오로모어를 영어로, 에티오피아에서 가장 널리 사용되는 언어인 암하라어를 아르메니아어로, 프랑스어를 세네갈의 월로프족의 모국어인 월로프어로, 힌디어를 같은 이름의 인도 중부 주의 주요 언어인 차티스가르히어로 번역하는 등 수많은 언어 쌍을 통해 그들은 기준선 모델에 비해 개선이 거의 또는 전혀 없다는 것을 발견합니다. 

인간 검토자가 NLLB-200의 혁신으로부터 거의 또는 전혀 혜택을 받지 못하는 일부 언어 쌍을 발견하는 부분에서 균열이 나타나는데, 여기에는 영어로 번역된 아르메니아어와 에티오피아에서 가장 널리 사용되는 언어인 암하라어가 아르메니아어로 번역된 것과 같은 언어 쌍이 포함됩니다. 영어를 그리스어로 번역한 결과는 기준선보다 훨씬 더 나빴습니다. 

예를 들어, 필리핀의 지배적인 언어인 타갈로그어로 번역된 러시아어의 큰 개선과 같은 성공 사례에서 나타나는 이러한 고립된 사례는 과학자들이 숙고하는 더 깊은 진실을 가리킵니다. 

저자는 사람의 평가를 해석하지 않고 자동화된 BLUE 및 chrF 점수에서 실패 사례를 살펴보고 접근 방식에 대한 몇 가지 제한 사항 또는 단점에 대한 가설을 세웁니다. 

그들은 그리스어를 포함하여 많은 자원을 가진 언어 쌍이 전문가 접근 방식의 추가로부터 이익을 얻지 못하거나, 그들의 프로그램이 너무 강력해지기 시작하여 신경망이 생산적인 표현을 형성하지 않고 몇 가지 예만 암기하는 "과적합(over-fitting)"에 빠지고 있다고 썼습니다. 정말로.

저자가 말했듯이, 

리소스가 많은 쌍은 13억 개의 [매개변수] 밀집 모델에서 충분한 용량을 가질 가능성이 높으며(절제 데이터 세트의 크기와 특성을 감안할 때) MoE 모델의 추가 용량으로 인한 이점만큼 이점이 많지 않을 것입니다. 업데이트당 계산 비용이 증가함에 따라 리소스가 낮거나 매우 낮은 쌍의 과적합 경향이 증가하여 성능이 저하됩니다. 

저자는 과적합을 완화하기 위해 취할 수 있는 몇 가지 단계를 제안하는데, 예를 들어 다양한 입력에 대한 일종의 "마스킹"과 전문가 혼합의 "조건부 라우팅"과 같은 것입니다.

보고서에는 다양한 실험 설정에 대한 다른 세부 사항이 너무 많아 모든 결과를 요약하는 것이 불가능합니다. 저자들은 오픈 소스 경로와 200,000달러가 "커뮤니티가 현재의 관행을 검토하고 우리가 실패한 부분을 개선하고, 어떤 언어도 뒤처지지 않는다는 북극성 목표를 향한 사명을 개선"하도록 설득할 수 있기를 희망합니다.

특히 선별된 번역 데이터 세트인 FLORES-200은 전문 번역가를 사용하여 조립하는 데 비용이 많이 듭니다. "Flores-200을 미래에 훨씬 더 자원이 적은 언어로 확장하는 것은 어려울 수 있습니다"라고 그들은 관찰합니다.

전반적으로 그들은 다학제적 접근이 중요하다고 결론지었습니다. 

NLLB를 더 큰 과학 및 연구 커뮤니티와 공유하면 다양한 전문 지식을 가진 사람들이 프로젝트 발전에 기여할 수 있습니다. 여러모로, NLLB 노력의 구성은 우리의 비전을 형성하는 데 있어 학제간 협력의 중심성을 말해줍니다. 기계 번역은 기술적, 문화적, 사회적 발전의 교차점에 있기 때문에 서로 다른 교육과 관점을 가진 학자들이 모든 각도를 완전히 이해해야 합니다. NLLB는 기계 번역 및 AI 분야에서 잘 드러나지 않은 분야의 학자, 특히 인문학 및 사회 과학 분야의 학자를 포함하도록 계속 확장해 나갈 것입니다. 더 중요한 것은 이러한 이니셔티브를 개발하는 팀이 우리가 삶을 개선하고자 하는 커뮤니티와 마찬가지로 다양한 인종, 성별 및 문화적 정체성을 가진 팀으로 구성되기를 바랍니다.