AI가 생성한 코드에 오류가 발생하면 누가 가장 많은 책임을 져야 합니까?

kalaallisut 및 Fula와 같은 리소스가 적은 언어의 경우 번역에서 누락된 부분을 찾기 위해 많은 노력을 기울입니다.

영어에서 번역하고 다시 영어로 번역할 때 언어에 대한 점수는 해당 언어가 얼마나 많은 샘플 문장을 가지고 있는지와 상관관계가 있습니다. 오른쪽으로는 예문 수가 많을수록 점수가 높아집니다. English in Cyrillic과 같은 이상치가 있는데, 예제가 거의 없지만 잘 번역됩니다. 

번역을 위해 수천 개 언어에 대한 글쓰기 샘플을 수집했는데도 인간이 여전히 번역 결과를 실패로 평가한 후에는 어떻게 하시겠습니까?

당연히 실패를 검토하십시오. 

이것이 바로 Google 머신 러닝 과학자들이 이번 달에 Arxiv에 게시된 다국어 번역에 대한 대규모 연구 논문 "Building Machine Translation Systems for the Next Thousand Languages"에서 언급한 흥미로운 작업입니다.

"자원이 적은 기계 번역의 엄청난 발전에도 불구하고 널리 사용 가능한 일반 도메인 MT 시스템이 구축된 언어의 수는 약 100개로 제한되었으며, 이는 오늘날 전 세계에서 사용되는 7,000개 이상의 언어 중 극히 일부에 불과합니다"라고 수석 저자인 Ankur Bapna와 동료들은 말합니다. 

이 백서에서는 기계 학습 학습을 훈련하기 위한 샘플로 사용할 문서가 거의 없는 소위 리소스 부족 언어를 포함하여 1,000개 이상의 언어로 구성된 데이터 세트를 만드는 프로젝트에 대해 설명합니다. 

예를 들어, 영어에 대한 수십억 개의 예문과 아이슬란드어에 대한 1억 개 이상의 예문을 수집하는 것은 쉽지만, 그린란드에서 약 56,000명이 사용하는 kalaallisut라는 언어는 온라인 텍스트에서 쉽게 사용할 수 있는 현존하는 예문으로 100만 개 미만입니다. 말레이시아와 태국에서 약 500만 명이 사용하는 켈란탄-파타니 말레이어는 10,000개 미만의 예문을 쉽게 사용할 수 있습니다.

리소스가 부족한 언어에 대한 기계 번역을 위한 데이터 세트를 컴파일하기 위해 Bapna와 20명의 동료는 먼저 인터넷을 샅샅이 뒤져 리소스가 적은 언어로 된 텍스트를 식별하는 도구를 만들었습니다. 저자는 여러 가지 기계 학습 기술을 사용하여 웹 텍스트가 지정된 언어에 속하는지 여부를 식별하는 기술로 구성된 LangID라는 시스템을 확장합니다. 이는 거짓 긍정을 제거하는 다소 복잡한 프로세스입니다. 

LangID 기술로 웹을 샅샅이 뒤진 후, 저자들은 "한 문장(Mape)에서 8,300만 문장(Sabah Malay)에 이르는 1,503개의 리소스가 적은 언어에 대한 말뭉치가 포함된 데이터 세트"를 수집할 수 있었습니다. 

과학자들은 이 목록을 1,057개 언어로 추려서 "(중복 제거 전) 25,000개 이상의 단일 언어 문장을 복구"하고 해당 샘플 그룹을 영어와 같은 83개의 "리소스가 많은 언어"에 대한 훨씬 더 큰 데이터와 결합했습니다. 

그런 다음 해당 세트의 언어 간에 번역하기 위한 실험을 실행하여 데이터 세트를 테스트했습니다. 그들은 언어 모델링을 위해 유비쿼터스 트랜스포머 신경망의 다양한 버전을 사용했습니다. 번역 성과를 테스트하기 위해 저자들은 38개 언어로 영어로 번역하거나 영어에서 번역하는 데 중점을 두었으며 kalaallisut 를 포함한 실제 번역 예제를 얻었습니다

그것이 가장 흥미로운 부분이 나오는 곳입니다. 저자들은 자원이 부족한 언어를 모국어로 사용하는 인간 검토자들에게 28개 언어에 대한 번역 품질을 0에서 6까지의 척도로 평가해 달라고 요청했으며, 0은 "무의미하거나 잘못된 언어", 6은 "완벽함"을 의미했습니다. 

결과는 좋지 않습니다. 영어에서 번역된 28개 언어 중 13개 언어가 번역 품질 척도에서 4점 미만으로 평가되었습니다. 이는 대상 번역본의 영어 중 거의 절반이 평범했다는 것을 의미합니다. 

저자들은 23페이지부터 낮은 평점을 받은 번역본에서 무엇이 잘못되었는지에 대해 흥미로운 토론을 벌인다. 

그들은 "가장 큰 시사점은 자동 메트릭이 관련 방언의 성능을 과대평가한다는 것"이라고 썼는데, 이는 널리 사용되는 BLEU 점수와 같이 기계가 번역에 할당하는 점수는 신경망이 단순히 다른 언어와 같은 잘못된 언어로 번역하는 경우 점수를 부여하는 경향이 있음을 의미합니다. 예를 들어, "영어의 방언인 나이지리아 피진어(pcm)는 BLEU 및 CHRF 점수가 각각 약 35점과 60점으로 매우 높았습니다. 그러나 인간은 번역에 대해 매우 가혹한 평가를 내렸고, 20%는 '말도 안 되는 언어/잘못된 언어'로 평가되었으며, 신뢰할 수 있는 원어민은 번역본을 사용할 수 없다고 확인했습니다."

"여기서 무슨 일이 일어나고 있는지는 모델이 잘못된 방언 (손상된 버전)으로 변환되지만 자동 벤치 마크가 높은 점수를 매길 수있을만큼 문자 n-gram 수준에서는 충분히 가깝습니다." 

그들은 "이것은 데이터 오염 문제의 결과"라고 추론하며, "이러한 언어들은 웹에서 훨씬 더 많이 사용되는 다른 언어와 매우 가깝기 때문에 [...] 학습 데이터는 리소스가 더 높은 언어의 손상된 버전이나 다른 변형과 혼합될 가능성이 훨씬 더 높습니다."

올바른 용어는 파란색으로, 오역은 노란색으로 표시된 번역의 예입니다. 왼쪽 열에는 표준 BCP-47 태그를 사용하여 언어가 번역되는 코드가 표시됩니다.

그리고 저자들이 번역에서 "특징적 오류 모드"라고 부르는 것, 예를 들어 "훈련 데이터에서 분포적으로 유사한 맥락에서 발생하는 명사를 번역하는 것", 예를 들어 "'호랑이'와 같은 비교적 일반적인 명사를 다른 종류의 동물 단어로 대체하는 것, "모델이 이 명사가 발생하는 분포 맥락을 학습했음을 보여주고, 그러나 이 범주 내에서 충분한 세부 정보를 가지고 한 언어에서 다른 언어로의 정확한 매핑을 얻을 수 없었습니다."

이러한 문제는 "동물의 이름, 색깔 및 시간"에서 발생하며 "형용사에서도 문제가 되었지만 동사에서 이러한 오류는 거의 관찰되지 않았습니다. 때로는 단어가 문화적으로 유사한 개념으로 간주될 수 있는 문장으로 번역되기도 했습니다 - 예를 들어, 산스크리트어에서 번역할 때 '치즈와 버터'를 '커드와 요구르트'로 번역하는 것."

저자는 원어민과 긴밀히 협력하기 위한 광범위한 사례를 제시합니다.

우리는 가능한 경우 원어민 및 이러한 커뮤니티의 구성원과 단순히 멀리 떨어져 크라우드 워커로 상호 작용하는 것보다 관계를 구축하려고 노력하는 것이 중요하다고 강조합니다. 이 작업을 위해 저자들은 가능한 한 많은 공동체의 구성원들에게 연락을 취했고, 100명이 넘는 공동체 구성원들과 대화를 나눴으며, 그들 중 다수는 이 프로젝트에 적극적으로 참여했습니다. 

부록은 그러한 원어민의 긴 목록에 대한 감사를 표합니다. 

인용된 실패에도 불구하고 저자는 이 연구가 주목할 만한 성공을 거두었다고 결론지었습니다. 특히 LangID 접근 방식을 사용하여 웹을 샅샅이 뒤짐으로써 "200개 이상의 언어에 대한 100만 개 이상의 문장과 400개 이상의 언어로 된 100,000개 이상의 문장을 포함하는 다국어 레이블이 지정되지 않은 텍스트 데이터 세트를 구축할 수 있습니다."

그리고 트랜스포머 모델을 사용한 작업을 통해 "이 작업에 설명된 접근 방식을 활용하여 롱테일 언어를 위한 고품질의 실용적인 MT 모델을 구축할 수 있다"는 확신을 얻었습니다.