Microsoft, Build 2024에서 Azure AI Speech 업그레이드 출시

이 회사는 생성 AI를 사용한 구축을 지원하는 Azure AI 서비스에 대한 다양한 향상된 기능을 발표했습니다.

화요일에 열린 연례 빌드 개발자 컨퍼런스에서 Microsoft는 음성 지원 생성 AI 기반 앱 개발을 향상시키는 Azure AI Speech 서비스의 새로운 기능을 발표했습니다.

Azure AI Speech는 이미 통화 분석(오디오, 텍스트), 의료 전사(오디오, 비전, 텍스트), 캡션(오디오/비디오, 전사, 번역), 챗봇(오디오, GPT)을 포함한 다양한 사용 사례에 사용되고 있습니다. "라고 마이크로소프트는 발표문에서 말했다. 이 서비스에는 오디오를 방송용 텍스트 캡션으로 변환하거나 전화 통화에 언급된 주소를 추출하는 등 현재까지 다양한 기능이 있습니다.

지난주 OpenAI가 공개한 GPT-4o의 하이라이트 중 하나는 프로그램 응답에 제공되는 향상된 음성 품질에 초점을 맞춘 개선된 음성 모드였습니다. 이에 맞춰 Microsoft는 Personal Voice를 일반적으로 사용할 수 있게 한다고 발표했습니다.

이 기능을 통해 사용자는 "음성 비서, 음성 번역, 비디오 콘텐츠 제작과 같은 다양한 애플리케이션에 자신만의 AI 음성을 생성하고 사용할 수 있습니다"라고 설명되어 있습니다.

또 다른 새로운 기능은 음성 분석이며 현재 미리 보기로 제공됩니다. Adobe의 개발 환경인 Azure AI Studio 내에서 액세스할 수 있으며 회사에서 전화 통화 또는 기타 오디오 소스에 대한 "소프트" 분석을 처리하도록 되어 있습니다. 호출의 소프트 요소는 의미론적 내용 또는 호출자가 느끼는 것처럼 보이는 방식일 수 있으며 이는 아마도 호출 자체의 내용보다 더 미묘할 것입니다.

감정 분석은 "공감 정도, 참가자의 헌신, 주장의 강도와 같은 세부 사항을 탐지하거나 가능한 대화 흐름을 예측할 수도 있다"고 설명합니다.

예를 들어, 통화 기록에서 섹션에는 각 화자의 문구에 대한 평가를 "긍정적", "부정적" 또는 "중립적"으로 표시할 수 있습니다. 여기에서 대화형 데모를 확인하실 수 있습니다.

빠른 분석을 가능하게 하기 위해 Microsoft는 Fast Transcription도 출시하고 있습니다. 회사에서는 "이제 실시간보다 40배 더 빠르게 전사할 수 있기 때문에(실시간 요소 <1)" "대체로 전사의 판도를 바꿀 수 있는 획기적인 기술"이라고 주장합니다.

회사에 따르면 Fast Transcription을 사용하면 통화 내용을 수동으로 기록할 필요가 없어 콜센터 상담원의 "수천 시간"을 절약할 수 있으며, 의사와 간호사는 환자와의 대화를 몇 초 만에 분석할 수 있습니다. "미디어 및 콘텐츠 제작자는 팟캐스트나 인터뷰가 완료되자마자 분석하고 통찰력을 추출할 수 있습니다."라고 릴리스는 계속되었습니다.

마이크로소프트는 이 기능이 다음 달에 제공될 것이라고 밝혔다.

고객과의 통화 후 분석의 예.

콘텐츠를 전 세계적으로 전파해야 하는 필요성을 충족하기 위해 Microsoft는 콘텐츠를 번역하고 대상 언어의 음성을 합성한 다음 이를 화자의 비디오와 동기화하는 자동 비디오 더빙도 선보였습니다.

또한 회사는 사람이 방송을 시청하는 동안 캡션을 위해 언어를 전환하는 기능과 같은 다국어 번역 기능에 대한 업데이트를 발표했습니다.