YouTube의 Opus 오디오 코덱

Opus Codec에 AI 업데이트 적용

라이선스가 필요 없는 오디오 코덱 Opus의 새로운 버전 1.5 또는 1.5.1에 ​​AI 업데이트가 적용되었습니다. 머신러닝(ML)은 인코딩을 개선하여 데이터 스트림이 기존 디코더와 호환되도록 설계되었습니다. 또한, 디코더는 사운드를 개선하기 위해 인공지능을 탑재했습니다.

더 나은 음질을 위한 AI

"뉴럴 보코더(Neural Vocoder)"라는 기술은 음성을 매우 효율적으로 압축하도록 설계되었습니다. LPCNet 보코더와 비교했을 때, 노트북이나 스마트폰 CPU 부하의 약 1%만 사용한다고 합니다. 개발자들은 이 알고리즘을 프레임와이즈 자기회귀 생성적 적대 신경망(Framewise AutoRegressive Generative Adversarial Network, FARGAN)이라고 명명했으며, 추후 관련 논문을 발표할 계획입니다.

그들은 선형 적응 코딩 향상기(LACE)와 비선형 변형(NoLACE)을 사용하여 신호 처리를 최적화합니다. LACE는 심층 신경망(DNN)이 사용 가능한 모든 데이터를 사용하여 계수를 실시간으로 조정하는 고전적인 후처리 필터처럼 동작하지만, 오디오 신호 자체는 DNN을 통과하지 않습니다. 결과적으로 구형 휴대폰에서도 작동하는 매우 낮은 복잡도의 소형 DNN이 생성됩니다. NoLACE 변형은 더 많은 컴퓨팅 성능을 요구하지만, 비선형 신호 처리 덕분에 훨씬 더 강력합니다. 두 가지 모두 음성 품질을 크게 향상시킵니다.

Opus 코덱은 YouTube 사운드에 상당한 영향을 미칩니다. 이에 맞춰 마스터링을 준비하는 방법은 이 글에서 설명합니다.마스터 가이드스트리밍 환경으로.

Opus 코덱: Bitstream은 표준 호환성을 유지합니다.

완전히 새로운 ML 기반 코덱을 프로그래밍하는 대신, Opus는 완벽한 호환성을 유지합니다. 이를 통해 Opus는 오래되고 느린 기기에서도 계속 실행될 수 있으며, 간편한 업그레이드 경로도 제공합니다. 딥 러닝은 종종 강력한 GPU 가속기와 연관되지만, Opus 프로젝트는 스마트폰 CPU를 포함한 대부분의 프로세서에서 실행되도록 모든 기능을 최적화했습니다.

대부분의 사용자는 부하 증가를 크게 느끼지 못하지만, 5년 이상 된 마이크로프로세서나 스마트폰을 사용하는 사용자는 부하 증가를 느낄 수 있습니다. 따라서 새로운 기능은 기본적으로 비활성화되어 있으며, 컴파일 과정이나 런타임 시 명령줄 매개변수 등을 통해 활성화해야 합니다.

패킷 손실 개선

패킷 손실은 오디오 조각 누락으로 이어집니다. 코덱은 일반적으로 패킷 손실 은닉(PLC)을 통해 이를 방지합니다. 이는 일반적으로 손실 지점에 "타당한 오디오"를 삽입하는 디코더 측 보간 방식입니다. 머신 러닝은 이 부분에서 특히 유용할 수 있습니다. Opus 개발자들은 심층 신경망(DNN)을 사용하여 이 문제를 해결하고 있는데, DNN은 코덱의 바이너리 파일 크기를 약 1MB 늘리고, 심각한 패킷 손실 발생 시 노트북 CPU 코어의 부하를 XNUMX% 증가시킵니다.

팁 :YouTube Opus 코덱을 사용한 후 마스터링된 파일의 사운드가 어떻게 변하는지 들어보세요.- 브라우저에서 무료로 이용 가능하며, 음량 측정기에서 코덱 미리보기를 제공합니다.