Открытый слуховой тест кодеков на 96 кбит/с — отчет о результатах

Дата обновления: 14 Сентября 2014
2014-09-14T10:44
Audiophile's Software

Всем привет.

Эпопея с нашим международным многоформатным ABC/HR тестом наконец-то закончилась. Его подготовка началась еще зимой, однако была отложена на длительный срок. Кроме того, в ходе обсуждения на HydrogenAudio произошел конфликт с разработчиком Fraunhofer — он предлагал включить в тест FhG AAC, несмотря на то что в тесте AAC @ 96 kbps победил QuickTime —, а также с некоторыми другими участниками — например, с автором SoundExpert.

В итоге было решено перенести обсуждение на собственный форум Audiofolks. Организацией теста занимались: IgorC (в данное время живет в Аргентине, однако — что очень пригодилось — хорошо разговаривает по-русски), японец Kamedo2 и я (под ником с HA — Steve Forte Rio).

В дальнейшем, в ходе обсуждения также появился еще один спорный вопрос: каким образом выполнять выравнивание громкости между треками, а также как избежать клиппинга, и надо ли его вообще избегать. Мною было предложено либо предварительно занизить громкость треков на несколько дБ, чтобы после декодирования не было срезов, либо выполнять декодирование с плавающей точкой, а после делать понижение уровня. Однако, процедура теста требует использования только штатных декодеров (очень нежелательно пользоваться для декодирования сторонним софтом, например foobar2000), а далеко не все из них поддерживают декодирование с плавающей точкой. В итоге мы решили тестировать с возможным клиппингом — по крайней мере, так условия более приближены к реальным, когда портативный плеер декодирует с фиксированной точкой. От предварительного понижения уровня пришлось отказаться, так как это могло бы повлиять на качество кодирования (кодеры используют абсолютный порог слышимости — ATH).

После декодирования аудио мы воспользовались ресемплером SoX — в данном случае уже использовалось предварительное понижение уровня для исключения клиппинга в процессе передискретизации.

Итак, благодаря, главным образом, усилиям Kamedo2, тест стартовал 20-го июля. Именно он стал руководителем теста, так как по правилам IgorC не мог занять эту должность, являясь одним из участников разработки кодека Opus, включенного в наш тест.

Приятной особенностью данного теста стало то, что кроме перевода страницы теста на русский, сбором результатов занимался также я. Это весьма облегчило участь русскоязычных пользователей, не слишком знакомых с английским.

Начальной датой окончания теста было 30-е августа. Однако, из-за того что в это время года большинство людей было на отдыхе — за первый промежуток времени нам не удалось собрать достаточное количество результатов. Тест был продлён до 12-го сентября включительно.

По итогам теста: в нём приняли участие 38 человек, результаты 33-х участников были учтены. Около семи участников были русскоязычными. Всего было собрано 339 результатов. Данные о сборе были удобно оформлены с помощью созданного Kamedo2 веб-скрипта в в виде таблицы:

Таким образом нам удалось достичь ошибки менее 0.3 при доверительном интервале 95%.

Ну и сами результаты:



Как я и ожидал: полная безоговорочная победа Opus. Обратите внимание: ни на одном семпле его результаты не опустились ниже 4-х баллов, соответствующих слышимым, но не раздражающим отличиям, — выводы делайте сами.

Второе место — вполне логично — занял QuickTime AAC. Третье разделили Vorbis и LAME 3.99 V5 (со средним битрейтом 135 кбит/с). Кстати, очень важным моментом в данном тесте стало доказательство превосходства AAC над Vorbis. Причем Vorbis проиграл главным образом в кодировании стереопанорамы, с которой у него порой происходят совершенно фантастические вещи.

Опять же, что касается Opus — у него и качество на высоте, и разброс оценок низкий. Огромное спасибо разработчикам.

Также интересно взглянуть на диаграмму качество/битрейт:

Здесь видно, что AAC не отличается особой гибкостью битрейта, а алгоритм выбора битрейта OGG Vorbis несовершенен — присутствуют треки с низким битрейтом и относительно низким качеством.

У меня на этом всё. Не знаю, как вы, а я иду кодировать музыку для плеера в Opus --bitrate 96 ;)

Спасибо всем за участие. Удачи!

P. S. Более детальные графики (по пользователям, по семплам и т. п.) можно найти на Странице результатов.


Информация от спонсора

OnServis.ru: бесплатное онлайн-радио и другие сервисы. На странице http://onservis.ru/radio-online.html Вы сможете прослушать более 100 различных радио-станций, подобрав музыку на свой вкус.

 
   
Добавил: Audiophile | Просмотров: 9186 | Рейтинг: 4.6/5, голосов: 7
Комментариев: 7
Добавлять комментарии могут только зарегистрированные пользователи. [ Регистрация | Вход ]
0   Спам
[4] User (21 Сентября 2014 09:04)
User
Итак, получается, что:
1) Для низких битрейтов берём Opus.
2) Для высоких битрейтов берём MusePack. Будет ли Opus лучше MusePack в этом направлении?
0  
[5] Audiophile (21 Сентября 2014 09:08)
Audiophile
Что-то подсказывает мне, что по технологичности Opus уже превзошел MPC. Как ни крути - второй с 2009-го не обновлялся.
https://audiophilesoft.com/news/200_kbps_abc/2014-06-27-105
0   Спам
[6] r3n4m3 (02 Октября 2014 21:50)
r3n4m3
терзают меня смутные сомненья... исходя из последнего сделанного мною ABX теста https://audiophilesoft.com/forum/3-85-1#5017
0   Спам
[7] User (12 Октября 2014 08:04)
User
Основная фишка MusePack'а в том, что у него высокая скорость софтварного декодирования, что делает его отличным претендентом для использования в компактных портативных плеерах. Однако такие плеера водятся только лишь в дикой природе т.к. нужен Rockbox, а использование на смартфонах имеет сомнительный характер так как.
0   Спам
[3] NGC6611 (19 Сентября 2014 15:51)
А я ведь знал, я знал crazy
Кодирую в Opus 112-128 сразу же начиная с релиза 1.1. Иногда все же есть сэмплы, где опус завышает битрейт раза так в полтора, но в целом я им очень доволен
0   Спам
[2] sergejholod (17 Сентября 2014 16:38)
Audiophile, Спасибо Мастер за такой материал ;) пошел тоже обновлять фонотеку плеера (:
0  
[1] Audiophile (14 Сентября 2014 15:04)
Audiophile
А причем тут LAME? Мы его версии тут не сравнивали.
Насчет этого - для начала предоставьте ABX логи непосредственного сравнения 3.99 и 3.98 с одинаковыми настройками VBR. По форме: https://audiophilesoft.com/forum/3-85-1