Перейти к основному содержанию

Ирина Алдошина. Бинауральная стереофония. Современное состояние исследований

Как бы­ло по­ка­за­но в пре­ды­ду­щих об­зо­рах по про­ст­ран­ст­вен­ным си­с­те­мам пе­ре­да­чи зву­ка («Шоу-Ма­с­тер», № 4-2003), на про­тя­же­нии уже де­сят­ков лет идут по­пыт­ки пе­ре­да­чи по ка­на­лам зву­ко­за­пи­си, звуко­пе­ре­да­чи и зву­ко­вос­про­из­ве­де­ния ин­фор­ма­ции об ок­ру­жа­ю­щем трех­мер­ном зву­ко­вом про­ст­ран­ст­ве. 

Все су­ще­ст­ву­ю­щее в на­сто­я­щее вре­мя ог­ром­ное мно­го­об­ра­зие про­ст­ран­ст­вен­ных си­с­тем зву­ко­пе­ре­да­чи мож­но ус­лов­но пред­ста­вить в ви­де струк­тур­ной схе­мы (см. рис. 1):

1

Рис. 1. Об­щая струк­ту­ра про­ст­ран­ст­вен­ных си­с­тем пе­ре­да­чи зву­ка 

где N1 – чис­ло вход­ных ка­на­лов, по ко­то­рым зву­ко­вой сиг­нал по­сту­па­ет в мик­шер­ный пульт от внеш­них ис­точ­ни­ков (ми­к­ро­фо­нов, маг­ни­то­фо­нов, про­иг­ры­ва­те­лей и др.), N2 – чис­ло вы­ход­ных ка­на­лов из мик­шер­но­го пуль­та, по ко­то­рым сиг­нал по­сту­па­ет в ко­ди­ру­ю­щее ус­т­рой­ст­во, N3 – чис­ло ка­на­лов пе­ре­да­чи, N4 – чис­ло ка­на­лов зву­ко­вос­про­из­ве­де­ния по­сле де­ко­ди­ро­ва­ния. 

Все су­ще­ст­ву­ю­щие си­с­те­мы про­ст­ран­ст­вен­ной зву­ко­пе­ре­да­чи мо­гут быть клас­си­фи­ци­ро­ва­ны по чис­лу ка­на­лов зву­ко­пе­ре­да­чи, по вы­бо­ру си­с­те­мы ми­к­ро­фо­нов, по спо­со­бу ко­ди­ро­ва­ния мно­го­ка­наль­ных сиг­на­лов в за­дан­ное чис­ло ка­на­лов пе­ре­да­чи, по спо­со­бу де­ко­ди­ро­ва­ния и спо­со­бу вос­про­из­ве­де­ния, а так­же и по дру­гим кри­те­ри­ям. 

Из ог­ром­но­го мно­го­об­ра­зия про­ст­ран­ст­вен­ных си­с­тем, раз­ра­бо­тан­ных на раз­ных эта­пах их раз­ви­тия, на­и­боль­шее рас­про­ст­ра­не­ние по­лу­чи­ли: 

– мо­но­фо­ни­че­с­кие си­с­те­мы (N1, 1, 1, 1), в ко­то­рых все мно­го­об­ра­зие сиг­на­лов, за­пи­сан­ных раз­лич­ны­ми ми­к­ро­фо­на­ми на мик­шер­ном пуль­те, сво­дит­ся в один ка­нал, пе­ре­да­ет­ся по од­но­му ка­на­лу и вос­про­из­во­дит­ся че­рез один гром­ко­го­во­ри­тель во вто­рич­ном по­ме­ще­нии. При та­кой си­с­те­ме зву­ко­пе­ре­да­чи ощу­ще­ние про­ст­ран­ст­вен­но­с­ти пер­вич­но­го по­ме­ще­ния те­ря­ет­ся, звук ис­хо­дит из од­ной точ­ки. При этом ес­те­ст­вен­ность тем­б­ров ин­ст­ру­мен­тов и го­ло­са так­же пол­но­стью пе­ре­дать не­воз­мож­но. Бы­ли по­пыт­ки улуч­шить эту си­с­те­му вве­де­ни­ем 
до­пол­ни­тель­ных гром­ко­го­во­ри­те­лей при вос­про­из­ве­де­нии (ква­зи­сте­ре­о­фо­ния), но прин­ци­пи­аль­но это не улуч­ши­ло си­ту­а­ции. Од­на­ко в си­лу сво­ей про­сто­ты для тех­ни­че­с­кой ре­а­ли­за­ции этот спо­соб зву­ко­пе­ре­да­чи ши­ро­ко ис­поль­зо­вал­ся в те­че­нии не­сколь­ких де­ся­ти­ле­тий (и ис­поль­зу­ет­ся в оте­че­ст­вен­ном те­ле­ви­де­нии и ра­дио­ве­ща­нии до сих пор); 

– сте­рео­фо­ни­че­с­кие си­с­те­мы ( N1, 2, 2, 2) – ис­ход­ное мно­же­ст­во пер­вич­ных сиг­на­лов с (N1) груп­пи­ру­ет­ся в два ка­на­ла пе­ре­да­чи: ле­вый (Л) и пра­вый (П). Для это­го ис­поль­зу­ют­ся раз­лич­ные си­с­те­мы ми­к­ро­фо­нов и па­но­рам­но-ко­ди­ру­ю­щие ус­т­рой­ст­ва на мик­шер­ном пуль­те. Сущ­ность сте­рео­эф­фек­та за­клю­ча­ет­ся в том, что ког­да на ле­вый и пра­вый слу­хо­вой ка­на­лы слу­ша­те­ля по­сту­па­ют оди­на­ко­вые сиг­на­лы от ле­во­го и пра­во­го гром­ко­го­во­ри­те­лей, воз­ни­ка­ет ощу­ще­ние «ка­жу­ще­го­ся (мни­мо­го) зву­ко­во­го об­ра­за», рас­по­ло­жен­но­го в цен­т­ре. Вы­би­рая раз­лич­ные со­че­та­ния амп­ли­туд и фаз при сло­же­нии пер­вич­ных сиг­на­лов, мож­но уп­рав­лять рас­по­ло­же­ни­ем зву­ко­во­го об­ра­за в пло­с­ко­сти рас­по­ло­же­ния гром­ко­го­во­ри­те­лей при вос­про­из­ве­де­нии. Со­во­куп­ность всех ка­жу­щих­ся зву­ко­вых ис­точ­ни­ков, раз­ли­ча­ю­щих­ся по ме­с­ту в про­ст­ран­ст­ве, об­ра­зу­ют сте­рео­па­но­ра­му. Зо­на рас­по­ло­же­ния слу­ша­те­лей, ощу­ща­ю­щих эту па­но­ра­му (сте­рео­зо­ну), ог­ра­ни­че­на по раз­ме­рам. Вы­ход за пре­де­лы этой зо­ны ухуд­ша­ет вос­при­я­тие сте­рео­па­но­ра­мы. Пе­ре­ход на сте­рео­си­с­те­мы су­ще­ст­вен­но улуч­шил ка­че­ст­во вос­про­из­ве­де­ния зву­ка, по­яви­лось ощу­ще­ние про­ст­ран­ст­вен­но­с­ти, улуч­ши­лась пра­виль­ность пе­ре­да­чи тем­б­ров, про­зрач­ность зву­ча­ния ин­ст­ру­мен­тов и т.д. 
Даль­ней­шие ша­ги по улуч­ше­нию про­ст­ран­ст­вен­ной зву­ко­пе­ре­да­чи при­ве­ли к со­зда­нию ква­д­ро­фо­ни­че­с­ких си­с­тем с че­тырь­мя ка­на­ла­ми пе­ре­да­чи (N1, 4, 4, 4) , ко­то­рые ока­за­лись эко­но­ми­че­с­ки не­эф­фек­тив­ны­ми. Бы­ли пред­ло­же­ны раз­лич­ные ва­ри­ан­ты сте­рео­ам­би­о­фо­ни­че­с­ких си­с­тем и др.; 

– ма­т­рич­ные сте­рео­фо­ни­че­с­кие си­с­те­мы – прин­цип ра­бо­ты та­ких си­с­тем за­клю­ча­ет­ся в сле­ду­ю­щем (см. рис. 2):

2 

Рис. 2. Прин­цип по­ст­ро­е­ния ма­т­рич­ной сте­рео­си­с­те­мы 

из мно­же­ст­ва сиг­на­лов, за­пи­сан­ных на пер­вич­ном кон­це, фор­ми­ру­ет­ся на вы­хо­де мик­шер­но­го пуль­та оп­ре­де­лен­ное ко­ли­че­ст­во ка­на­лов N2, ко­то­рые ко­ди­ру­ют­ся по оп­ре­де­лен­но­му за­ко­ну с по­мо­щью спе­ци­аль­но­го ко­де­ра (ПКУ) в два ка­на­ла, пе­ре­да­ют­ся по двум ка­на­лам и за­тем де­ко­ди­ру­ют­ся на при­ем­ном кон­це по оп­ре­де­лен­но­му ал­го­рит­му с по­мо­щью де­ко­де­ра (ДКУ) в оп­ре­де­лен­ное ко­ли­че­ст­во ка­на­лов, на­при­мер, в шесть (си­с­те­ма 5. 1) или во­семь (7. 1) и т.д. Ве­ду­щая роль в раз­ра­бот­ке та­ких си­с­тем при­над­ле­жит ла­бо­ра­то­рии Дол­би (США). В Рос­сии так­же бы­ли раз­ра­бо­та­ны зву­ко­вые си­с­те­мы та­ко­го ти­па: «Су­пер­фон-35» и «АВС-сте­рео». Сре­ди на­и­бо­лее ис­поль­зу­е­мых ма­т­рич­ных сте­рео­фо­ни­че­с­ких си­с­тем мож­но вы­де­лить сле­ду­ю­щие. 

Си­с­те­ма Dolby-Surround. В ней ис­поль­зу­ет­ся ма­т­рич­ный ко­дер, ко­то­рый по оп­ре­де­лен­но­му ал­го­рит­му ко­ди­ру­ет ана­ло­го­вый че­ты­рех­ка­наль­ный звук в два ка­на­ла пе­ре­да­чи. Ко­ди­ро­ван­ный про­грамм­ный ма­те­ри­ал пол­но­стью сов­ме­с­тим с обыч­ны­ми сте­рео- и мо­но­си­с­те­ма­ми зву­ко­пе­ре­да­чи и зву­ко­вос­про­из­ве­де­ния. 

Си­с­те­ма Dolby Pro-Logic. Это сле­ду­ю­щий этап усо­вер­шен­ст­во­ва­ния про­ст­ран­ст­вен­ных си­с­тем. В ней ис­поль­зу­ет­ся бо­лее усо­вер­шен­ст­во­ван­ная мо­дель ак­тив­но­го адап­тив­но­го де­ко­де­ра дву­мя уси­ли­те­ля­ми, в ко­то­ром обес­пе­чи­ва­ет­ся фор­ми­ро­ва­ние ре­аль­но­го сиг­на­ла для цен­т­раль­но­го ка­на­ла, пе­ре­рас­пре­де­ле­ние мощ­но­с­ти вы­ход­ных сиг­на­лов с це­лью точ­ной пе­ре­да­чи до­ми­ни­ру­ю­ще­го на­прав­ле­ния и т.д. Все эти си­с­те­мы ра­бо­та­ют с ана­ло­го­вы­ми сиг­на­ла­ми. 

Си­с­те­ма Dolby-Digital. Это ци­ф­ро­вая си­с­те­ма, ис­поль­зу­ю­щая тех­но­ло­гию АС-3 для сжа­тия ци­ф­ро­во­го по­то­ка. Си­с­те­ма поз­во­ля­ет в еди­ном ци­ф­ро­вом по­то­ке пе­ре­да­вать ин­фор­ма­цию для ше­с­ти ка­на­лов вос­про­из­ве­де­ния: ле­во­го (L), пра­во­го (R), цен­т­раль­но­го (C), двух ты­ло­вых (сте­рео LS, RS) и од­но­го низ­ко­ча­с­тот­но­го (LFE). Стан­дар­ти­зо­ван­ный ва­ри­ант рас­ста­нов­ки гром­ко­го­во­ри­те­лей по­ка­зан на рис. 3.

3 
Рис. 3. Рас­ста­нов­ка гром­ко­го­во­ри­те­лей для си­с­те­мы Surround Sound 5. 1 

Си­с­те­ма осу­ще­ств­ля­ет пе­ре­да­чу сиг­на­лов с ди­а­па­зо­ном ча­с­тот 20-20000 Гц (для низ­ко­ча­с­тот­но­го бло­ка 20-120 Гц), с ча­с­то­той дис­кре­ти­за­ции 48 кГц и раз­ряд­но­с­тью 18 бит, с ис­поль­зо­ва­ни­ем но­вых ал­го­рит­мов пер­цеп­ту­аль­но­го ко­ди­ро­ва­ния для сжа­тия сиг­на­лов (без по­те­ри ка­че­ст­ва) и бо­лее эф­фек­тив­но­го шу­мо­по­дав­ле­ния. 

Дан­ный фор­мат до­ста­точ­но уни­вер­са­лен и ис­поль­зу­ет­ся в те­ле­ви­де­нии, ки­но, ра­дио­ве­ща­нии, до­маш­них ау­дио-ви­део ком­плек­сах и си­с­те­мах муль­ти­ме­диа. 

В по­след­ние го­ды для про­фес­си­о­наль­но­го при­ме­не­ния бы­ла раз­ра­бо­та­на рас­ши­рен­ная си­с­те­ма Dolby Digital EX, где пре­ду­с­мо­т­ре­на раз­дель­ная пе­ре­да­ча ин­фор­ма­ции для се­ми ка­на­лов (трех фрон­таль­ных и трех ты­ло­вых). Кро­ме это­го, про­дол­жа­ют раз­ви­вать­ся и дру­гие фор­ма­ты пе­ре­да­чи про­ст­ран­ст­вен­но­го зву­ка для про­фес­си­о­наль­ных и бы­то­вых си­с­тем – DTS, SDDS и др. 

Даль­ней­шее раз­ви­тие этих си­с­тем упи­ра­ет­ся в про­бле­му на­ра­щи­ва­ния чис­ла ка­на­лов для бо­лее точ­ной пе­ре­да­чи про­ст­ран­ст­вен­ной ин­фор­ма­ции (в иде­а­ле чис­ло та­ких ка­на­лов долж­но быть бес­ко­неч­но ве­ли­ко, по­сколь­ку от­ра­жен­ные сиг­на­лы, фор­ми­ру­ю­щие у слу­ша­те­ля ощу­ще­ние про­ст­ран­ст­вен­но­го зву­ка, при­хо­дят из раз­лич­ных на­прав­ле­ний про­ст­ран­ст­ва). Ис­сле­до­ва­ния Бла­у­ер­та по­ка­за­ли, что чис­ло та­ких ка­на­лов мо­жет не пре­вы­шать 15, т.к. даль­ней­шее их уве­ли­че­ние не при­во­дит к су­ще­ст­вен­но­му улуч­ше­нию про­ст­ран­ст­вен­но­го вос­при­я­тия. 

В свя­зи с этим в по­след­ние го­ды боль­шое вни­ма­ние при­вле­ка­ет аль­тер­на­тив­ная си­с­те­ма пе­ре­да­чи зву­ка – би­на­у­раль­ная сте­рео­фо­ния. Ее за­да­ча со­сто­ит в том, что­бы пе­ре­дать по двум ка­на­лам свя­зи ин­фор­ма­цию о сиг­на­лах, по­сту­пив­ших не­по­сред­ст­вен­но в слу­хо­вые ка­на­лы слу­ша­те­лей (т.е. уже об­ра­бо­тан­ные уш­ны­ми ра­ко­ви­на­ми, ко­то­рые вы­пол­ня­ют функ­цию ди­фрак­ци­он­ных филь­т­ров). Ес­ли эту ин­фор­ма­цию до­не­с­ти до ле­во­го и пра­во­го уха слу­ша­те­ля, то у не­го воз­ни­ка­ют ощу­ще­ния, что он на­хо­дит­ся в пер­вич­ном зву­ко­вом про­ст­ран­ст­ве – (рис. 4, при­ме­ры зву­ча­ний мож­но по­слу­шать в Ин­тер­не­те по ад­ре­су: www. binaural. com). 

4 

Рис. 4. Пе­ре­да­ча би­на­у­раль­ных сиг­на­лов че­рез сте­рео­те­ле­фо­ны 

Пер­вые по­пыт­ки пе­ре­да­чи про­ст­ран­ст­вен­но­го зву­ка бы­ли пред­при­ня­ты в 1881 го­ду, ког­да Кле­мент Адер (Clement Ader) ус­та­но­вил се­рию ми­к­ро­фо­нов на сце­не па­риж­ской Опе­ры и сиг­на­лы от них по­дал по про­во­дам к го­ло­вным те­ле­фо­нам в не­ко­то­рые ком­на­ты бли­жай­ше­го оте­ля. Слу­ша­те­ли впер­вые мог­ли слы­шать про­ст­ран­ст­вен­ный звук, это был пер­вый шаг к би­на­у­раль­ной сте­рео­фо­нии. Сле­ду­ю­щим ша­гом ста­ли ра­бо­ты, вы­пол­нен­ные в ла­бо­ра­то­рии Bell Labs и про­де­мон­ст­ри­ро­ван­ные в 1934 го­ду. 

Од­на­ко на пу­ти раз­ви­тия би­на­у­раль­ной сте­рео­фо­нии сто­я­ли до­ста­точ­но слож­ные тех­ни­че­с­кие про­бле­мы, в пер­вую оче­редь та­кие, как не­об­хо­ди­мость за­пи­си сиг­на­лов в слу­хо­вых про­хо­дах слу­ша­те­ля в пер­вич­ном по­ме­ще­нии, не­об­хо­ди­мость вос­про­из­ве­де­ния сиг­на­лов толь­ко че­рез сте­реоте­ле­фо­ны, раз­ра­бот­ка ме­то­дов по­дав­ле­ния пе­ре­кре­ст­ных свя­зей при вос­про­из­ве­де­нии че­рез гром­ко­го­во­ри­-­те­ли и т.д. 

На про­тя­же­нии по­след­них де­ся­ти­ле­тий ис­сле­до­ва­ния по вне­д­ре­нию би­на­у­раль­ной сте­рео­фо­нии до­ста­точ­но ак­тив­но раз­ви­ва­лись. Бы­ли со­зда­ны та­кие при­бо­ры, как «ис­кус­ст­вен­ная го­ло­ва» (рис. 5), до­ста­точ­но точ­но ими­ти­ру­ю­щая фор­му го­ло­вы и уш­ных ра­ко­вин, с по­мо­щью ко­то­рой ста­ло воз­мож­но про­из­во­дить за­пись пер­вич­ных сиг­на­лов. Бы­ли раз­ра­бо­та­ны би­фо­ни­че­с­кие про­цес­со­ры, обес­пе­чи­ва­ю­щие по­дав­ле­ние пе­ре­кре­ст­ных свя­зей при вос­про­из­ве­де­нии че­рез гром­ко­го­во­ри­те­ли, при­мер­ная схе­ма по­ка­за­на на рис. 6а, 6б, где t – ли­нии за­держ­ки, рав­ные вре­ме­ни про­хож­де­ния сиг­на­ла от пра­во­го гром­ко­го­во­ри­те­ля к ле­во­му уху и на­обо­рот, КФ1 и КФ2 – кор­рек­ти­ру­ю­щие филь­т­ры, обес­пе­чи­ва­ю­щие ком­пен­са­цию пе­ре­кре­ст­ных сиг­на­лов при за­дан­ном по­ло­же­нии гром­ко­го­во­ри­те­лей и фик­си­ро­ван­ных ко­ор­ди­на­тах слу­ша­те­лей. Прин­цип ра­бо­ты би­фо­ни­че­с­ких про­цес­со­ров был за­па­тен­то­ван в 1966 го­ду ла­бо­ра­то­ри­ей Atal and Schroeder at Bell Telephone Laboratories. 

5 

Рис. 5. Мо­дель «ис­кус­ст­вен­ной» го­ло­вы Ке­мар 

6

Рис. 6. а. Прин­цип по­дав­ле­ния пе­ре­кре­ст­ных свя­зей 

6b

Рис. 6. б. Схе­ма би­фо­ни­че­с­ко­го про­цес­со­ра 

Од­на­ко вос­соз­да­ние про­ст­ран­ст­вен­но­го зву­ко­во­го об­ра­за уда­ва­лось ре­а­ли­зо­вать толь­ко для очень ог­ра­ни­чен­ной зо­ны фак­ти­че­с­ки при фик­си­ро­ван­ном по­ло­же­нии слу­ша­те­ля. Да­же сме­ще­ние го­ло­вы на 10-15 см вы­зы­ва­ло зна­чи­тель­ное ухуд­ше­ние ло­ка­ли­за­ции про­ст­ран­ст­вен­но­го об­ра­за. При пре­вы­ше­нии вре­ме­ни стан­дарт­ной ре­вер­бе­ра­ции вы­ше 3-4 с во вто­рич­ном по­ме­ще­нии так­же по­яв­ля­лись ошиб­ки в оп­ре­де­ле­нии ази­му­таль­но­го на­прав­ле­ния ис­точ­ни­ка в на­прав­ле­нии «фронт-тыл». 

При вос­про­из­ве­де­нии че­рез сте­рео­те­ле­фо­ны так­же воз­ни­ка­ли оп­ре­де­лен­ные про­бле­мы, хо­тя при про­слу­ши­ва­нии би­на­у­раль­ных за­пи­сей не воз­ни­ка­ло яв­ле­ния ла­те­ра­ли­за­ции, т.е. ло­ка­ли­за­ции зву­ко­во­го об­ра­за вну­т­ри го­ло­вы (как у обыч­ных сте­рео­за­пи­сей), но тем не ме­нее оцен­ка рас­сто­я­ния до ис­точ­ни­ка бы­ла не очень точ­ной, кро­ме то­го воз­ни­ка­ли ошиб­ки в на­прав­ле­нии «фронт-тыл», что свя­за­но с от­сут­ст­ви­ем ви­зу­аль­ных при­зна­ков и от­сут­ст­ви­ем вос­при­я­тия ре­вер­бе­ра­ции вто­рич­но­го по­ме­ще­ния, что так­же сни­жа­ло ощу­ще­ние на­ту­раль­но­с­ти зву­ча­ния. 
Кро­ме то­го, за­пись пря­мо на «ис­кус­ст­вен­ной го­ло­ве» так­же по ря­ду при­чин не на­шла ши­ро­ко­го при­ме­не­ния. Все это сдер­жи­ва­ло раз­ви­тие би­на­у­раль­ной сте­рео­фо­нии и ее ком­мер­че­с­кое вне­д­ре­ние. 

Од­на­ко по точ­но­с­ти вос­соз­да­ния пер­вич­но­го про­ст­ран­ст­вен­но­го зву­ко­во­го об­ра­за (гул­ко­с­ти, теп­ло­ты и мяг­ко­с­ти зву­ча­ния) би­на­у­раль­ная си­с­те­ма име­ет су­ще­ст­вен­ные пре­иму­ще­ст­ва пе­ред лю­бы­ми сте­рео­фо­ни­че­с­ки­ми си­с­те­ма­ми. По­это­му за по­след­ние го­ды, осо­бен­но в свя­зи с со­зда­ни­ем трех­мер­ных вир­ту­аль­ных зву­ко­вых и ви­део­по­лей, рез­ко вы­рос ин­те­рес к би­на­у­раль­ной сте­рео­фо­нии, со­от­вет­ст­вен­но, уве­ли­чи­лось ко­ли­че­ст­во пуб­ли­ка­ций, до­кла­дов на кон­грес­сах AES и др. 

Об­зор ре­зуль­та­тов, по­лу­чен­ных при ре­ше­нии про­блем би­на­у­раль­ной сте­рео­фо­нии (по пуб­ли­ка­ци­ям в JAES и до­кла­дам на по­след­них кон­грес­сах), яв­ля­ет­ся це­лью дан­ной ста­тьи. 

Сре­ди мно­го­чис­лен­ных ра­бот мож­но вы­де­лить три глав­ных на­прав­ле­ния ис­сле­до­ва­ний. 

Пер­вое. Со­зда­ние би­на­у­раль­ных про­цес­со­ров, ко­то­рые из мно­же­ст­ва сиг­на­лов, за­пи­сан­ных обыч­ны­ми ми­к­ро­фо­на­ми, фор­ми­ру­ют два би­на­у­раль­ных сиг­на­ла за счет “cверт­ки” их с пе­ре­да­точ­ны­ми функ­ци­я­ми в пра­вое и ле­вое ухо, ко­то­рые, в свою оче­редь, вы­чис­ля­ют­ся с по­мо­щью ком­пью­тер­ных мо­де­лей го­ло­вы и уш­ных ра­ко­вин. 

Вто­рое. По­дав­ле­ние пе­ре­кре­ст­ных свя­зей при вос­про­из­ве­де­нии че­рез гром­ко­го­во­ри­те­ли с уче­том дви­же­ния го­ло­вы и рас­ши­ре­ния зо­ны би­на­у­раль­но­го эф­фек­та. 

Тре­тье. Со­зда­ние про­цес­со­ров для сте­рео­те­ле­фо­нов, поз­во­ля­ю­щих за счет об­ра­бот­ки сиг­на­лов с уче­том пе­ре­да­точ­ной функ­ции го­ло­вы и уш­ных ра­ко­вин и ре­вер­бе­ра­ци­он­ных про­цес­сов в по­ме­ще­нии 
обес­пе­чить бо­лее точ­ную ло­ка­ли­за­цию про­ст­ран­ст­вен­но­го об­ра­за и боль­шую ес­те­ст­вен­ность зву­ча­ния. 

Со­зда­ние би­на­у­раль­ных про­цес­со­ров тре­бу­ет бан­ка дан­ных, вклю­ча­ю­щих в се­бя пе­ре­да­точ­ные функ­ции (HRTF) и им­пульс­ные функ­ции (BRIR) го­ло­вы, ко­то­рые из­ме­ря­ют­ся обыч­но в за­глу­шен­ных ка­ме­рах без уче­та от­ра­же­ний зву­ка, име­ю­щих ме­с­то в ре­аль­ном по­ме­ще­нии. При­мер та­кой за­пи­си пе­ре­да­точ­ных функ­ций (т. е. ча­с­тот­ных ха­рак­те­ри­с­тик при раз­ных уг­ло­вых по­ло­же­ни­ях ис­точ­ни­ка) по­ка­зан на рис. 7.

7 

Рис. 7. Пе­ре­да­точ­ные функ­ции го­ло­вы и уш­ных ра­ко­вин для раз­ных уг­лов па­де­ния зву­ка 

Из­ме­ре­ния обыч­но про­во­дят­ся на не­ко­то­рых ус­ред­нен­ных мо­де­лях «ис­кус­ст­вен­ной го­ло­вы», не учи­ты­ва­ю­щих ин­ди­ви­ду­аль­ные ана­то­ми­че­с­кие осо­бен­но­с­ти уш­ных ра­ко­вин. 

В по­след­ние го­ды на­ме­ти­лась тен­ден­ция со­зда­ния ком­пью­тер­ных мо­де­лей го­ло­вы и раз­ра­бот­ка ме­то­дов рас­че­та чис­лен­ны­ми ме­то­да­ми пе­ре­да­точ­ных функ­ций (т.е. за­ви­си­мо­с­ти уров­ня зву­ко­во­го дав­ле­ния от ча­с­то­ты вну­т­ри слу­хо­во­го про­хо­да) с уче­том ре­вер­бе­ра­ци­он­ных про­цес­сов в ок­ру­жа­ю­щем про­ст­ран­ст­ве и ин­ди­ви­ду­аль­ных осо­бен­но­с­тей слу­ша­те­ля. Этим во­про­сам бы­ли по­свя­ще­ны до­кла­ды на 113 и 114 кон­грес­сах, в по­след­нем из них (пре­принт 5712)1, бы­ла пред­ло­же­на мо­дель рас­че­та пе­ре­да­точ­ных функ­ций чис­лен­ны­ми ме­то­да­ми с уче­том от­ра­же­ний от го­ло­вы и тор­са, т.к. для ло­ка­ли­за­ции зву­ка су­ще­ст­вен­ны­ми яв­ля­ют­ся от­ра­же­ния от плеч, осо­бен­но в об­ла­с­ти низ­ких ча­с­тот. Уп­ро­щен­ная мо­дель по­ка­за­на на рис. 8.

8

Рис. 8. Уп­ро­щен­ная мо­дель го­ло­вы  и тор­са для рас­че­та пе­ре­да­точ­ных функ­ций 

Для ком­пен­са­ции оши­бок при рас­че­тах на уп­ро­щен­ной мо­де­ли пред­ла­га­ет­ся схе­ма ци­ф­ро­во­го филь­т­ра, име­ю­ще­го раз­ную струк­ту­ру в за­ви­си­мо­с­ти от то­го, где на­хо­дит­ся ис­точ­ник зву­ка - вну­т­ри или вне те­не­вой зо­ны (рис. 9). 

9

Рис. 9. Схе­ма кор­рек­ти­ру­ю­ще­го филь­т­ра 

Спе­ци­аль­ные ис­сле­до­ва­ния бы­ли по­свя­ще­ны уче­ту от­ра­жен­ных сиг­на­лов при рас­че­тах HRTF и BRIR (до­клад на 114 кон­грес­се пре­принт 5839). До­бав­ле­ние от­ра­жен­ных сиг­на­лов при рас­че­те им­пульс­ных и пе­ре­да­точ­ных функ­ций улуч­ша­ет ре­а­ли­с­тич­ность и про­ст­ран­ст­вен­ность вос­при­ни­ма­е­мо­го зву­ко­во­го об­ра­за, од­на­ко чис­ло этих до­бав­лен­ных от­ра­жен­ных сиг­на­лов мо­жет быть ог­ра­ни­че­но (что прин­ци­пиаль­но важ­но при со­зда­нии ком­пью­тер­ных мо­де­лей). Бы­ло ис­сле­до­ва­но вли­я­ние пер­вых от­ра­же­ний на точ­ность ло­ка­ли­за­ции ис­точ­ни­ка и по­ка­за­но, что на­и­боль­ший вклад вно­сят до­бав­лен­ные от­ра­же­ния в пре­де­лах 15-200 мс, что и долж­но учи­ты­вать­ся при рас­че­те им­пульс­ных ха­рак­те­ри­с­тик BRIR. 

Чрез­вы­чай­но важ­ной про­бле­мой при раз­ра­бот­ке би­на­у­раль­ных си­с­тем яв­ля­ет­ся точ­ность оцен­ки ло­ка­ли­за­ции про­ст­ран­ст­вен­но­го об­ра­за. По­сколь­ку оцен­ка яв­ля­ет­ся субъ­ек­тив­ной, до­ста­точ­но слож­но при­ве­с­ти в со­от­вет­ст­вие ощу­ще­ния по ло­ка­ли­за­ции ис­точ­ни­ка в точ­ное опи­са­ние его ко­ор­ди­нат в про­ст­ран­ст­ве. В до­кла­де на 114 кон­грес­се (пре­принт 5789) был пред­ло­жен ме­тод ви­зу­аль­но­го оп­ре­де­ле­ния ло­ка­ли­за­ции ис­точ­ни­ка (рис. 10), ко­то­рый с по­мо­щью трех­мер­ной ком­пью­тер­ной мо­де­ли рас­по­ло­же­ния го­ло­вы поз­во­ля­ет слу­ша­те­лю до­ста­точ­но точно ука­зать гра­фи­че­с­ки рас­по­ло­же­ние ис­точ­ни­ка. Раз­ви­вая этот ме­тод, ста­ли ис­поль­зо­вать спе­ци­аль­ные дат­чи­ки, кон­тро­ли­ру­ю­щие дви­же­ние го­ло­вы слу­ша­те­ля, что поз­во­ля­ет про­из­во­дить оцен­ку ло­ка­ли­за­ции би­на­у­раль­но­го ис­точ­ни­ка при из­ме­не­нии по­ло­же­ния го­ло­вы. 

10 

Рис. 10. Ком­пью­тер­ная мо­дель ви­зу­а­ли­за­ции про­ст­ран­ст­вен­но­го об­ра­за 

Ин­те­рес­ным яв­ля­ет­ся спо­соб би­на­у­раль­ной за­пи­си и вос­про­из­ве­де­ния зву­ка с уче­том дви­же­ния го­ло­вы, пред­ло­жен­ный в до­кла­де «Motion-Tracked Binaural Sound (MTB)» уче­ным из ка­ли­фор­ний­ско­го уни­вер­си­те­та Р. Ду­да и др., 116 кон­гресс, (пре­принт 6015). Для это­го за­пись про­из­во­дит­ся на груп­пу ми­к­ро­фо­нов, рас­по­ло­жен­ную на сфе­ре ди­а­ме­т­ром, при­мер­но рав­ным раз­ме­ру го­ло­вы слу­ша­те­ля. С по­мощью дат­чи­ка, рас­по­ло­жен­но­го на го­ло­ве (на­при­мер, ин­фра­крас­но­го) от­ме­ча­ет­ся по­ло­же­ние пра­во­го и ле­во­го уха слу­ша­те­ля. Ес­ли оно сов­па­да­ет с поло­же­ни­ем ка­ко­го-ли­бо ми­к­ро­фо­на, то сиг­нал по­да­ет­ся имен­но на этот ми­к­ро­фон, ес­ли нет, то про­из­во­дит­ся ин­тер­по­ля­ция сиг­на­лов с бли­жай­ших ми­к­ро­фо­нов. Об­щая схе­ма си­с­те­мы по­ка­за­на на рис. 11.

11

Рис. 11. Си­с­те­ма за­пи­си MTB 

Та­кая си­с­те­ма MTB име­ет не­сколь­ко пре­иму­ществ пе­ред су­ще­ст­ву­ю­щи­ми. Она со­зда­ет ста­биль­ный про­ст­ран­ст­вен­ный об­раз, в ко­то­ром по­ло­же­ние мни­мо­го ис­точ­ни­ка со­от­вет­ст­ву­ет по­зи­ции го­ло­вы. Это умень­ша­ет ве­ро­ят­ность оши­бок «фронт-тыл», ко­то­рые ино­гда воз­ни­ка­ют при би­на­у­раль­ных за­пи­сях. Кро­ме то­го, та­кой спо­соб за­пи­си учи­ты­ва­ет ре­вер­бе­ра­ци­он­ные про­цес­сы в по­ме­ще­нии, что уве­ли­чи­ва­ет ощу­ще­ние ре­а­лиз­ма. Она поз­во­ля­ет пе­ре­да­вать сиг­на­лы не­сколь­ким слу­ша­те­лям, ко­то­рые мо­гут сме­щать по­ло­же­ние го­ло­вы не­за­ви­си­мо друг от дру­га. 

Ра­зу­ме­ет­ся, эта си­с­те­ма еще тре­бу­ет оп­ре­де­лен­ной до­ра­бот­ки, но по­лу­чен­ные с ее по­мо­щью за­пи­си по­ка­зы­ва­ют ин­те­рес­ные ре­зуль­та­ты. 

При со­зда­нии про­цес­со­ров для об­ра­бот­ки сиг­на­лов в сте­рео­те­ле­фо­нах, как уже бы­ло ска­за­но вы­ше, ис­поль­зу­ет­ся банк дан­ных пе­ре­да­точ­ных и им­пульс­ных ха­рак­те­ри­с­тик го­ло­вы, из­ме­рен­ных, как пра­ви­ло, на си­с­те­ме «ис­кус­ст­вен­ная го­ло­ва». Не­об­хо­ди­мо от­ме­тить, что зна­чи­тель­ные ана­то­ми­че­с­кие раз­ли­чия у раз­ных лю­дей не поз­во­ля­ют до­бить­ся пол­но­го ис­чез­но­ве­ния эф­фек­та ла­те­ра­ли­за­ции, при этом ос­та­ет­ся не­ко­то­рое ощу­ще­ние не­на­ту­раль­но­с­ти зву­ко­во­го про­ст­ран­ст­ва. В до­кла­де на 116 кон­грес­се (пре­принт 6067) был пред­ло­жен до­ста­точ­но про­стой ме­тод из­ме­ре­ния ин­ди­ви­ду­аль­ных пе­ре­да­точ­ных ха­рак­те­ри­с­тик (блок-схе­ма из­ме­ре­ний по­ка­за­на на рис. 12).

12

Рис. 12. Схе­ма из­ме­ре­ний ин­ди­ви­ду­аль­ных пе­ре­да­точ­ных функ­ций 

Сиг­на­лы от гром­ко­го­во­ри­те­лей за­пи­сы­ва­лись с по­мо­щью ми­ни­а­тюр­ных эле­к­т­рет­ных ми­к­ро­фо­нов, ус­та­нов­лен­ных на вхо­де в слу­хо­вой ка­нал слу­ша­те­ля, по­лу­чен­ные сиг­на­лы вво­ди­лись в ком­пью­тер, где с по­мо­щью про­грам­мы Мат­лаб про­из­во­ди­лось вы­чис­ле­ние им­пульс­ных ха­рак­те­ри­с­тик. Как по­ка­за­ли ре­зуль­та­ты ис­сле­до­ва­ний, кор­рек­ция бифо­ни­че­с­ких и ди­хо­ти­че­с­ких (ра­бо­та­ю­щих со сте­рео­те­ле­фо­на­ми) про­цес­со­ров с уче­том ин­ди­ви­ду­аль­ных им­пульс­ных ха­рак­те­ри­с­тик зна­чи­тель­но улуч­ша­ет на­ту­раль­ность про­ст­ран­ст­вен­но­го вос­при­я­тия. 

Кро­ме про­цес­сор­ной об­ра­бот­ки зву­ка в сте­рео­те­ле­фо­нах для «вы­но­са» зву­ко­во­го об­ра­за из го­ло­вы на­ча­ли ис­поль­зо­вать­ся си­с­те­мы ак­тив­но­го по­дав­ле­ния шу­мов (113 кон­гресс, пре­принт 5713). Для это­го так­же ис­поль­зу­ют­ся встро­ен­ные ми­ни­а­тюр­ные ми­к­ро­фо­ны, за­пи­сы­ва­ю­щие ок­ру­жа­ю­щую зву­ко­вую ин­фор­ма­цию, сиг­нал от ко­то­рых по­сту­па­ет на про­цес­со­ры, ре­а­ли­зу­ю­щие шу­мо­по­дав­ле­ние. 

В ре­зуль­та­те ря­да улуч­ше­ний в тех­но­ло­гии со­зда­ния би­фо­ни­че­с­ких про­цес­со­ров, в ча­ст­но­с­ти, ме­то­дов, раз­ра­бо­тан­ных Д. Купером и Дж. Боуком, бы­ло со­зда­но их но­вое по­ко­ле­ние, на­при­мер, Harman VMAx (Virtual Multi-Axis system), поз­во­лив­шее зна­чи­тель­но рас­ши­рить зо­ну оп­ти­маль­но­го про­ст­ран­ст­вен­но­го эф­фек­та с уче­том дви­же­ния го­ло­вы слу­ша­те­ля. 

Даль­ней­шее раз­ви­тие би­на­у­раль­ных за­пи­сей по­лу­чи­ло в ра­бо­тах фин­ских уче­ных, вы­пол­нен­ных в ис­сле­до­ва­тель­ском цен­т­ре фир­мы Nokia, это чрез­вы­чай­но ин­те­рес­ное на­прав­ле­ние (114 кон­гресс, пре­принт 5768 и 116 кон­гресс, пре­принт 6124). Идея со­сто­ит в со­зда­нии трех­мер­но­го зву­ко­во­го про­ст­ран­ст­ва, объ­е­ди­ня­ю­ще­го на­ту­раль­ные и син­те­зи­ро­ван­ные зву­ки (обо­га­щен­ный вир­ту­аль­ный зву­ко­вой мир — поч­ти из об­ла­с­ти фан­та­с­ти­ки). Для обо­зна­че­ния та­ких си­с­тем бы­ло пред­ло­же­но на­зва­ние MARA (mobile augmented reality audio) — мо­биль­ный обо­га­щен­ный ре­аль­ный звук, и WARA (wearable augmented reality audio) — пе­ре­нос­ный обо­га­щен­ный ре­аль­ный звук. 

На сте­рео­те­ле­фо­ны (для мо­биль­ных си­с­тем это ми­ни­а­тюр­ные вклад­ные те­ле­фо­ны) ус­та­нав­ли­ва­ет­ся ми­ни­а­тюр­ный ми­к­ро­фон (рис. 13).

13

Рис. 13. Раз­ме­ще­ние ми­ни­а­тюр­ных сте­рео­те­ле­фо­нов с   встро­ен­ным ми­к­ро­фо­ном 

На эти сте­рео­те­ле­фо­ны по­да­ют­ся би­на­у­раль­ные сиг­на­лы, за­пи­сан­ные на ис­кус­ст­вен­ной го­ло­ве или син­те­зи­ро­ван­ные и об­ра­бо­тан­ные со­от­вет­ст­ву­ю­щи­ми филь­т­ра­ми с уче­том пе­ре­да­точ­ных функ­ций го­ло­вы (HRTF). Од­но­вре­мен­но с по­мо­щью встро­ен­ных ми­к­ро­фо­нов за­пи­сы­ва­ют­ся ре­аль­ные зву­ки из ок­ру­жа­ю­ще­го про­ст­ран­ст­ва. За­тем с по­мо­щью спе­ци­аль­но­го мик­ше­ра (Mixer ARA) про­ис­хо­дит сме­ши­ва­ние ре­аль­ных зву­ков и син­те­зи­ро­ван­ных би­на­у­раль­ных зву­ков с их со­от­вет­ст­ву­ю­щей ци­ф­ро­вой про­цес­сор­ной об­ра­бот­кой. Об­щая схе­ма си­с­те­мы по­ка­за­на на рис. 14. 

14

Рис. 14. Об­щая схе­ма по­ст­ро­е­ния си­с­тем MARA

Прак­ти­че­с­кая ре­а­ли­за­ция та­кой си­с­те­мы от­кры­ва­ет очень ши­ро­кие воз­мож­но­с­ти. Мож­но обо­га­щать на­ту­раль­ные зву­ки до­пол­ни­тель­ны­ми эф­фек­та­ми (на­при­мер, до­бав­лять ис­кус­ст­вен­ную ре­вер­бе­ра­цию), при­ме­ши­вать к ним до­пол­ни­тель­ные зву­ки (на­при­мер, шум дож­дя), уби­рать шу­мы, из­ме­нять тембр, пе­ре­да­вать ка­кую-то до­пол­ни­тель­ную ин­фор­ма­цию и т. д. Экс­пе­римен­ты по­ка­за­ли, что слу­ша­те­ли до­статоч­но бы­с­т­ро адап­ти­ру­ют­ся к та­ко­му пе­ре­ме­ши­ва­нию на­ту­раль­ных и син­те­зи­ро­ван­ных зву­ков, вос­при­ни­мая их как еди­ный про­ст­ран­ст­вен­ный зву­ко­вой об­раз. 

При­ме­не­ние та­кой си­с­те­мы (рис. 15) поз­во­ля­ет осу­ще­ст­вить по­гру­же­ние од­но­го слу­ша­те­ля в трех­мер­ный про­ст­ран­ст­вен­ный мир дру­го­го (на­хо­дя­ще­го­ся в со­вер­шен­но­го дру­гом ме­с­те) с по­мо­щью пе­ре­да­чи в ре­аль­ном вре­ме­ни би­на­у­раль­ной зву­ко­вой ин­фор­ма­ции (ве­ро­ят­но, это ско­ро бу­дет ре­а­ли­зо­ва­но в мо­биль­ных те­ле­фо­нах). Ес­ли при этом еще бу­дет пе­ре­да­вать­ся про­ст­ран­ст­вен­ный ви­део­об­раз, то мож­но бу­дет го­во­рить о пол­ном по­гру­же­нии слу­ша­те­ля в вир­ту­аль­ный мир со­бе­сед­ни­ка. 

15

Рис. 15. Пе­ре­да­ча би­на­у­раль­ной ин­фор­ма­ции от од­но­го слу­ша­те­ля к дру­го­му 

Сле­ду­ет от­ме­тить, что раз­ви­тие би­на­у­раль­ной сте­рео­фо­нии опи­ра­етс в ос­нов­ном на мо­де­ли­ро­ва­ние пе­ре­да­точ­ных функ­ций внеш­не­го уха (уш­ной ра­ко­ви­ны и слу­хо­во­го про­хо­да), од­на­ко в на­сто­я­щее вре­мя ве­дут­ся ин­тен­сив­ные ис­сле­до­ва­ния (на­при­мер, в из­ве­ст­ном цен­т­ре «Ин­сти­тут ком­му­ни­ка­ци­он­ной аку­с­ти­ки в Гер­ма­нии под ру­ко­вод­ст­вом про­фес­со­ра Бла­у­ер­та) по со­зда­нию ком­пью­тер­ных мо­де­лей слу­хо­вой си­с­те­мы с уче­том об­ра­бот­ки зву­ка во вну­т­рен­нем ухе и в раз­лич­ных от­де­лах ко­ры го­ло­вно­го моз­га. В ча­ст­но­с­ти, на 115 кон­грес­се (пре­принт 5864) бы­ли про­де­мон­ст­ри­ро­ва­ны ком­пью­тер­ные мо­де­ли фор­ми­ро­ва­ния би­на­у­раль­но­го про­ст­ран­ст­вен­но­го об­ра­за с уче­том об­ра­бот­ки ле­во­го и пра­во­го сиг­на­лов во вну­т­рен­нем ухе и в ниж­них от­де­лах ко­ры го­ло­вно­го моз­га. Со­здан­ный «би­на­у­раль­ный про­ст­ран­ст­вен­ный об­раз» (binaural pattern) чет­ко от­ра­жа­ет осо­бен­но­с­ти про­ст­ран­ст­вен­но­го вос­при­я­тия раз­лич­ных по­ме­ще­ний и мо­жет слу­жить кри­те­ри­ем их оцен­ки (рис. 16). 

16

Рис. 16. Би­на­у­раль­ный про­ст­ран­ст­вен­ный об­раз (binaural pattern) 

По­лу­чен­ные ре­зуль­та­ты слу­жат ос­но­вой для со­зда­ния вир­ту­аль­ных про­ст­ран­ст­вен­ных зву­ко­вых и дру­гих ми­ров (зри­тель­ных, обо­ня­тель­ных, ося­за­тель­ных и др.), обес­пе­чи­ва­ю­щих зна­чи­тель­но боль­ший ре­а­лизм по­гру­же­ния че­ло­ве­ка в них. Прав­да, по­ка не­яс­но, к че­му это мо­жет при­ве­с­ти. Со­зда­ние си­ту­а­ции, ког­да че­ло­век пе­ре­ста­ет от­ли­чать вир­ту­аль­ный мир от ре­аль­но­го, мне ка­жет­ся, очень ри­с­ко­ван­но. Од­на­ко по­смо­т­рим, что по­ка­жет бу­ду­щее.