Этапы развития звука в компьютерных играх

Петр Советов, 2014

Этап 1. Первые игры со звуком

Ранняя история компьютерной музыки

Обсуждение на сайте Stack Overflow.

Знаменитый компьютерный ученый Алан Кэй (Alan Kay) однажды задал на веб-ресурсе Stack Overflow следующий провокационный вопрос: "Какие важные изобретения в области компьютеров, сделанные уже после 1980-го года, вы знаете?". Это был намек на то, что, возможно, изобретений таковых практически не имеется, все, в той или иной форме, уже было придумано давным-давно. Разумеется, это весьма спорное утверждение, однако, любопытно проверить его в частном случае, в отношении компьютерных технологий в области звука. Речь будет идти о достижениях, значимых с точки зрения будущего использования в компьютерных играх.

CSIRAC на сайте Мельбурнского университета. Реконструированный пример звучания.

В далеком 1951-м году, в Австралии, компьютер CSIRAC воспроизвел несколько простых популярных мелодий. Встроенный динамик данного компьютера не предназначался для музыки, а служил вполне прозаическим целям: для сигнализации о различных системных событиях. Однако, усилиями энтузиастов, CSIRAC генерировал в реальном времени тот самый однобитный звук, который впоследствии будет хорошо знаком обладателям домашних компьютеров со встроенным динамиком.

Динамик компьютера CSIRAC.

В 50-х годах появилось несколько проектов на тему алгоритмической музыки. Так, в 1959-м году советский ученый Р.Х. Зарипов на компьютере "Урал" создавал "уральские напевы" -- мелодии, которые автоматически генерировались в согласии с законами музыкальной теории. Для чего нужна алгоритмическая музыка? Игрокам хорошо известно, что такое процедурный подход: порождение несчислимых и разнообразных персонажей, планет, галактик и прочего. Аналогичный подход может касаться и музыки, но для этого требуется, чтобы она была не заранее подготовлена, а постоянно менялась, реагируя на различные игровые ситуации, то есть порождалась бы с помощью алгоритмов.

На протяжении 50-х и 60-х развивался аудиоязык MUSIC Макса Мэтьюса (Max Mathews), созданный в лабораториях Белла. Это был прообраз современных Csound, Max/MSP и Reaktor. В MUSIC реализованы аддитивный синтез, проигрывание сэмплов, цифровая фильтрация и другие методы, которые в будущем широко использовались и при озвучивании игр. Процесс создания музыки на данном аудиоязыке состоял из двух частей.

Альбом компьютерной музыки М Мэтьюса и других авторов, 1960-62 гг.
Подобное разделение на "оркестр" и "партитуру" в будущем имело место в, так называемых, звуковых драйверах игр, которые создавали музыканты и программисты для 8-битных компьютеров. Стоит отметить также, что процесс создания музыки в MUSIC происходил в пакетном режиме: вначале компиляция кода и генерирование звуковых сэмплов на магнитной ленте, а затем, на другом компьютере, перевод полученных сэмплов в аналоговую форму. Остается только добавить, что один из этих компьютеров мог в те времена находиться в Нью-Йорке, а другой -- в Нью-Джерси.

В начале 60-х, все в тех же лабораториях Белла, был разработан вариант синтеза на основе моделирования физических процессов -- это самое широкое и перспективное направление в области синтеза звука и по сей день. Была создана компьютерная модель вокального тракта с синтезом речи (авторы: John L. Kelly и Carol C. Lochbaum).

Описание создания модели вокального тракта. Пример звучания синтезатора речи, песенка Daisy Bell (1961).
Синтез речи, пожалуй, не слишком популярен в компьютерных играх, но, тем не менее, некоторые примеры его игрового использования будут приведены далее. Что же касается других возможных примеров "физического" подхода к звуку в компьютерных играх, то речь может идти о моделировании звуков дождя, грома, камнепада, шума работающего двигателя и так далее. Здесь подразумевается, что будут использованы не заранее записанные сэмплы, а параметрические модели, реализации которых пока редко встречаются даже в самых современных играх.

Статья Чоунинга о компьютерной реализации локализации звука и FM-синтезе.

Год 1967-й. Джон Чоунинг (John Chowning) из Стэнфордского университета изобретает FM-синтез, реализованный позже во множестве звуковых чипов и звуковых карт, в игровых автоматах, приставках и домашних компьютерах. Этот же талантливый изобретатель еще в 1964-м экспериментировал с алгоритмами локализации звука, то есть с 3d звуком. Различные реализации данного подхода в играх появились относительно недавно, но возможность определения местоположения источника в трехмерном пространстве даже с закрытыми глазами трудно переоценить для современного игрока.

Руководство пользователя EMT 250 (на немецком).

В 1976-м году увидел свет цифровой студийный прибор EMT 250, совместная разработка немецких и американских инженеров, который включал в себя реверберацию и другие пространственные эффекты.

Ревербератор EMT 250.
Лори Шпигель (Laurie Spiegel) музицирует на цифровом синтезаторе Bell Labs Digital Synthesizer (FM-синтез, аддитивный синтез, цифровая реверберация), год 1977-й: видеозапись.
Гулкая пещера, храм, пустой ангар -- характерная акустическая окраска того или иного виртуального помещения несомненно добавляет реалистичности переживаниям игрока.

1971-1979