Извлечение музыкальной информации (ИМИ) — это междисциплинарная наука, занимающаяся поиском информации в музыкальных произведениях. Специалисты в этой области могут иметь образование в академическом музыковедении, психоакустике, психологии, обработке сигналов, информатике, машинном обучении, , вычислительном интеллекте или сочетании этих направлений.

Приложения Бизнес и научные круги используют извлечение информации из музыки для классификации, обработки и даже создания музыкальных произведений.

Классификация музыки Одной из классических исследовательских задач ИМИ является классификация по жанрам, то есть отнесение музыкальных произведений к одному из заранее определённых жанров, таких как классика, джаз, рок, и так далее. Также популярны задачи классификации по настроению, исполнителю, идентификации инструментов и тегирование музыки.

Рекомендательные системы Существует уже несколько рекомендательных систем для музыки, но, как ни удивительно, лишь немногие из них основаны на методах ИМИ. Вместо этого они используют сходство между пользователями или трудоёмкий сбор данных. Например, Pandora (радио) привлекает экспертов для присвоения музыке таких характеристик, как «женский вокал» или «сильная басовая линия». Многие другие системы находят пользователей со схожей историей прослушивания и предлагают им новую музыку из соответствующих коллекций. Техники ИМИ для определения начинают находить применение в таких системах.

Разделение музыкальных источников и распознавание инструментов Разделение музыкальных источников — это процесс выделения исходных сигналов из смешанного . Распознавание инструментов заключается в определении инструментов, используемых в музыке. Были разработаны различные системы в области поиска музыкальной информации, способные разделять музыку на составляющие её дорожки без доступа к мастер-копии. Таким образом, например, можно создавать караоке-треки из обычных музыкальных композиций, хотя этот процесс ещё не идеален из-за того, что вокал занимает часть того же частотного диапазона, что и другие инструменты.

Автоматическая транскрипция музыки Автоматическая транскрипция музыки это процесс преобразования аудиозаписи в символическую нотацию, такую как партитура или MIDI-файл. Этот процесс включает в себя несколько задач аудиоанализа, которые могут включать обнаружение нескольких высот тона, , оценку длительности, идентификацию инструмента и извлечение гармонической, ритмической или мелодической информации. Эта задача становится сложнее с увеличением количества инструментов и .

Автоматическая генерация Автоматическое написание музыки является целью многих исследователей в области ИМИ. Были предприняты попытки с ограниченным успехом в плане восприятия результатов человеком.

Использование методов Источник данных Партитура предоставляют чёткое и логичное описание музыки для работы, но доступ к нотным записям, будь то в цифровом или ином виде, часто непрактичен. MIDI-музыка также использовалась по схожим причинам, но при конвертации из других форматов в MIDI теряются некоторые данные, если только музыка не была изначально написана с учётом стандартов MIDI, что случается редко. Цифровые аудиоформаты, такие как WAV, mp3 и ogg, используются, когда сам звук является частью анализа. Форматы с потерями, такие как mp3 и ogg, хорошо подходят для человеческого слуха, но могут потерять критически важные для исследования данные. Кроме того, некоторые кодировки создают артефакты, которые могут ввести в заблуждение любой автоматический анализатор. Несмотря на это, повсеместное распространение MP3 означает, что значительная часть исследований в этой области использует их в качестве исходного материала. Всё чаще в ИМИ включаются метаданные, извлечённые из интернета для более полного понимания музыки в её культурном контексте, и в последнее время это включает анализ социальных тегов для музыки.

Представление признаков Для анализа часто требуется некоторое обобщение, и в музыке (как и во многих других видах данных) это достигается путём извлечения признаков, особенно когда анализируется и предполагается применение машинного обучения. Цель состоит в том, чтобы сократить огромное количество данных до управляемого набора значений, чтобы обучение могло быть выполнено в разумные сроки. Одним из распространённых извлекаемых признаков является мел-частотный кепстральный коэффициент (МЧКК), который является мерой тембра музыкального произведения. Другие признаки могут использоваться для представления тональности, аккордов, гармоний, мелодии, основной высоты звука, ударов в минуту или ритма произведения. Существует ряд доступных инструментов для извлечения аудиопризнаков. Доступны здесь

Статистика и машинное обучение Вычислительные методы для классификации, кластеризации и моделирования — извлечение музыкальных признаков для монофонической и полифонической музыки, сопоставление сходства и шаблонов, поиск Формальные методы и базы данных — приложения автоматической и распознавания, такие как , автоматическое сопровождение, маршрутизация и фильтрация для музыки и музыкальных запросов, языки запросов, стандарты и другие метаданные или протоколы для обработки и поиска музыкальной информации, многоагентные системы, распределённый поиск) Программное обеспечение для поиска музыкальной информации — семантическая паутина и музыкальные цифровые объекты, интеллектуальные агенты, программное обеспечение совместной работы, веб-поиск и семантический поиск, поиск по напеванию / поиск по звуку, Анализ музыки и представление знаний — автоматическое реферирование, цитирование, извлечение фрагментов, преобразование, формальные модели музыки, цифровые партитуры и представления, индексирование музыки и метаданные.

Другие вопросы Взаимодействие человека с компьютером и интерфейсы — , интерфейсы пользователя и удобство использования, мобильные приложения, поведение пользователей Восприятие музыки, познание, аффект и эмоции — метрики музыкального сходства, синтаксические параметры, семантические параметры, музыкальные формы, структуры, стили и методологии аннотирования музыки Музыкальные архивы, библиотеки и цифровые коллекции — музыкальные электронные библиотеки, публичный доступ к музыкальным архивам, эталонные показатели и исследовательские базы данных Права интеллектуальной собственности и музыка — национальные и международные вопросы авторского права, технические средства защиты авторских прав, идентификация и отслеживаемость Социология и экономика музыки — музыкальная индустрия и использование ИМИ в цепочке производства, распространения, потребления, профилирование пользователей, валидация, потребности и ожидания пользователей, оценка систем поиска музыкальной информации, создание тестовых коллекций, экспериментальный дизайн и метрики

Академическая активность (, ISMIR) является ведущей площадкой для исследований в области поиска музыкальной информации. (, ICASSP) также является весьма актуальной площадкой.

См. также

Технические средства защиты авторских прав Цифровая обработка сигналов Музыкальная этнография

Автоматическое распознавание контента Музыкальная нотация Музыковедение

Звуковой и музыкальный компьютинг

Примечания

Литература

Ссылки International Society for Music Information Retrieval Music Information Retrieval research M. Schedl, E. Gómez and J. Urbano: Music Information Retrieval: Recent Developments and Applications Intelligent Audio Systems: Foundations and Applications of Music Information Retrieval, introductory course at Stanford University’s Center for Computer Research in Music and Acoustics Micheline Lesaffre: Music Information Retrieval: Conceptual Framework, Annotation and User behavior. Imagine Research: develops platform and software for ИМИ applications AudioContentAnalysis.org: ИМИ resources and matlab code Minz Won, Janne Spijkervet, and Keunwoo Choi: Tutorial - Music classification: Beyond Supervised Learning, Towards Real-world Applications

Категория:Извлечение музыкальной информации Категория:Музыкальное программное обеспечение