The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Google опубликовал данные и модель машинного обучения для разделения звуков

11.04.2020 15:05

Компания Google опубликовала базу данных эталонных смешанных звуков, снабжённую аннотациями, которую можно использовать в системах машинного обучения, применяемых для разделения произвольных смешанных звуков на отдельные компоненты. Также опубликована универсальная модель глубинного машинного обучения (TDCN++), которая может быть использована в Tensorflow для разделения звуков. Данные подготовлены на основе коллекции freesound.org и опубликованы под лицензией CC BY 4.0.

Представленный проект FUSS (Free Universal Sound Separation) нацелен на решение проблемы разделения любого числа произвольных звуков, о характере которых заранее неизвестно. Другие подобные системы, как правило, ограничены задачей разделения определённых звуков, например, голоса и не голоса или разных говорящих людей.

БД насчитывает около 20 тысяч смешиваний. В набор также входят предварительно рассчитанные импульсные характеристики помещения, подготовленные при помощи специально созданного симулятора комнаты и учитывающие отражение от стен, местоположение источника звука и местоположение микрофона.

  1. Главная ссылка к новости (https://opensource.googleblog....)
  2. OpenNews: Открыт код Spleeter, системы для разделения музыки и голоса
  3. OpenNews: Компания Mozilla опубликовала голосовые данные Common Voice
  4. OpenNews: Компания Mozilla представила систему синтеза речи LPCNet
  5. OpenNews: Проект Mozilla выпустил открытую систему распознавания речи
  6. OpenNews: Обновление MediaPipe, фреймворка для обработки видео и звука с использованием машинного обучения
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/52722-sound
Ключевые слова: sound, ai, tensorflow
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (50) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, YetAnotherOnanym (ok), 16:32, 11/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Главное - чтобы умела говорить "...ля, да выключи ты нафиг чо там у тебя, не слышно нифига чо ты говоришь".
    На самом деле, посоны, всё очень серьёзно. Колебания могут быть не только звуковыми, но и электромагнитными. Если такая штука сумеет разделить на составляющие сигнал с радиоприёмника, то, имея потоки с нескольких разнесённых приёмников, можно на раз определить пространственное положение любого радиоизлучающего (или отражающего) объекта. А это - полностью пассивная РЛС, не обнаруживаемая никак, от слова "совсем".
     
     
  • 2.4, Аноним (4), 17:22, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • +11 +/
    Побегай вокруг излучающих объектов собери все излучения во всех возможных вариациях. Потом руками разметь где ты бегал когда записывал. И если караул тебя нигде не подстрелит. Обучи на этих данных свою модель. Получи точность 27% с которой ты уже ничего не сделаешь и выложи в опенсорс потому что эти данные по прямому назначению не применимы.
     
     
  • 3.7, YetAnotherOnanym (ok), 18:38, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Побегай вокруг излучающих объектов собери все излучения во всех возможных вариациях. Потом руками разметь где ты бегал когда записывал.

    Спасибо, если мне нужно будет готовить радиолокационные сигнатуры целей для подобной системы, я, скорее всего, примерно так и поступлю.

     
  • 2.19, Ordu (ok), 23:00, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Теоретически да, но, подозреваю, что практически встанет проблема нехватки вычислительной мощности: одно дело работать с сигналами в десятки килогерц, и другое дело с сигналами в сотни мегагерц -- или в каком там диапазоне лучше слушать?
     
     
  • 3.24, YetAnotherOnanym (ok), 11:14, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Думаю, на практике достаточно иметь возможность взять отрывок сигнала достаточной длительности для анализа и проанализировать его за промежуток времени, в течение которого цель переместится на расстояние достаточно небольшое, чтобы решение, принятое на основе анализа этого сигнала, ещё имело какую-то релевантность (например, цель оказалась бы в пределах дальности поражения шрапнелью ГЧ)
     
  • 2.21, none (??), 00:21, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    задачи пассивной радио и эхо локации давно имеют решения и реализации. для этого не обязательно иметь несколько приемников - см игра охота на лис ( радиопеленгация ), гидроакустические буи, ... к томуже чтобы расчитать координаты источника по дельте задержки приема излучения даже в метровом диапазоне максимальный размер (можно сильно меньше) установки какой необходим это половина длина волны - ну метров 5м. но и это все фигня, тк с такими установками можно бороться средствами рэб.
     
     
  • 3.25, YetAnotherOnanym (ok), 11:22, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вот ни разу не слышал о ЗРК, у которых вместо РЛС был бы набор приёмников, которые расставляются вокруг и дают всю необходимую информацию об обстановке.
     
     
  • 4.28, Аноним (28), 15:43, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ха называется пост воздушного наблюдения https://www.aviaport.ru/directory/dict/?id=2457&char=240&type=Term наводят ЗУ-23 только в путь. Используют естественные обученные боевые единицы. Да что уж там их еще в войну использовали и норм прокатывало, когда ни про какое РЛС еще никто не слышал.
     
  • 4.39, all_glory_to_the_hypnotoad (ok), 04:40, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    РЛС давно уже набор приёмников выполненных в одном корпусе, см что такое (А|П)ФАР (https://en.wikipedia.org/wiki/Active_electronically_scanned_array). В древности были практически буквально разнесены (см. https://en.wikipedia.org/wiki/Early-warning_radar). Но они все активные, пассивные станции видят только излучаюшие объекты что не очень полезно для ЗРК.
     
     
  • 5.42, YetAnotherOnanym (ok), 10:41, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > они все активные

    Дык отож. Здравствуй, HARM.

     
  • 4.40, Дегенератор (ok), 05:54, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://youtu.be/6kmvkjGvK4I
     
     
  • 5.43, YetAnotherOnanym (ok), 10:44, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > https://youtu.be/6kmvkjGvK4I

    Извини, 80 минут со всей предысторей от крейсера "Африка" - это для меня непозволительная роскошь.

     
     
  • 6.53, Дегенератор (ok), 20:21, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >> https://youtu.be/6kmvkjGvK4I
    > Извини, 80 минут со всей предысторей от крейсера "Африка" - это для
    > меня непозволительная роскошь.

    Обычно всего лишь щелкнув мышкой в любом месте ползунка, показывающего "прогресс" просмотра видео, можно сэкономить много времени. Я понимаю, что твой труд изобретения велосипедов настолько важен, что изучить столь полезные возможности видеоплеера в 2020 году не имеет смысла, поэтому приношу извинения, что отвлек бесполезными 80ю минутами.

     
     
  • 7.54, YetAnotherOnanym (ok), 21:05, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    И откуда мне знать на какое место двигать ползунок?
    Впрочем, ладно, прощаю. Живи, так уж и быть.
     
  • 2.67, Аноним (67), 13:21, 18/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вы все под колпаком.
     
     
  • 3.68, YetAnotherOnanym (ok), 15:30, 18/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну товааааарищ майор...
     

  • 1.2, Аноним (2), 16:38, 11/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >  в системах машинного обучения

    Вот у меня прям пачка тупых вопросов:
    - Значит алгоритмы и модели уже не модно?
    - Машинное обучение = статистический анализ, т. е. в каждом конкретном случае ответ будет хз каким?
    .. и еще много других))

     
     
  • 2.3, Я (??), 16:49, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    алгоритмы и модели работают только в заранее известных рамках...  
     
     
  • 3.6, all_glory_to_the_hypnotoad (ok), 17:33, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Сети это тоже алгоритм с какой-то моделью, модель из топика тоже имеет свои известные рамки.
     
     
  • 4.15, анон (?), 21:57, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    У алгоритма есть конкретный выход от результата, а сети надо постоянно натаскивать.
     
     
  • 5.17, all_glory_to_the_hypnotoad (ok), 22:43, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Нет у алгоритвом конкретного вывода, например, если внутри используют случайные числа. Обучение это подгонка магических констант, любой более-менее сложный алгоритм их имеет.
     
  • 4.64, Я (??), 02:03, 16/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    разница только в том что сейчас сети работают там где человек даже представить себе не может на каких критериях и принципах лучше делать отбор.
     
  • 2.5, Аноним (4), 17:27, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Так они датасет выложили. Можешь на нем проверить свои алгоритмы или свою модель если они у тебя есть.
     
  • 2.16, Гость (??), 22:16, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Алгоритмы? Давайте-ка мне алгоритм "найти произвольный автомобиль на произвольном изображении". Плачу миллиард долларов наличными сегодня же.

    Не получается родить? То-то же.

     
     
  • 3.18, Аноним (2), 22:53, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > статистический анализ
     
  • 3.22, КО (?), 06:58, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Но называть такой (дада!) алгоритм искусственным интелектом, нейросетью и прочей чепухой это зашквар
     
     
  • 4.26, YetAnotherOnanym (ok), 11:26, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Кагбэ, умных людей давно терзают смутные сомнения, что все эти "искусственные интеллекты" - это старая добрая эвристика, повёрнутая в профиль для развода инвесторов и потребителей.
     
     
  • 5.31, Crazy Alex (ok), 16:54, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Только это генерируемая эвристика. А так - в мозгу тоже эвристика, и что?
     
     
  • 6.33, Аноним (33), 19:01, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Никто не называет его естественный интеллект. Как-то не прижился такой базворд.
     
     
  • 7.44, Crazy Alex (ok), 10:50, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    ну да, называют просто интеллект. Когда ИИ станет совсем распространённым - придётся уточнять, пока надобности нет
     
  • 4.27, Аноним (27), 12:00, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А теперь сходи возьми учебник по биологии за 11 класс и почитай про принцип работы нейронов в человеческом мозге.
     
     
  • 5.34, Аноним (33), 19:08, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Принцип работы и математическая модель работы нейронов не совсем одно и то же.
     
  • 3.52, ъ (?), 16:39, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Не только алгоритм, но и программу - только работает она чуть больше чем время существования вселенной. Где мой милиард? (про время работы условия не было).
     
  • 2.20, Ordu (ok), 23:36, 11/04/2020 [^] [^^] [^^^] [ответить]  
  • +9 +/
    > Вот у меня прям пачка тупых вопросов:

    Они не такие уж и тупые. Если это троллинг, то он тупой, если же это искренний интерес, то он совсем не тупой, потому что любые разумные ответы на эти вопросы недоступны подавляющему большинству населения Земли.

    > - Значит алгоритмы и модели уже не модно?

    Модно, но не тогда, когда сложность и запутанность модели начинает приближаться к сложности и запутанности нейросетки.

    Ты уверен, что алгоритмически возможно разделить сигналы? Человек это делает легко со звуком, но человек делает это неалгоритмически. Если ты и напишешь алгоритм, то в нём матстатистики будет не меньше, чем в нейросетках. И, как я говорил выше, сложность этой модели будет приближаться к сложности нейросети. Но нейросетка это машиной построенная модель, а тебе придётся ручками всё это выделывать. Что хуже, человек неплохо справляется с категоризацией сигналов с немногим числом измерений, но если сигналы многомерны, то человек абсолютно не умеет этого делать. (Если это утверждение вызывает сомнения, то Загоруйко неплохо его раскрыл, по-моему, в "Методах обнаружения закономерностей".) А это значит, что всю категоризацию сигналов, чтобы понять на какие свойства обращать внимание, ты всё равно будешь проводить программами, в которых будет немало статистики, возможно даже, что придётся прибегнуть к нейросеткам.

    > - Машинное обучение = статистический анализ, т. е. в каждом конкретном случае ответ будет хз каким?

    Не совсем. Ответы будут различаться, но размер этих отличий вполне можно ограничить сверху. Это, кстати, как нам вдалбливал на первом курсе препод по матану, отличия (презрительным тоном) "школьной математики", от математики (не в любой, а только от матана, но он исходил из идеи, что если не матан, то не математика, и гнал злые сарказмы на алгебру, которая украла у матана "основную теорему алгебры", и даже назвала её в свою честь, хотя доказательство этой теоремы -- чистый матан, не алгебра нисколько). Поиск равенства, преобразования выражений с сохранением равенства -- это никому не нужный детский сад. На практике и в матане, важнее знать существует ли такой epsilon, что abs(a-b) < epsilon. Часто важно уметь указать хотя бы один такой эпсилон. А вот знать, что a=b не важно. Как правило в реальных задачах это знать невозможно (инструменты измерения дают погрешность, и любые два измерения могут совпадать лишь случайно). Очень часто в математике работать с равенствами слишком сложно -- всякие там теоремы о двух милиционерах^W полицейских, а также всякие там О-большие и о-малые для того и придумали, чтобы плюнуть на равенства и работать с неравенствами.

    На первом курсе нас забавлял эти речи препода, и не более. Но как-то чем дальше я наблюдаю за окружающим миром, тем больше я понимаю, что под этими речами прячется глубокая сермяжная философская мысль. Она настолько глубокая, что полностью её невозможно выразить словами, её можно лишь чувствовать, и то лишь набрав достаточное количество опыта и знаний об окружающем мире. Например, одно из основных свойств человеческой психики -- это умение выделять из входного потока одинаковые сигналы. Это настолько базовое и привычное нам свойство, что мы не замечаем его странностей. Но ведь человеческая психика может быть ни разу за время своего существования, не получает двух действительно одинаковых сигналов. Ты смотришь на монитор, и монитор с частотой 60Гц посылает тебе на сетчатку картинки? Но у здоровых мышц есть здоровый тремор (отсутствие тремора -- это очень грозный симптом; в большинстве случаев, симптом смерти; нездоровый тремор, из-за которого не удаётся удержать в руках сигарету -- не столь страшный симптом, как полное отсутствие тремора), это значит что твоя голова и твои глаза постоянно перемещаются в проcтранстве, а это значит что картинка на сетчатке постоянно меняется. Но ты даже не сомневаешься, что это один и тот же монитор, и что сигнал не меняется. a != b, но abs(a-b) < epsilon.

     

  • 1.23, Аноним (23), 10:19, 12/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Это тупиковый путь, и это очень хорошо.
    Нейронки могут дать много полезного, но почти все применения сейчас идут не на пользу простым людям.
    Те, кто занимаются ИИ, не могут не быть достаточно умными, чтобы понимать лично свою социальную ответственность. Остаётся только участвовать в проектах для физического производства, и полностью игнорировать социальную сферу (кроме, может быть, протезирования). Хлеб хлебом, но загонять себя же и своих ближних в концлагерь зачем? Все эти камеры, микрофоны, распознавание образов. "1984" какой-то.
     
     
  • 2.29, Аноним (28), 15:45, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это все равно что говорить изобретение двигателя внутривенного сгорания. Работало не на людей, а на диктаторов.
     
     
  • 3.30, Аноним (30), 16:37, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > двигателя внутривенного сгорания

    Закусывать надо

     
  • 2.32, Crazy Alex (ok), 17:04, 12/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Эти "простые люди" обычно не способны освоить на микроволновке ничего кроме тупого разогрева. Ясное дело, что никакие сложные системы они не используют, если есть хоть какая-то возможность.

    А непростые - делают автопилоты, оптимизируют логистику, минимизируют затраты энергии на обогрев дома, диагностируют болезни, анализируют научные статьи и данные экспериментов.

    Ну и ждём, конечно, augmented mind и аплоадинг.

     

  • 1.38, anonos (?), 23:37, 12/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Ждемс в пульсаудио
     
  • 1.41, Аноним (-), 10:32, 13/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    В Москве 7 из 10 преступлений раскрываются благодаря камерам наблюдения. Посредством ИИ, который распознает лица.
     
     
  • 2.45, Crazy Alex (ok), 10:51, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    а если всех по одиночкам рассадить - так вообще отлично с борьбой с преступностью будет, угу
     
     
  • 3.46, Аноним (67), 10:57, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это слишком затратно.
     
     
  • 4.47, Аноним (67), 10:59, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вот когда чипы при рождении начнут вживлять повсеместно, тогда другое дело.
    И наказать преступившего закон будет очень просто.
     
     
  • 5.48, Аноним (67), 11:03, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Подается сигнал на чип. С чипа импульс на синусный узел сердца. Блокировка. Кирдык. Злоумышленник наказан.
     
  • 5.50, Аноним (50), 13:04, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Смартфон покруче чипа - и миркофон, и камера, и акселерометр. Да ещё и данные передаёт. Сказка. И выключаить нельзя совсем, аккамулятор-то несъёмный. Одна беда - при большом (очень большом) желании можно выкинуть. Но на него столько всего завязано... И продолжает завязываться, что при рождении не чип должны вживлять, а смартфон выдавать.
     
     
  • 6.51, Аноним (67), 13:22, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Смартфон выкинуть не проблема. С вживленным чипом сложнее. Смартфон - разве, что подрый в кармане штанов преступника. Чип намного надежнее. Во всех отношениях.
     
     
  • 7.62, Аноним (67), 16:50, 15/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Смартфоны слабенько взрываются. Разве что причиндалы оторвёт. Не катит.
     
  • 3.49, Аноним (49), 12:24, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вы так же скажете, когда с помощью камер найдут вашу потерявшуюся бабушку (она внезапно забыла, как её зовут и где живёт, а документы не берёт с собой из принципа, или по той же забывчивости)? Когда с её помощью найдут вора, укравшего у вашего супруга сумочку, да ещё и подельников, которым он скинул её содержимое? Когда найдут угонщика вашей машины?..
     
  • 2.59, Аноним (67), 08:37, 14/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Если на то пошло, 7 из 10 преступленийф вообще не раскрываются.
     

  • 1.65, Аноним (67), 13:18, 18/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Большой брат всё равно следит за тобой.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру