Группа из десяти инженеров, работающих в компании Dropbox, в рамках мероприятия "Hack Week" разработала (http://www.fastcompany.com/3050180/tech-forecast/these-engin...) новый алгоритм Pied Piper для сжатия видео и изображений без потери качества. Особенностью Pied Piper является проведение обратимого кодирования, при котором из меньшего по размеру закодированного варианта можно воссоздать исходное изображение, бит в бит совпадающее с вариантом до кодирования. При этом алгоритм рассчитан на дополнительную упаковку контента, уже сжатого при помощи JPEG и H.264.

Для Dropbox внедрение Pied Piper позволит дополнительно сократить расходование дискового пространств, расходуемого на хранение видео и изображений. При тестировании алгоритм демонстрирует уменьшение размера на 13% для видео, записанного на мобильных телефон с использованием кодека H.264. Для JPEG-изображений уровень дополнительного сжатия оценен в 22%, при тестировании набора фотографий снятых на различные мобильные устройства.

Из преимуществ Pied Piper по сравнению с H.264 отмечается небольшой расход памяти, отсутствие привязки к 4-мегабайтным блокам и исключение сбросов состояния декодера каждые несколько микроблоков (слайсов). В Pied Piper изменения кодируется непрерывно, без разбиения потока на сгруппировнные наборы кадров. Окно декодирования в  Pied Piper включает только текущий и предыдущий кадры, что позволяет оставлять в прошлых кадрах информацию о неизменных микроблоках, не дублируя её в последующем. При этом Pied Piper позволяет перемещаться по потоку и декодировать его с произвольной позиции.

Код реализации Pied Piper опубликован (https://github.com/danielrh/losslessh264) под лицензией BSD. Компоненты Pied Piper реализованы в форме ответвления от библиотеки OpenH264 (https://github.com/cisco/openh264), в рамках которой компанией Cisco развивается свободная реализация кодека H.264.

<center><a href="https://raw.githubusercontent.com/danielrh/losslessh264/mast... src="http://www.opennet.me/opennews/pics_base/0_1440833754.png" style="border-style: solid; border-color: #606060; border-width: 1px;max-width:100%;" title="" border=0></a></center>

URL: http://science.slashdot.org/story/15/08/28/2014238/ten-dropb...
Новость: http://www.opennet.me/opennews/art.shtml?num=42873

• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,G.NercY.uR, 11:54 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,A.Stahl, 11:58 , 29-Авг-15
    • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Анонимк, 12:59 , 29-Авг-15
      • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,A, 14:29 , 29-Авг-15
        • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,SubGun, 03:31 , 30-Авг-15
      • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,shadekhv, 10:09 , 31-Авг-15
        • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Kostya, 13:29 , 31-Авг-15
    • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,G.NercY.uR, 13:49 , 29-Авг-15
    • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,irinat, 16:30 , 29-Авг-15
      • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 02:59 , 31-Авг-15
    • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 04:12 , 30-Авг-15
      • Инженеры Dropbox представили новый алгоритм сжатия видео...,arisu, 06:01 , 30-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 22:17 , 29-Авг-15
    • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Michael Shigorin, 18:11 , 30-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,chinarulezzz, 12:11 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 12:16 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 12:32 , 29-Авг-15
    • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 13:01 , 01-Сен-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 12:17 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 13:01 , 29-Авг-15
    • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Michael Shigorin, 18:13 , 30-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 18:28 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,dr Equivalent, 12:24 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,mrd, 12:53 , 29-Авг-15
    • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,dr Equivalent, 13:00 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,fox_mulder, 12:56 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,allez, 19:21 , 29-Авг-15
    • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,dr Equivalent, 22:30 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 12:32 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 21:05 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 12:56 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,anonymous, 13:05 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,th3m3, 13:17 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,anonymous, 19:46 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,chinarulezzz, 13:30 , 29-Авг-15
• Тщту,ANONYM, 13:49 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,KOT040188, 14:03 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Зенитарка, 18:59 , 29-Авг-15
    • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 19:36 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео...,arisu, 15:15 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Сержан очевидность, 16:35 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Омский линуксоид, 17:44 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Michael Shigorin, 18:16 , 30-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Зенитарка, 18:55 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 20:39 , 29-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,AlFoX, 23:31 , 29-Авг-15
  • Инженеры Dropbox представили новый алгоритм сжатия видео и и...,A.Stahl, 09:16 , 30-Авг-15
• Инженеры Dropbox представили новый алгоритм сжатия видео и и...,Аноним, 10:40 , 31-Авг-15

Гениальные картинки!

Если ты понял их суть, то ты тоже, вероятно, гений -- я нихрена не понял.

Уже несколько раз встречал упоминания дудочника в контексте алгоритмов сжатия. Это совпадение или нет?

Это сериал Silicon Valley

Иногда дудочник - это просто дудочник)

Если не дунуть - чуда не произойдёт.

На четвёртом квадранте должен быть изображён FFFUUU

Не, у меня маловато знаний чтобы хоть в картинки, хоть просто в описанную текстом математику этого алгоритма вникнуть. Но картинки один фиг гениальны :)

Похоже на объяснение арифметического кодирования.

Скорее на предсказание по частичному совпадению (PPM).

PPM - метод моделирования. Согласно нему строится вероятностная модель. Модель определяет, какой вес присвоить вероятности появлению следующего символа.

Арифметическое кодирование - метод кодирования. Определяет, как закодировать реально встретившийся символ (символом может быть бит, байт, слово и т.п.) из входных данных, согласно вероятности, присвоенной моделью.

>Если ты понял их суть, то ты тоже, вероятно, гений -- я нихрена не понял.

Как я понял, это что-то типо кодирования, когда более частым последовательностям присваиваются более короткие коды.

> Как я понял, это что-то типо кодирования, когда более частым последовательностям присваиваются
> более короткие коды.

Шеннон фэйспалмит же.

Похоже на какой-то развод. Сжали сжатое с потерями "без потерь" и получили еще 20%. Фантастиш. Это специализированное архивирование уже получается, а не кодирование ихображений.

> Похоже на какой-то развод. Сжали сжатое с потерями "без потерь" и получили
> еще 20%. Фантастиш.

Если исходник сделан прошивкой устройства, у которого мало ресурсов (особенно батарейки) -- такое не исключено.

Аххах) Кремниевая долина?

весь этот алгоритм сделан по сериалу силиконовая долина. это вообще похоже на шутку. http://www.bigbangtv.ru/silicon_valley.php

> силиконовая долина

Про пластических хирургов?

Про певицу

> Особенностью Pied Piper является проведение обратимого кодирования, при котором из меньшего по размеру закодированного варианта можно воссоздать исходное изображение, бит в бит совпадающее с вариантом до кодирования. При этом алгоритм рассчитан на дополнительную упаковку контента, уже сжатого при помощи JPEG и H.264.

Для этого нужно сначала распаковать JPEG и H.264 в пиксели, а "бит в бит совпадающее с вариантом до кодирования" не означает совпадение бит в бит с исходным _файлом_.

> Для Dropbox внедрение Pied Piper позволит дополнительно сократить расходование дискового пространств

В результате получается что исходные файлы после загрузки в Dropbox будут потеряны.

>В результате получается что исходные файлы после загрузки в Dropbox будут потеряны.

Надо же как-то бороться с стеганографией.

>>В результате получается что исходные файлы после загрузки в Dropbox будут потеряны.
> Надо же как-то бороться с стеганографией.

Если восстанавливается побитово совпадающее изображение, то что именно не так?

> Для этого нужно сначала распаковать JPEG и H.264 в пиксели, а "бит в бит совпадающее с вариантом до кодирования" не означает совпадение бит в бит с исходным _файлом_.

Но ведь в случае кодирования JPEG и H.264 исходным файлами, внимание, будут JPEG и H.264!

Пегий Дудочник? Серьезно?

Название взято из сериала Silicon Valley, где как раз компания так называется, которая там придумала эффективный алгоритм.

Так да, я знаю, но все равно - рилли?

укуренный же

> Пегий Дудочник? Серьезно?

"Пегий дудочник" - таки ни разу не серьезно. Серьезно - "Pied piper of Hamelin" или
"Пестрый флейтист из Гаммельна", он же "Гаммельнский крысолов". Это персонаж из
давней легенды и сказки, одетый в разноцветную одежду (потому и "pied"). Дальнейшие
подробности вы при желании легко найдете сами.

А то я это все не знаю.

То ли опоздали с новостью к 1 апреля, то ли поспешили...

Может быть Бабушкин со своим архиватором перебрался в США?

Но может ли их алгоритм эффективно сжимать 3D-видео?

Самый лучший архиватор видео - это ed2k hash

Интересно, а они таким образом не нарушают авторских прав на крысолова/дудочника из сериала "Кремниевая долина"?

В случае чего можно будет заменить на шакала

http://www.piedpiper.com/

Алгоритм сжатия без потерь поверх алгоритмов сжатия с потерями.

Dropbox рулит! Кто-нибудь понял картинки?

Похоже, перец в зеленой шляпе с это M$, а [s]большой длинный xer[/s] флейта - это OpenSource!

Ещё один он заначил за ухом!

кто‐нибудь, кому не лень: прочитайте код и сделайте внятное пояснение вместо зелёного упорыша.

inb4: неграмотный.

Новый, хорошо забытый старый

Я думаю, тут место этой ссылке: http://xkcd.ru/927/

> Я думаю, тут место этой ссылке:

Не-а, не о том.  У них, очень грубо говоря, про .zip.xz речь.

Щас это модное направление! Щас каждый обязательно должен представить свой эффективный алгоритм сжатия без потерь. Я вот тоже в питоне ковыряю новую реализацию, представлю, пожалуй, в декабре!

Архитектор Xz фото в jpeg жмест с 2.1мб до 1.4мб.

Это все фигня. Динис Попов сжал весь интернет на одну флешку.

Попов -- неуч. Раньше интернет вполне помещался на дискету.

Pied Piper, без потерь, картинки с человечком (с отсасывающим - как сказали автору в сериале). Вам не кажется, что всё это было в сериале Кремниевая долина?