Состоялся (https://github.com/syncthing/syncthing/releases/tag/v0.13.0) релиз системы Syncthing 0.13 (https://syncthing.net/), которая позволяет организовать автоматическую синхронизацию файлов пользователя на нескольких устройствах, решая задачи сходные с проприетарной системой BitTorrent Sync. Синхронизированные данные не загружаются облачные хранилища, а напрямую реплицируются между системами пользователя при их одновременном появлении в online, используя развиваемый проектом протокол BEP (Block Exchange Protocol).
При синхронизации файл логически разбивается на блоки, которые являются неделимой частью при передаче данных между системами пользователя. При наличии идентичных блоков на нескольких устройствах, при синхронизации на новое устройство копирование осуществляется с распределением отдачи трафика по узлам, по аналогии с работой системы BitTorrent. Чем больше устройств участвуют в синхронизации, тем быстрее будет проходить репликация новых данных за счёт распараллеливания.
При изменении синхронизируемых файлов по сети передаются только изменившиеся блоки данных, а при переименовании или изменении прав доступа синхронизируются только метаданные. Возможно создание больших сетей совместно используемых данных, в которых принимают участие разные пользователи. Предоставляются гибкие средства контроля доступа и создания исключений для синхронизации. Каналы передачи данных формируются при помощи TLS, все узлы аутентифицируют друг друга по сертификатам и идентификаторам устройств, для контроля целостности применяется SHA-256. Для определения узлов синхронизации в локальной сети может быть использован протокол UPnP, при котором не требуется ручной ввод IP-адресов синхронизируемых устройств.Код Syncthing написан на языке Go и распространяется (https://github.com/syncthing/syncthing) под свободной лицензией MPL. Поддерживается работа в Linux, Android, Windows, OS X, FreeBSD и Solaris. Для настройки системы и мониторинга предусмотрен встроенный web-интерфейс, CLI-клиент (https://github.com/syncthing/syncthing-cli) и GUI Syncthing-GTK (https://github.com/syncthing/syncthing-gtk), в котором дополнительно предоставляются средства управления узлами синхронизации и репозиториями. Для упрощения поиска узлов Syncthing развивается (https://github.com/syncthing/discosrv) сервер координации обнаружения узлов, для которого также
имеется (https://github.com/syncthing/discosrv-docker) готовый образ для запуска в Docker.Основные изменения (https://github.com/syncthing/syncthing/releases/tag/v0.13.0) в Syncthing 0.13:
- Временные индексы, позволяющие начать репликацию на другие устройства уже полученной части файла, не дожидаясь получения на текущем устройстве полной копии обновлённого файла;
- Представлены метки папок (Folder Labels), которые отделены от идентификаторов папок (Folder ID): Folder Labels позиционируются как читаемые человеком метки, в то время как Folder ID используются как разбираемые машиной, уникальные, генерируемые случайно идентификаторы.- При попытке соединения от неизвестных устройств (Unknown Devices) теперь выводится не только идентификатор устройства, но и его имя.
- В дополнение к UPnP реализована поддержка технологии NAT-PMP (https://en.wikipedia.org/wiki/NAT_Port_Mapping_Protocol) для автоматической настройки проброса входящего соединения на систему за транслятором адресов;
- Исключённые из процесса синхронизации файлы (подпадающие под маски игнорирования) теперь помечаются специальным префиксом "?d", указывающим на то, что в случае удаления директории данный файл будет потерян;
- Возможность ограничения протокола приёма соединений только IPv4 или IPv6 (по умолчанию соединения принимаются по обоим протоколам);
- Переработан диалог настройки параметров папки;- Добавлена переменная окружения ALL_PROXY_NO_FALLBACK, запрещающая установку прямого соединения в случае недоступности рабочего прокси;- Изменён формат БД и нарушена обратная совместимость протокола (пользователи версии 0.12 не могут взаимодействовать с пользователями версии 0.13).
URL: https://github.com/syncthing/syncthing/releases/tag/v0.13.0
Новость: http://www.opennet.me/opennews/art.shtml?num=44447
Круто! Благодаря Syncthing я отказался от Dropbox и Google Disk, а также забыл про ручные бекапы как страшный сон.
Это сарказм. Если у тебя только пара периодически включаемых компьютеров, сервис с центральным сервером (который всегда онлайн) удобнее.
Это не сарказм. У меня в кластере 6 моих машин.
Значит сарказм у ворот.
Syncthing не замена бекапам. Ошибка в софте может убить данные одновременно везде.
> Syncthing не замена бекапам. Ошибка в софте может убить данные одновременно везде.+1. в такой ситуации помогает только ручное восстановление из истории - если что еще осталось ;)
Слова того, что Syncthing не пробовал. Как можно убить данные? Там есть варианты хранения бекапов файлов по дням, по количеству версий, ступенчатое управление версиями и возможность подключить сторонний софт к управлению бекапами. Причем бекапы на каждой машине свои... я не знаю кем надо быть, чтобы там что то запороть. В Syncthing реализована наилучшая "история" которую я когда либо видел.
https://docs.syncthing.net/users/faq.html
Is Syncthing my ideal backup application?No. Syncthing is not a great backup application because all changes to your files (modifications, deletions, etc) will be propagated to all your devices. You can enable versioning, but we encourage the use of other tools to keep your data safe from your (or our) mistakes.
>> Слова того, что Syncthing не пробовал. Как можно убить данные?Болеешь сильно?
Скушал что-то?
Нечего ответить - начинай оскорблять.
>> Нечего ответить - начинай оскорблять.Начинаю оскорблять:
к созданию резервных копий P2P синхронизация файлов не имеет никакого отношения.В силу очевидно же различных способов действия предназначенных для создания бекапов пакетов и пакетов, предназначенных для синхронизирования папок.
Если позволяет хранить консистентную копию данных в пригодном для извлечения простыми средствами формате, то почему нет? Понятно, что у любого адекватного чела такая система доверия не вызывает, но я бы вполне успокоился имея копию (стороннимим средствами) данных на одной машине из пяти.
>>> хранить консистентную копию данных ...Если я порушил файлы, то я восстанавливаю их из Bacul'ы.
Например, ошибка в отлаживаемой программе и она завермишелила мне хранилище.
Из Baculы или с приставного винта я их восстановлю, т.к. озаботился
такой вероятностью и сделал копию перед запуском альфы.Или, попросту, ручками нечаянно не ту директорию снес.
А если я порушил файлы под системой синхронизации?
Пока я чешу репу -- Syncthing весело выскребает их изо всех присоединенных устройств.Чего в этом такого пригодного?
ну так у этой системы ведь еще есть и версионирование. Просто возьмешь раннюю версию. Правда как выше написали - авторы сами ее боятся и советуют не использовать как замену другим системам бэкапа
Когда ж вы переведётесь. Syncthing это синхронизатор. История Syncthing - это не резервное копирование, а некий заменитель, т.к. делается на тот же носитель, даже в ту же файловую систему. Даже домашний бэкап должен быть как минимум однонаправленным, на как можно более отдельной системе, и восстановление должно регулярно проверяться, иначе смысла в нем мало.>возможность подключить сторонний софт к управлению бекапами
Не то же самое, что и иметь функциональность системы резервного копирования.
> Даже домашний бэкап должен быть как минимум однонаправленным,В статье же: "Также возможно определение хостов, которые будут только получать данные, т.е. их изменения не будут распространяться..."
> на как можно более отдельной системе
Ну так синхронизация между разными устройствами. Почему бы не завести отдельное устройство - сервер, который только принимает данные.
Другой вопрос - авторы сами не позиционируют ее использовать как бэкап-систему
> Там есть варианты хранения бекапов файловТам нет бэкапов. Там есть простенькое ВЕРСИОНИРОВАНИЕ. Это разные вещи, предназначенные для разных задач. Хотя никто не запрещает забивать отверткой гвозди, а молотком вкручивать шурупы, конечно.
> Как можно убить данные?Легко. Кто-то на одной машине сделал rm - удалилось везде. А версионирование может не спасти, если там файлы по пару десятку гигов. И может спасти только машина, которая случайно не была в сети в тот момент.
не трать время - оно золото. надо просто подольше поюзать синксынг, чтобы однажды словить данную проблему. и +1, помогает срочное выдергивание из сети ;) а гигабайты там легко набегают - поставил чуть больше историю и вуаля, гигобайты! причем, их не видно. вот чего не хватает в данной системе, это возможности отката через ГУЙ. в том же seafile есть, а тут ну никак не сподобятся дописать.
бэкапы тут вообще ни при чем. это именно синхронизация. например, завожу деловую папку и завязываю в единую систему комп, планшет и телефон. и теперь у меня всегда под рукой последние актуальные документы вне зависимости от того, где я их создаю и на какой платформе с ними работаю. а если нужен облачный сервис типа дропбокса, то смотрите в сторону Seafile. это будет как раз таки замена бэкапам.
Брат воскрес?
Большой? Он живее всех живых! ;)
Сам по себе syncthing плохо подходит для бекапов, нужно хотя бы readonly снапшот снимать с каталога, например, с помощью btrfs.
Концепция хороша. А что с защитой данных от преднамеренной порчи?
По идее - эта софтина вообще не о том. Её основное предназначение - синхронизация между своими устройствами.
> А что с защитой данных от преднамеренной порчи?"от преднамеренной порчи" где, в канале или на машине юзера?
если в канале, то TLS,
если на машине, то против лома нет приёма.
вот теперь бы туда "удалённые узлы" с опциональным шифрованием ещё... а то пока единственное, что это хотя бы в теории делает - git-annex, но настолько глючного софта я давненько не видел.
> вот теперь бы туда "удалённые узлы" с опциональным шифрованием ещё... а то
> пока единственное, что это хотя бы в теории делает - git-annex,
> но настолько глючного софта я давненько не видел.Фишка была в BTSync. можно было добавлять узел который хранил и раздавал, но локально все данные были зашифрованы.
но BTSync закрытый и эту возможность толи выпилили толи скрыли.
Это немного другое. Я имел в виду фичу, позволяющую держать копии данных в недоверенных облаках - всякие гуглодрайвы, дропбоксы и т.п.Ну и да, закрытый BTSync в это плохо вписывается.
encfs --reverse + rsync/syncthing?
Я так понимаю можно использовать как замену lsyncd ?
Любопытно как они решают проблему конфликтов. Например я на первом устройстве отредактировал файл (устройство в офлайне) и на втором тоже отредактировал файл (устройство тоже офлайн). Потом вывел оба устройства в онлайн и делаю синк. Какая версия файла синхронизируется на другие устройства ? Может там есть какой-то распределенный алгоритм консенсу для таких случаев (вроде paxos).
В этом случае файлы не синхронизируются.
В веб-интерфейсе будет пометка, что есть конфликты, которые предлагается разрешить в ручном режиме.
> Любопытно как они решают проблему конфликтов. Например я на первом устройстве отредактировал
> файл (устройство в офлайне) и на втором тоже отредактировал файл (устройство
> тоже офлайн). Потом вывел оба устройства в онлайн и делаю синк.
> Какая версия файла синхронизируется на другие устройства ? Может там есть
> какой-то распределенный алгоритм консенсу для таких случаев (вроде paxos).каждая машина получает у другой изменения и мержит их в свой файл,
пользователю на емейл высылается уведомление,
особенно хорошо мержатся вордовские доки и таблицы екселя.тег: сарказм.
> Любопытно как они решают проблему конфликтов.Вот ещё по этому поводу:
"В версии 0.11 изменён способ преодоления конфликтов, если файл был изменён одновременно на двух устройствах. До этого был режим версионирования, изменения сохранялись и можно было откатить файл назад. Теперь активным остаётся новый файл, а старый сохраняется под именем "file.sync-conflict-YYYMMDD-HHMMSS.ext"."
https://vk.com/wall-56092988_1140
>> Любопытно как они решают проблему конфликтов.
> Вот ещё по этому поводу:
> "В версии 0.11 изменён способ преодоления конфликтов, если файл был изменён одновременно
> на двух устройствах. До этого был режим версионирования, изменения сохранялись и
> можно было откатить файл назад. Теперь активным остаётся новый файл, а
> старый сохраняется под именем "file.sync-conflict-YYYMMDD-HHMMSS.ext"."
> https://vk.com/wall-56092988_1140а еще эта фигня, бывает путается и ляпает конфликты почем зря. и что значит "остается активным"? где? просто в одном месте это сам файл, на втором это уже конфликт со старым. а когда заходишь с третьего репозитория, то уже не знаешь, что и открывать - лежат два дока одной длины и одной даты ;)
не самый это лучший способ.
"Победит" более новый файл. Более старый будет синхронизировал с пометкой о конфликте и датой в имени.
А анонимных клиентов или единую авторизацию на всех нодах уже впилили?Ломает на всех нодах прописывать разные ключи.
Или BitTorrent_Sync по-прежнему наше всё?
> А анонимных клиентов или единую авторизацию на всех нодах уже впилили?
> Ломает на всех нодах прописывать разные ключи.
> Или BitTorrent_Sync по-прежнему наше всё?там есть загрузка через штрихкод - пользуйтесь. и еще ноду можно назначить раздающей соседей. если у вас десктопы, то завяжите их всех на админский телефон, а потом просто нового подключайте к нему. на телефоне ж, поди, есть считка QR-кодов? а уже ваш телефончик раздаст соседей.
что ваше все?
пока не осилил, на до бы спокойно дома поразбираться. Интерфейс прям скажем пока до ума не доведен.
а чего тут осиливать ?
сам тока узнал об этой замечательной программе, установил, потестил, понравилось,в общем:
1) устанавливаем на всех компах где будем использовать
2) запускаем
$ syncthing
и через веб-интерфейс настраиваем программу, выбираем папку для синхронизации, добавляем по копы ID каждого к каждому ну и саму папку в придачу
Если нужно запустить web-интерфейс в локальной сети например на сервере, то можно так:
$ syncthing --gui-address="192.168.1.2:8384"
3) Добавляем в автозагрузку одним из способов, на сайте подробно описано
Скорость синхронизации выше чему Seafile?
> Скорость синхронизации выше чему Seafile?мне показалось, что да. он не такой задумчивый. я бывает им фильмы раздаю на мобилки и планшеты. реально лучше, чем по smb или с флешки. закачка происходит в фоне.
но там самая большая проблема скормить сразу много. например 50Г ;) сиафайл тут просто ложится и не встает. а syncthing качат с видимой результативностью.
как оно работает по скорости если 60к файлов и 50тер
локалка гигабит, файлы обновляются крайне редко
У людей по 160к файлов и 300гиб в одной директории синхронизируется.
https://data.syncthing.net/
Опять формат БД сломали! Тоже самое было при переходе с 0.11.x на 0.12.x.
автор обещал в версии 1.0 устаканить формат БД. а до тех пор его будут часто менять.
Кстати, она еще портирована на андроид и Synology NAS.