В ответ на прекращение работы инфраструктуры проекта The Pirate Bay (https://ru.wikipedia.org/wiki/The_Pirate_Bay), после изъятия серверов правоохранительными органами Швеции, создатели торрент-трекеров Isohunt (https://ru.wikipedia.org/wiki/IsoHunt) и OldPirateBay.org (реинкарнация закрытого ThePirateBay.se) выступили с инициативой Open Bay (http://openbay.isohunt.to/), позволяющей любому желающему развернуть сайт, подобный The Pirate Bay. По мнению авторов инициативы эра индивидуальных торрент-сайтов остаётся в прошлом, ей на смену идёт армада клонов крупных торрент-трекеров - после того как отрубили голову одному трекеру, на его месте вырастут сотни подобных ресурсов.Для воплощения данного шага в рамках проекта Open Bay открыты полные исходные тексты web-движка The Pirate Bay. Код опубликован (https://github.com/isohuntto/openbay) на GitHub под лицензией GPLv3. Отдельно через торренты (http://openbay.isohunt.to/#slide4) распространяется статический слепок базы данных, скомпонованной на основе лучшего контента Pirate Bay и Isohunt. Для упрощения установки подготовлен специальный скрипт, упрощающий развёртывание (https://github.com/isohuntto/openbay/wiki/shared-hosting-guide) аналога Pirate Bay на типовом хостинге, на котором имеется PHP и MySQL. В минимальной конфигурации трекер можно запустить и без MySQL. Для расширенных конфигураций возможно создание полноценной поисковой системы по торрентам, основанной на движке Sphinx.
URL: http://arstechnica.com/information-technology/2014/12/open-b.../
Новость: http://www.opennet.me/opennews/art.shtml?num=41324
В ответ на наглость копирастов им снова нежно стучат по лбу известным прибором. )
...и ехидно достают фигу из кармана :)
> на смену идёт армада клонов, после того как отрубили голову одному, на его месте вырастут сотниАвтор, ты явно не тот ресурс выбрал для раскрытия таланта! :D
>ей на смену идёт армада клонов крупных торрент-трекеров - после того как отрубили голову одному трекеру, на его месте вырастут сотни подобных ресурсовSAO/World Seed прям
Не, там была какая-та гхырь с закрытым и обфусцированным кодом, о презренный анимешник.
> Не, там была какая-та гхырь с закрытым и обфусцированным кодом, о презренный
> анимешник.Нееет, иначе не смогли бы делать кучу миров разных между собой, так что полюбому там опенсурс, скорее всего это тупо СДК для Амусферы :)
Там могло быть и что-то закрытое, но с доступным API. (хотя конечно исходя из целей создателя - опенсурс весьма вероятен)
> эра индивидуальных торрент-сайтов остаётся в прошлом, ей на смену идёт армада клонов крупных торрент-трекеровСпасибо, не надо, такое гумно ешьте сами. Дальновидным решением будет полный отказ от трекеров, а не штамповка кучи их клонов. Можно, конечно, как идиот, бегать по то и дело закрывающимся торрент-сайтам с рекламой, но не лучше ли перейти на полностью децентрализованную систему файлообмена? В случае с BitTorrent - это Tribler, например.
Тут проблема в достоверности описания/содержимого на первый план встаёт. Мулы собсна потому и вымерли фактически, а DC никогда глобальными не станут.
Описания и на торрент-трекерах хромают, порой проще на какой-нибудь приличный сайт зайти и его прочитать, чем читать что там какой-то школьник накалял. А насчёт соответствия, так у Триблера, к примеру, есть система рейтингов и комментарии. ЦП под видом мультфильмов будет сложно распространять.В RetroShare есть каналы, если админы канала не дураки и дорожат репутацией, то содержимое будет соответствовать описанию. Ну и опять же, рейтинги, комментарии.
> В RetroShare есть каналы, если админы канала не дураки и дорожат репутацией,Так, а что помешает копирасам заспамить канал или просто взять админов за выступающие части тела?
>> В RetroShare есть каналы, если админы канала не дураки и дорожат репутацией,
> Так, а что помешает копирасам заспамить канал или просто взять админов за
> выступающие части тела?спамить что-либо это крупный риск нарваться.
админы и так все блокируют по запросам копирастов. а создатели pirate bay сидят (петер сунде вышел только недавно) и штраф на них висит нехуевый.
> спамить что-либо это крупный риск нарваться.Осла (eMule) серьезно заспамили левыми результатами. В смысле, поиск в DHT.
Как это делается? Создается левая конторка Рога и Копыта. Копирасы дают конторке денег. Конторка ставит пачку серверов и гонит публикацию оптовых партий крапа. Юзер набравший "неправильный" поисковый запрос получает 100500 результатов, половина из которых фэйк.
Хотя основная проблема осла - галимый механизм очередизации. Прикольно постоять в очереди за файлом 2 часа лишь для того чтобы узнать что это фэйк с случайным мусором, правда? :) Несомненно, упорный пользователь найдет что искал, НО многие задолбаются быстрее..
Анонимус хочет и украсть и сделать это легко и приятно? Если каждый второй торрекн фейк, то это нормально.
С мыслью выше согласен. Никакие сайты не нужны. Они нужны только для отслеживания пользователей , рекламы и удовлетворения СЧВ авторов сайта.
> Анонимус хочет и украсть и сделать это легко и приятно?Анонимус оперирует иными контекстами. Анонимусу нужен цензуроустойчивый, саботажеустойчивый, трудноотслеживаемый, масштабируемый распределенный протокол. Который позволяет людям обмениваться данными. Теми, которыми они сочтут нужным. А чем именно они сочтут нужным обмениваться - не анонимусовское дело уже. Если там что-то незаконное - ну вот пусть оперативники и пыхтят, а протокол в этом им помогать не будет.
> Так, а что помешает копирасам заспамить каналНикто им доступ к нему не даст.
> или просто взять админов за выступающие части тела?
Не думаю, что если на канале постит 50-100 человек (релизеров контента), к примеру, у копирастов хватит сил каждого вычислить и к каждому приехать. Особенно, если учесть, что таких каналов может быть сколько угодно. В случае с торрент-трекером, чтобы его закрыть, достаточно взять за одно место 5-10 человек (админов).
> Никто им доступ к нему не даст.А как ты будешь отличать например меня от копираса? Ну или я (и остальные юзери) тоже доступ не получат -> FAIL.
> Не думаю, что если на канале постит 50-100 человек (релизеров контента), к
> примеру, у копирастов хватит сил каждого вычислить и к каждому приехать.Как сказать? Процент релизеров относительно невелик и поэтому особо "вонючих", но не шибко грамотных в плане анонимнсти - просто сдадут копам или ФБР/ФСБ/кактамэтоназывается, а т.к. это довольно наглое нарушение - скорее всего начнется более-менее серьезная оперативная работа с нормальными ресурсами. Далеко не каждый первый готов к такому вниманию к своей персоне и половина на чем-нибудь спалится по глупости, а потом поимеет достаточно неприятностей на свой зад. Ну на уровне стандартных варезников, в общем. Еще и половину соратников сдаст, в рамках сделки со следствием.
> случае с торрент-трекером, чтобы его закрыть, достаточно взять за одно место
> 5-10 человек (админов).Поэтому на самом деле надо нечто распределенное для индексации и комментариев. Но большинство таких проектов - жуткие монстры с кучей зависимостей всякой скриптятины по типы "социалка, но с элементами распределенности". И все это не идет ни в какое сравнение с мелким торент-клиентом на полметра который сидит в трее и качает гигазы, не требуя кучи зависимостей, познаний в администрировании вебпроектов и прочей буиты.
На данный момент не вижу хороших реализаций чего-то наподобие.
>> случае с торрент-трекером, чтобы его закрыть, достаточно взять за одно место
>> 5-10 человек (админов).У нас как всегда кончится показательным нарушением пары школьников и дальше дело не пойдет.
> А как ты будешь отличать например меня от копираса?Даётся доступ, далее до первого прецендента. Если ты спамишь, то тебя доступа лишают.
> Ну или я (и остальные юзери) тоже доступ не получат -> FAIL.
Никакого FAIL'а, скорее наоборот - чем больше каналы и чем меньше их количество, тем больше внимания они могут привлечь. Поэтому важно, чтобы любой мог создать свой независимо от других. В Tribler'е сейчас около 500 каналов, большинство из которых содержат простые пользователи.
> сдадут копам или ФБР/ФСБ/кактамэтоназывается
Если человек решил бороться с копирастами, а не подстилаться под них, как админы Rutracker'а, к примеру, то он должен понимать какую ответственность на себя берёт.
Полностью поддерживаю!!!
> Если человек решил бороться с копирастамиО боже. Унылое оправдание пирата.
> Даётся доступ, далее до первого прецендента. Если ты спамишь, то тебя доступа лишают.Заводится тихой сапой пачка новичков. Желательно правдоподобно выглядящих. Сидят тихо. До поры. Постепенно готовится атака. По возможности занимается существенный процент посетителей. Далее в час икс (желательно когда все админы спят) начинается кромешный сталинград, когда вся стая начинает дружно отрываться, например массово рассылая фэйки. При хорошем и дружном отрыве - есть шанс что админы вообще повиснут как тряпочки и будут не в силах вообще подобрать с пола банхаммер (видал такое в жаббере на канале как-то). При том атакующие боты могут использовать очень оптимизированный под задачу код, где большинство вещей статично вбито заранее и затраты на компоновку протокола сильно ниже типичного клиента.
Результат? Админы в панике и даже если их не заклинит - во первых работа канала может быть сорвана на значительный срок, а во вторых у админов прокачается паранойя. Ведь если 30% канала спамеры - кто угодно зашедший на канал может быть спамером. А полная анонимность к тому же позволяет ботам быть трудноотличимым от людей "на старте". Начнется бан кого угодно, превентивно, при малейшем подозрении, все дела. В результате если такое будет продолжаться - канал станет мелким приватным междусобойчиком с десятком отпетых варезников знающих друг друга лично... ну и копирасов такой расклад в общем то устроит :). Десять олухов не придут в кино, а миллион которых не пустили на канал - придут. Ну и ладушки.
> Никакого FAIL'а, скорее наоборот - чем больше каналы и чем меньше их
> количество, тем больше внимания они могут привлечь. Поэтому важно, чтобы любой
> мог создать свой независимо от других. В Tribler'е сейчас около 500
> каналов, большинство из которых содержат простые пользователи.Если Вася перекинет Пете мувик - всем пофигу. Но если там будет много народа и объем нарушений начнет копирасов напрягать - вероятно будет как-то в духе того что выше. Ну то-есть пакет обеспечительных мер нацеленных на резкую депопуляризацию.
Как максимум получится некий очередной закрытый трекер. На самом деле нужны какие-то технические средства для чего-то типа распределенного доверия и накопления авторитета. Возможно в паре с proof of work. Чтобы пачки ботов стало дорого и сложно содержать и не получалось завести стайку в автоматическом режиме. Хотя опять же, стайка китайцев рюхающих по 1000 капч за доллар и по 1000 спам-сообщений за доллар накидают ведь, если надо.
> Если человек решил бороться с копирастами, а не подстилаться под них, как
> админы Rutracker'а, к примеру, то он должен понимать какую ответственность
> на себя берёт.Дело в том что если управление централизовано - админ становится довольно видной фигурой и вынужден много взаимодействовать. Однажды он провзаимодействует со следователями или спецслужбами, допустив ошибку. И станет сильно сговорчивее.
> Десять олухов не придут в кино, а миллион которых не пустили на канал - придут.Мы о разных вещах говорим, похоже. Если у меня нет прав для постинга на канал, то это не значит, что я не могу на него подписаться и получать посты, видеть ссылки на файлы. А вообще, пользователю хоть 10 человек канал содержат, хоть 100 - особой разницы нет. Главное, что файлы всё равно в сети доступны, и спокойно ищются поиском.
> постинга на канал, то это не значит, что я не могу
> на него подписаться и получать посты,Это так. Но если там будет постить пара релизеров - при первом намеке на популярность копирасы просто поинтересуются что это за кадры такие и как их припечь. Для понимания того что может быть дальше - почитай как ловили админа Silk Road. Следаков вообще заломало колупать Tor и биткоины. Они просто нашли хвастовство этого самодовольного петуха в сети под тем же ником, где он о себе многовато сказал. Круг поиска сильно сузился и его нашли. И это, заметь, облажался перец с куда более солидными требованиями к анонимности, хотя технические средства его как бы даже и не подводили.
А штуки типа tribler - ну слушай, ты и правда думаешь что те кто пишут софт на питоне хоть что-то понимают в криптографии и анонимности? Там вон разбор полетов опубликовали - и там вообще весь протокол - один большой кусок продолба. Авторы tribler оказались самым печальным видом криптоламеров - те которые не в курсе насколько они в этом ламеры, для начала. А за голову релизера на популярном канале копирасы в принципе могут дать довольно ощутимые суммы, когда анонимность поднапряжется обеспечивать даже очень качественно сделанный протокол, просто из-за масштаба и разнообразия персонализированных атак.
> вообще, пользователю хоть 10 человек канал содержат, хоть 100 - особой
> разницы нет.А тут все просто - если этим пользуешься только ты и твой друг Вася - можно хоть магнет-ссылки друг друг в ирц кидать и качать торентом. Пока это делает 2 человека, всем пофиг. А вот если это начнет кого-то заметно напрягать - то во первых постараются сломать место где ты обитаешь. DHT осла флудили поддельными узлами так что DHT разпухал раза в два-три, но он все-равно дохнуть отказался, а т.к. нормальных узлов много (около 10М на момент таких атак) и поддержка наличия фэйковых узлов в сети требует ресурсов, а протокол к тому же твикнули чтобы он ограничивал число узлов из одной подсети, что сделало атаки более затратными и требующими постоянно работающих сереров в куче разных ДЦ, все это падать отказалось. Поэтому они пошли по пути заспамливания индекса поиска. По какой-то такой же причине не смогли завалить и DHT битторрента.
> Главное, что файлы всё равно в сети доступны, и спокойно ищются поиском.
Тому же DHT например все-равно что искать и оно достаточно неубиваемое. Проблема в том кто будет помещать данные, как это будет проверяться и что случится с помещавшим если на него кто-то всерьез ополчится.
ИМХО есть некоторые моменты...
1) Любая сильная идентити, даже виртуальная - при малейшей популяризации становится объектом для адресных персонализированных атак, устоять против которых сложно даже очень хорошим решениям, тем более что индивид почти наверняка допустит какой-нибудь прокол. А поскольку большинство релизеров делают это для прокачки ЧСВ - за окорок их можно взять довольно быстро. Даже анонимизатор ломать не надо - показать кульную ссылку, на которой будет какой-нибудь 0day для браузера, например. И вот уже и айпи, и содержимое харда "негодяя" в кармане.
2) Это означает что для отсутствия сильного противодействия надо слабые серенькие идентити (прощай, слава релизера) и невысокий уровень активности (иначе на канал и его владельцев обрушится шквал административных и технических атак всех мастей). При таких условиях во первых требования к протоколам низкие (хватит и приватного ирц сервака с магнитными ссылками да пары торрент клиентов). Во вторых не получится внятного доверия.
3) Вероятность поимки больше всего коррелирует с вопросом "сколько готовы дать за вашу голову". Ну или точнее - сколько усилий на это готовы потратить. Если ты будешь по масштабу на уровне топ10 релизеров TPB - копирасы могут достать приличные бабки. И ты же понимаешь что хрень типа tribler, равно как и просто большинство людей совершенно не готовы к тому уровню атак который последует за этим?
> А штуки типа tribler - ну слушай, ты и правда думаешь что те кто пишут софт на питоне хоть что-то понимают в криптографии и анонимности?Фишка Триблера не в анонимности, он позволяет: 1) использовать наиболее популярный протокол файлообмена, 2) не зависеть от трекеров. Для меня это перевешивает все его минусы. В конце концов, никто не запрещает критикам написать свой анонимный клиент для Tribe, и если Tribler обретет популярность, это обязательно случится.
Ну, или что ты предлагаешь? Если где и есть анонимность, то там почти нет контента. Я, конечно, хочу чтобы народ начал массово валить в даркнеты, но пока этого нет, приходится жить сегодняшним днём.
> И ты же понимаешь что хрень типа tribler, равно как и просто большинство людей совершенно не готовы к тому уровню атак который последует за этим?
По-моему, это не оправдывает использование торрент-трекеров. Почему сидеть должны админы TPB, к примеру, а релизеров никто трогать не должен? Если большинство людей не готово взять ответственность на себя, и предпочитает возлагать её на владельцев трекеров, то в этом нет ничего хорошего.
Если на то пошло, от трекеров можно не зависеть и используя DHT, а поиск лучше делается поисковиками.> если Tribler обретет популярность, это обязательно случится.
Я не думаю что так много народа готово мучаться с крапом на яве и питоне чтобы что-то где-то утянуть (ява - отсылка к i2p). В конце концов без проприерасовского мувика вполне можно прожить, как правило сэкономив себе пару часов времени на просмотр крапа.
> По-моему, это не оправдывает использование торрент-трекеров.
Как таковые торрент трекеры давно не требуются а TPB давно превратился в сайтик с кучей магнитных ссылок и отзывами про них. Хотя возможность скачать торент там есть. А собственно трекера у них нет уже много лет, btw...
> Почему сидеть должны админы TPB, к примеру, а релизеров никто трогать не должен?
Я думаю что копирасы тоже задаются этим вопросом.
> возлагать её на владельцев трекеров, то в этом нет ничего хорошего.
Зависит от. Владельцы трекера обычно достаточно компетентны технически и догадываются с чем они столкнутся. Хотя со своей стороны я тоже считаю неумение торрента делать поиск через DHT как осел недостатком. Но такое гэ как Tribler мне и бесплатно не надо. Ну разве что оно умеет золото добывать, а не мувики, тогда подумаю. Потому что горбатый макет программы - это отстoйно.
> Если на то пошло, от трекеров можно не зависеть и используя DHTЧтобы использовать DHT надо сперва хэш знать.
Есть поиск по DHT - https://btdigg.org/. Хорошая вещь, но ставит в зависимость от веб-сервиса.А вообще, качать кота в мешке удовольствия мало, часто, бывает необходимо хотя бы минимальное описание контента. В Tribler'e и RetroShate это есть.
> а поиск лучше делается поисковиками.
Веб-поисковиками по веб-сайтам? Никакой децентрализации, описание контента и ссылка на него должны поступать от пира к пиру, а не с сайтов в Интернете. Возможно, с использованием сторонего ПО, но никак не чужих веб-сервисов.
> Я не думаю что так много народа готово мучаться с крапом на яве и питоне чтобы что-то где-то утянуть (ява - отсылка к i2p).
Это так ровно до тех пор, пока гайки не начали как следует закручивать.
> TPB давно превратился в сайтик
Я под торрент-трекерами подразумеваю и сайтики в том числе.
> Есть поиск по DHT - https://btdigg.org/. Хорошая вещь, но ставит в зависимость
> от веб-сервиса.Кстати говоря технически в DHT торрента не проблема индексировать что угодно. Народ на его основе делает distributed DNS, когда публикуется хэш от слова (названия хоста) или его связки с ключом (так другие не смогут подделать запись) или хэш ключа хоста (просто уникальная запись, зная котоую всегда можно найти хост независимо от айпишника).
Правда протокол дубоват по сравнению с ослом и сильно прямо аналог не сделается.
> бы минимальное описание контента. В Tribler'e и RetroShate это есть.
В последнем вроде как сделан чистый F2F, а по этому поводу...
1) F2F в чистом виде - эпикфэйл, ибо по идее позволяет мало-мальски мощным атакующим (ну то-есть копирасы и их холуям например) реконструкцию социальных связей. Крупным оптом. Можно очень прицельно за жабры брать. Типа всей группировки релизеров за раз. Хотя надо будет посмотреть как у них протокол сделан, но в целом F2F имеет свои достаточно тяжелые проблемы.
2) Постоянные ключи GPG - тоже фэйл. Это доказуемость и возможность взять за жабры, опять же. GPG как таковой вообще скрывает лишь содержимое переписки, но не ее факт. И как правило оперирует явными подписями - если что, ты не отвертишься. Твоя подпись, и не и..т. Но есть некоторые достаточно красивые решения как этого избегать.
3) SSL для шифрования - ну ты понял...> Веб-поисковиками по веб-сайтам? Никакой децентрализации,
Кстати поисковики распределенные бывают. Хоть мне это и не особо нравится такая идея.
> Возможно, с использованием сторонего ПО, но никак не чужих веб-сервисов.
В целом это правильная точка зрения и я с ней согласен.
> Это так ровно до тех пор, пока гайки не начали как следует закручивать.
То-есть снос крупнейшего варезника - на закручивание гаек не тянет? :)
> Я под торрент-трекерами подразумеваю и сайтики в том числе.
А напрасно - 2 совершенно не связанные сущности.
> Кстати говоря технически в DHT торрента не проблема индексировать что угодно.технически в кадемлии вообще с этим проблемы нет. лично я его использовал для всякого разного. в том числе — каюсь — хитрохаками использовал уже существующую DHT-сеть торрентов для распространения информации, никакого отношения к торрентам не имеющей. это, конечно, некультурно, но мне нужна была большая сеть с кучей пиров, а другой под рукой не оказалось. впрочем, одна из фишек DHT ещё и в том, что таким образом сильно нагадить не получится, а как только оттуда свалишь — мусор быстро протухнет.
> Кстати поисковики распределенные бывают. Хоть мне это и не особо нравится такая
> идея.ну, я некоторое время держал YaCy-ноду. задумка, в общем-то, вполне хорошая.
> Кстати поисковики распределенные бывают. Хоть мне это и не особо нравится такая идея.Ещё бы распределённый аналог торрент-портала кто бы написал. Как, например, Twister - P2P аналог Twitter. Цены бы этому не было.
> То-есть снос крупнейшего варезника - на закручивание гаек не тянет? :)
Учитывая, что "ему позволили" тут же возродиться, думаю - нет. Реальное закручивание будет, когда за акт скачивания нелегального контента будет грозить реальная тюрьма или реальный штраф, причём, всем без исключения (а не только релизерам, владельцам файлообменнников и т.д.).
Пока же можно практически безнаказано качать в открытую и не важно каким образом. Не даром же Рутрекер примерно на 20 месте в РФ, как и ex.ua в Украине.
http://www.alexa.com/siteinfo/rutracker.org
http://www.alexa.com/siteinfo/ex.ua
DC через DHT вроде как работает, полностью децентрализованная сеть
DC-клиенты разрабатываются без оглядки на безопасность/приватность/анонимность, AFAIK, поэтому плохо подходят для современных реалий.
> DC через DHT вроде как работает, полностью децентрализованная сетьТолько сделаны с оглядкой на юзеж в локалках а не в "сети вообще".
Эта хрень небезопасна. В соседней новости уже сказали.
> Triblerопять питонячий крап. тьфу.
> опять питонячий крап. тьфу.Это ты еще не видел разбор их протокола с wannabe анонимностью от всего лишь авторов Tor, у которых самих с этим все довольно средне.
> Это ты еще не видел разбор их протокола с wannabe анонимностью от
> всего лишь авторов Tor, у которых самих с этим все довольно
> средне.и хорошо, что не видел. я старенький уже, у меня психика не такая мощная, как раньше.
Отрубишь одну голову, две другие займут ее место. Хайль гидра)))
> Отрубишь одну голову, две другие займут ее место. Хайль гидра)))Эффект Стрейзанд FTW.
Гидра присмактывает, тут 100 вместо одной.
> (база занимает около 900MB и включает 8 млн торрентов).7800659-торрентов, если быть точным, и база испорчена, разделитель csv используется PIPE "|"
Первым полем из которых идёт название торрента, в которых присутствуют множество пайпов, все остальные поля служебные. Сдвиги всегда разные.Пытался по-сортировать по типам торрентов, так:
zcat torrents_mini.csv.gz | while IFS='|' read -ra ARR; do echo ${ARR[4]}; done | sort | uniq -c
получил помимо нужной информации, куча испореченных строк, из-за пайпов в названиях торрентов.
Но основное и так видно.
288514 anime
337737 books
379723 other
409957 games
819239 adult
931301 music
947988 "series & tv"
1099070 software
2580391 moviesХотя можно посчитать более корректно, если служебные поля считать с конца строки.
UPD: нельзя, там ещё и "переходы строк" есть в названиях торрентов. Отчего служебные поля съезжают на сл. строку. Поэтому база частично испорчена. И цифра 7800659 тоже не корректна, т.к. я её замерял через wc
А если строчки с конца парсить? Тогда палки в первом поле перестают мешать. Вот с окончаниями строк тяжелее. Наверное, можно выделить формат служебных полей и сравнивать его с тем, что видно, и как-то потом выбирать один из концов строки в качестве конца записи.Так что я не уверен, что база испорчена, вы ее просто не умеете читать правильно :)
Да, я потом осмыслил, т.к. кол-во служебных полей известно, и известно конкретные одно из 9-ти слов в 5-м поле "movies", "software", "games" и т.д. то можно привести базу в нормальный вид, и заэкранировать лишние символы. Но.. Это могли бы сделать и при дампе, что бы в итоге уже нормальная база получилась. Хотя если шведы на хвосте сидели, и нужно было срочно-срочно всё спасать, думаю им не до этого было))
> позволяющей любому желающему развернуть сайт, подобный The Pirate Bay. По мнению авторов инициативы эра индивидуальных торрент-сайтов остаётся в прошлом, ей на смену идёт армада клонов крупных торрент-трекеров - после того как отрубили голову одному трекеру, на его месте вырастут сотни подобных ресурсов.Что-то не внушает никаких хороших мыслей. Вот есть Tribler с гигатоннами мёртвых торренов без единого сида, есть куча мелких трекеров-форумов на которых и с сидерами туго и вообще их поди найди, есть непонятно кем и для кого поддерживаемые закрытые трекеры типа Demonoid на которые невозможно попасть и где невозможно удержаться простому человеку без сидбокса и эксклюзивных источников свежака. The Pirate Bay был единой подлинно свободной библиотекой для всех, что сможет его заменить - даже представить себе не могу.
> Для воплощения данного шага в рамках проекта Open Bay открыты исходные тексты web-движка The Pirate Bay.
А кому нужны коды такого вусмерть устаревшего (проблемы с кодировками в наш-то просвещённый век) и без того примитивного сайта? Сила его была только в сообществе, базе контента, свободности и неуязвимости перед властями, а функционально они никогда ничехо особенного из себя не представлял, просто альтернатив нет.
> Отдельно через торренты распространяется статический слепок базы данных, скомпонованной на основе лучшего контента Pirate Bay и Isohunt (база занимает около 900MB и включает 8 млн торрентов).
А как они решали какой контент лучший? Многое из того, что я счёл лучшим имело одного-двух сидов и то не целый день, а некоторое и вовсе не имело сидов на 100%, но даже оставшиеся куски представляли, как по мне, существенную ценность.
> Что-то не внушает никаких хороших мыслей. Вот есть Tribler с гигатоннами мёртвых
> торренов без единого сида,Во первых у торрента дурная идея в том что индексируется не хэш ФАЙЛА а хэш метаданных.
Если у Васи и Пети был один и тот же файл, но Вася назвал его как 1.mp4 а вася назвал как 2.mp4 и они потом создали торренты - инфохэш получится РАЗНЫЙ и это будут 2 разные независимые раздачи. Хотя технически было бы логичнее чтобы те кому надо такой файл смогли найти и Васю и Петю. Увы, в торренте это большое протокольное упущение. Даже в древнем осле с этим все намного лучше.
Во вторых - эм, ну ты же понимаешь что гонять макет-переросток торрент-клиента на питоне постоянно мало кто станет.
> Во вторых - эм, ну ты же понимаешь что гонять макет-переросток торрент-клиента на питоне постоянно мало кто станет.Какой нынче самый популярный торрент-клиент? uTorrent. Проприетарный, ничем не примечательный в техническом плане клиент с рекламой. В сравнении с ним, вы всё ещё считаете клиент на питоне чем то плохим и недостойным популярности?
Главное торрент-файл получить, а использовать для скачки можно любой клиент.
> Какой нынче самый популярный торрент-клиент? uTorrent. Проприетарный, ничем не примечательныйИзначально он был примечателен тем, что это была с++ прога на 300 кил, которая воткнула по скорости и фичности изначальному кошмарику (писанному как раз на бидоне) с таким жестким отрывом, что Bitorrent, inc пришлось засунуть свой бидон туда где ему самое место и просто скупить всю контору делавшую uTorrent, чтобы не потерять влияние на рынок который они же и создали. Так плюсовики показали бидонистам как надо писать программы правильно. Напрямую - поставив шах и мат рыночной доле дефолтного бидоноуродца на рынке. И даже то что на этого урода доступны сорцы не делает его менее уродским.
В бонус мы имеем крайне идиoтские форматы протокольных сообщений. Которые не очень просто парсить машине (==добавочная нагрузка на проц/память и лишний траффик) и при том не особо то и читабельны, ибо какая-то странная смесь бинарных и текстовых данных.
> в техническом плане клиент с рекламой. В сравнении с ним, вы
> всё ещё считаете клиент на питоне чем то плохим и недостойным
> популярности?Я считаю что клиент на питоне - не жилец. Ну не хотят пользователи пользоваться кривым ресурсожорким макетом вместо программ. Пока лучших вариантов не было - кушали и такое. А как тот же uTorrent появился - официальный клиент на питоне элементарно сдох. Потому что софтина на триста кило на плюсах умела больше, качала быстрее, жрала кардинально меньше ресурсов и вообще, там было все что можно хотеть от нормального торент клиента. В триста килобайтах. Вот питон и намотался на фонарный столб с досады.
Говоря за себя - я клиентом на питоне пользоваться не буду. Я предпочитаю вещи которые можно неинтерактивно запустить на сервере или вообще роутере. Сношать себе мозг вопросом какая там у меня на сервере версия питона или как мне на роутер питон вкрячить - я элементарно не собираюсь.
По каким-то таким же причинам околел netsukuku. Самое место для клиента такой сети - на домашнем роутере, который всегда включен, имеет последнее слово в обработке траффа до вылета в интернет и прочая. Но с бидонятиной там напряг и netsukuku на питоне просто не взлетел. Потом перцы кой-как согласились на vala. Но в общем пока они там страдали выбором ЯП, пришли перцы с cjdns и написали сразу на сях, без выгибонов. Оно работает и требовательность к ресурсам уже получилась относительно вменяемой.
> Главное торрент-файл получить, а использовать для скачки можно любой клиент.
Для начала, торрент-файл получить уже не главное. Главное - знать инфохэш. А торрент-файл и сами клиенты через расширение протокола нальют.
> По каким-то таким же причинам околел netsukuku.нет. это был прежде всего исследовательский проект. а бидонореализация — просто PoC. планы переписать на си наличествовали — после окончания исследований и стабилизации. но потом немного не срослось со всем этим. в общем, причины совсем другие, гвидобейсик тут вообще не при делах.
> но потом немного не срослось со всем этим. в общем, причины
> совсем другие, гвидобейсик тут вообще не при делах.Почему-то срастается обычно у тех кто не выпендривается с мегаконцепциями и пишет на сях. Потом и скорость нормальная и работает на всем что шевелится и вообще - нечто юзабельное получается. Так, наблюдение. А если код переписывать на тотально другом ЯП раз в пару лет - получится как в реактосе с его кернелом. Если ты не в курсе, например в той же Kademlia идея это 10% работы и еще 90% - это доводка до ума конкретной реализации, которая очень сильно определаяет свойства, разница по эффективности может быть в разы, казалось бы на ровном месте. И если вместо доведения до ума реализации переписывать с ноля каждые 2 года - получится предсказуемый шитец. Хоть там на каком ЯП.
ещё раз: это был *исследовательский* проект. первоочередной задачи «релизнуть рабочее, а потом допиливать» там не ставилось.
> ещё раз: это был *исследовательский* проект.По нему заметно - уже уйму лет в состоянии ни рыба ни мясо.
>> ещё раз: это был *исследовательский* проект.
> По нему заметно - уже уйму лет в состоянии ни рыба ни
> мясо.с чего ты решил, что твои цели и интересы совпадают с целями и интересами авторов проекта?
Разные имена файлов, разные директории и дерево файлов в торренте - значит разные торренты. По-моему, все правильно. Да, искать сложнее. Если бы были хеши по отдельным файлам, было бы проще, согласен. Но сам по себе протокол torrent и не рассчитан на поиск.
Если к фильму в разных торрентах добавили всякие demonoid.txt и неизвестно, какой из них быстрее докачается - это лишний трафик на ровном месте и уменьшение количества сидеров для всех.
Можно на уровне клиента делать хардлинки и совместно отслеживать, какие куски уже есть. Против rar не поможет, но обычно только переименовывают.
> Можно на уровне клиента делать хардлинки и совместно отслеживать, какие куски ужеА еще можно гланды через ж...у автогеном удалять.
создатели протокола bittorrent так и сделали
Согласен. Сам недавно полез изучать систему и ужаснулся, осознав что хэши строятся по метаданным, долго не мог поверить своим глазам, думал это я что-то не правильно понял.
> Согласен. Сам недавно полез изучать систему и ужаснулся, осознав что хэши строятся
> по метаданным, долго не мог поверить своим глазам, думал это я
> что-то не правильно понял.да, именно так. потрясающий идиотизм, конечно — наплевать на данные и придавать такое значение приклееным ярлычкам. впрочем, торрент-протокол вообще отличается умом и сообразительностью.
> торрент-протокол вообще отличается умом и сообразительностью.По нему сразу видно - питонисты делали макет... потом так и осталось. Поэтому - расстреливать за такое макетирование, имхо. С особой жестокостью.
это да. я понимаю, что в гвидобейсике всё не как у людей, но уж могли бы превозмочь. сделали бы уже или нормальный текстовый json какой-нибудь, или уже нормальный бинарный. а не помесь ежа, ужа и уборщицы клавы.
Было бы лучше, конечно, чтобы связи между этими сайтами представляли собой сетку, при этом главным может быть основной на этот момент Пиратбай, если его отрубили ничего плохого не случится :)Просто нужно предусмотреть механизм для revoke прав главного сервера после включения на новом месте.
Ну в протоколе битторрента есть уже механизм автоматического обмена трекерами между клиентами. Другое дело, что по ряду причин он выключен в торрент клиентах по-умолчанию (см. эпичнейший случай с блокировками qBittorrent на rutracker: http://rutracker.org/forum/viewtopic.php?p=43584207#43584207 )
Было бы куда логичнее сделать следующий механизм: при обращении к трекеру, он возвращает специальный флаг, можно ли торрент клиенту сообщать другим клиентам урл данного трекера. Тогда бы истинно публичные трекеры этот флаг выставляли, а трекеры типа рутрекера, которые хранят в урле паскей, этот бы флажок не ставили.Следующим шагом было бы вести в клиенте глобыльный список трекеров, и при добавлении любого торрента запрашивать его хеш у всех трекеров. Это бы увеличило многократно нагрузку на трекеры, но сделало систему бы устойчивее.
Правда, могут возникнуть проблемы приватности клиентов трекеров. Если я поставлю на закачку торрент "Горячие лесбиянки", то об этом узнает полинтернета. Так же копирасты могут сделать фейковые трекеры, и к ним польются рекой айпишники желающих скачать их очередное нетленное творение. Хотя сейчас им хватает и DHT с головой.
>поставлю на закачку торрент "Горячие лесбиянки"Ты так говоришь, как будто это что-то плохое. Это же не зоокопрофагия какая-нибудь.
> увеличило многократно нагрузку на трекеры, но сделало систему бы устойчивее.И попутно лило бы все айпишники на трекер копирасов.
Короче man dht и не выделывайтесь. Трекеры - это каменный век.
эпичнейше — это пытаться считать свякую хрень, используя протокол, который для этого совершенно не предназначен. у меня, например, в своё время при очень толстом канале на скачивание и очень тонком на залив таааааакие рейтинги были… и никто ни разу не забанил как «читера». а всего-то маленький патч к rtorrent и маленький конфиг из нескольких строк.
Хм, а написано-то на Yii 1.x
Вспомнились слова песни: «а я буду пиратом-гадом, и всех поставлю раком-задом».
> Вспомнились слова песни: «а я буду пиратом-гадом, и всех поставлю раком-задом».А пираты должны, просто обязаны заставить пройти по доске наиболее наглых копирасов.
Коммунизм в интернете не задушишь :)