forum.opennet.ru

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Оглавление

Facebook открыл код распределённой системы хранения LogDevice, opennews (??), 13-Сен-18, (0) [смотреть все]

Почему на C написано а не на Python Django , Аноним (2), 12:03 , 13-Сен-18, (2) –6 //

еще на электроне или пыхе предложи , Аноним (3), 12:07 , 13-Сен-18, (3) +21
потому что мы попытались, как обычно, на php, но получалось как-то не очень а на, facebook (?), 12:08 , 13-Сен-18, (4) +7 //

что-то гугл уже не очень то на питоне пишет Может лучше на php , Аноним (11), 12:36 , 13-Сен-18, (11) +2
Ваша информация устарела Теперь в Google используют Golang Но не все и не везде, Аноним (32), 16:31 , 13-Сен-18, (32)

Facebook открыл код распределённой системы хранения LogDevic..., captcha 20168 (?), 12:08 , 13-Сен-18, (5) –1 //

сейчас тебе расскажут, что в пихоне с инпутом оутпутом все равно работает сишный, Аноним (3), 12:10 , 13-Сен-18, (6) –3

Какой хороший вброс Он мне по душе , Попугай Кеша (?), 12:24 , 13-Сен-18, (8) +4 //

Это выброс Очевидно же , Аноним (61), 22:37 , 14-Сен-18, (61)

Лучше на asm, logo.sys (?), 12:42 , 13-Сен-18, (13) //

Не лучше, тут лучше на Си Я в свое время делал турбореактивный обработчик посту, Аноним (-), 14:47 , 13-Сен-18, (24) //

Ну и как у них решение по сравнению с вашим Выше ерешние в откуытом доступе , Аноним (32), 16:32 , 13-Сен-18, (34) +1
На Турбо-Си Борланд крут , A.Stahl (ok), 18:08 , 13-Сен-18, (39) +2

в трубу этот си , Sw00p aka Jerom (?), 22:45 , 13-Сен-18, (49)

Потому что продакшн-решение для хайлоада , Crazy Alex (ok), 12:47 , 13-Сен-18, (14) +2 //

их разьве не на пихоне обычно делают - а, простите, на пихоне пишут файловые , нах (?), 13:06 , 13-Сен-18, (16) //

Для себя, для домашнего применения соответственно, небольшие нагрузки - без пр, Crazy Alex (ok), 13:45 , 13-Сен-18, (19)

а время для себя у тебя бесплатное, да мне вот как раз для себя хочется 10g свит, нах (?), 14:40 , 13-Сен-18, (22)

Ну вот потому и питоны всякие а потому что пишешь на том, что и так знаешь, а н, Crazy Alex (ok), 16:28 , 13-Сен-18, (29)

И наручниками того, кто такое пишет и такими критериями руководствуется, дома к , Аноним (25), 15:18 , 13-Сен-18, (25) –2

А тебе плеточку выдать, чтобы мог объяснить всю глубину заблуждения и замотивиро, Аноним (26), 15:33 , 13-Сен-18, (26) +3

надеюсь что это были твои последние потуги что-то пытаться возразить более интел, Аноним (-), 16:13 , 13-Сен-18, (28) –2

ИтнеллеХт и аргументационная мощща прям таки и прет , Аноним (26), 17:18 , 13-Сен-18, (36) +1

а зачем приковывать - он и так никуда не выйдет, счас-счас-счас, оно досинхрони, нах (?), 16:28 , 13-Сен-18, (30) +1

Пример Есть тысяча файлов, по 20 мегабайт каждый Будет там разница в скорости , Crazy Alex (ok), 16:34 , 13-Сен-18, (35)

Будет Мы, анонимы точно знаем, как офигительно быстро FUSE ведь оно на сях, че, Аноним (26), 17:22 , 13-Сен-18, (37)

поищите на досуге ранние тесты производительности ntfs-3g Они, по-моему, сохран, пох (?), 21:46 , 13-Сен-18, (44) –1

https web archive org web 20080516235826 http www csamuel org 2007 04 25 com, Аноним (26), 22:21 , 13-Сен-18, (48)

не, это не то, это когда уже успели линуксное ядро пооптимизировать Ищите 2004, нах (?), 12:04 , 14-Сен-18, (56)

В смысле, на тему разницы и порядков величин , когда оно не упирается в IO ноут, Аноним (26), 13:54 , 14-Сен-18, (59)

А ты не охренел Я как-то всегда считал, что если человек что-то сделал для себя , Crazy Alex (ok), 16:32 , 13-Сен-18, (33) +3

не, ну еще поржать могут Не всегда по-дружески В случае zero как раз этот вариа, пох (?), 21:47 , 13-Сен-18, (45) –1

В случае zero у кого-то подгорело, что обидели webdav Ну и аллергия на питон об, Crazy Alex (ok), 00:17 , 14-Сен-18, (50)

Потому что в Facebook разработчики, тьфу-тьфу, не больны на всю девопсину , Аноним (42), 21:00 , 13-Сен-18, (42) +1
Фишка в том что написанный на C код можно забиндить к любому другому языку Че, proninyaroslav (ok), 21:52 , 13-Сен-18, (46) +1 //

C C по факту еще и самый интероперабельный язык, на уровне прямых библиотечных, Вареник (?), 04:35 , 15-Сен-18, (62)

Perl наше все, Аноном (?), 06:33 , 14-Сен-18, (52)
Потому что А попробуй так на питоне данные пожевать, узнаешь много нового как та, Аноним (-), 18:32 , 27-Сен-18, (64)

Семантику exect once поддерживает , Аноним (7), 12:15 , 13-Сен-18, (7) +1 //

exect once не поддерживает точно , уася (?), 15:04 , 14-Сен-18, (60) +1

а фильтровать логи при просмотре как они предлагают , Аноним (9), 12:27 , 13-Сен-18, (9) //

Ты где-то видел в новости строки про чтение или просмотр Русским же по белому , Vitaliy Blats (?), 20:00 , 13-Сен-18, (41) +1 //

Могу предложить новое хранилище dev null, Аноним (53), 09:00 , 14-Сен-18, (53) //

он у вас не шардится, не параллелится, и производительность под вопросом , нах (?), 12:06 , 14-Сен-18, (57)

Как не параллелится Запустил копирование туда всех файлов на 10 компьютерах, ра, Аноним (-), 18:35 , 27-Сен-18, (65)

А бюджет IT отдела под что выбивать Как объяснить что новый датацентр ежемесячн, Вареник (?), 04:37 , 15-Сен-18, (63)

там что даже индексов нету , MPEG LA (ok), 12:34 , 13-Сен-18, (10) //

Нету Оно для хранения и потокового анализа разобрал, оценил, по необходимости , Аноним (42), 09:30 , 14-Сен-18, (54)

Неудаляемые значит А как же GDPR , logo.sys (?), 12:41 , 13-Сен-18, (12) +2 //

все норм, там не сказано что мы обязаны это удалять - сказано что мы должны вас , мордокнига (?), 13:04 , 13-Сен-18, (15) +2 //

явно сказано По запросу должно быть всё удалено, причём имеют право запросить п, Аноним (20), 13:59 , 13-Сен-18, (20) //

Так вам подтвердят, что удалили Могут даже диплом с большой собачьей медалью вы, Василий Топоров (?), 15:57 , 13-Сен-18, (27) +2

эммм, мы конечно рады что вы так думаете, но один ирландский парнишка оказался п, мордокнига (?), 16:30 , 13-Сен-18, (31)
Для этого есть правохранительный органы Если лицо, которое обратилось, имеет со, Аноним (11), 22:14 , 13-Сен-18, (47) +1

Продемонстрируют, что хранят только обезличенные логи, вот эти 64 байта - это sh, KonstantinB (ok), 06:17 , 14-Сен-18, (51)

Там же реализовано так же как в гугль аналитике, 90 дней и все логи на помойку , Аноним (43), 21:40 , 13-Сен-18, (43)

Единственная польза, которую данная сосалка рпиносит человечеству - открытые код, Аноним (55), 11:28 , 14-Сен-18, (55) //

а можно вместо этого саму идею oom в ее линуксной реализации вынести , Enter price (?), 12:08 , 14-Сен-18, (58)

Сообщения [Сортировка по времени | RSS]

2. "Facebook открыл код распределённой системы хранения LogDevic..." –6 +/–

Сообщение от Аноним (2), 13-Сен-18, 12:03

Почему на C++ написано а не на Python/Django?

Ответить | Правка | Наверх | Cообщить модератору

3. "Facebook открыл код распределённой системы хранения LogDevic..." +21 +/–

Сообщение от Аноним (3), 13-Сен-18, 12:07

еще на электроне или пыхе предложи.

Ответить | Правка | Наверх | Cообщить модератору

4. "Facebook открыл код распределённой системы хранения LogDevic..." +7 +/–

Сообщение от facebook (?), 13-Сен-18, 12:08

потому что мы попытались, как обычно, на php, но получалось как-то не очень.
а на пихоне это вам в гугл.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

11. "Facebook открыл код распределённой системы хранения LogDevic..." +2 +/–

Сообщение от Аноним (11), 13-Сен-18, 12:36

что-то гугл уже не очень то на питоне пишет.... Может лучше на php?

Ответить | Правка | Наверх | Cообщить модератору

32. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Аноним (32), 13-Сен-18, 16:31

Ваша информация устарела. Теперь в Google используют Golang.
Но не все и не везде, но почти ...

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

5. "Facebook открыл код распределённой системы хранения LogDevic..." –1 +/–

Сообщение от captcha 20168 (?), 13-Сен-18, 12:08

> с интенсивностью поступления данных в несколько гигабайт в секунду

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

6. "Facebook открыл код распределённой системы хранения LogDevic..." –3 +/–

Сообщение от Аноним (3), 13-Сен-18, 12:10

сейчас тебе расскажут, что в пихоне с инпутом/оутпутом все равно работает сишный код. И вообще, на пихоне работало бы на 146% быстрее, чем на плюсах

Ответить | Правка | Наверх | Cообщить модератору

8. "Facebook открыл код распределённой системы хранения LogDevic..." +4 +/–

Сообщение от Попугай Кеша (?), 13-Сен-18, 12:24

Какой хороший вброс! Он мне по душе!

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

61. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Аноним (61), 14-Сен-18, 22:37

Это выброс. Очевидно же.

Ответить | Правка | Наверх | Cообщить модератору

13. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от logo.sys (?), 13-Сен-18, 12:42

Лучше на asm

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

24. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Аноним (-), 13-Сен-18, 14:47

Не лучше, тут лучше на Си. Я в свое время делал турбореактивный обработчик поступающих данных на Си, поэтому знаю что и как нужно делать.

Ответить | Правка | Наверх | Cообщить модератору

34. "Facebook открыл код распределённой системы хранения LogDevic..." +1 +/–

Сообщение от Аноним (32), 13-Сен-18, 16:32

Ну и как у них решение по сравнению с вашим? Выше ерешние в откуытом доступе?

Ответить | Правка | Наверх | Cообщить модератору

39. "Facebook открыл код распределённой системы хранения LogDevic..." +2 +/–

Сообщение от A.Stahl (ok), 13-Сен-18, 18:08

>Я в свое время делал турбореактивный обработчик
На Турбо-Си.
Борланд крут!

Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

49. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Sw00p aka Jerom (?), 13-Сен-18, 22:45

в трубу этот си )

Ответить | Правка | Наверх | Cообщить модератору

14. "Facebook открыл код распределённой системы хранения LogDevic..." +2 +/–

Сообщение от Crazy Alex (ok), 13-Сен-18, 12:47

Потому что продакшн-решение для хайлоада?

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

16. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от нах (?), 13-Сен-18, 13:06

их разьве не на пихоне обычно делают? ;-)
(а, простите, на пихоне пишут файловые системы)

Ответить | Правка | Наверх | Cообщить модератору

19. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Crazy Alex (ok), 13-Сен-18, 13:45

Для себя, для домашнего применения (соответственно, небольшие нагрузки) - без проблем хоть питон, хоть бейсик, если ты о Zero и подобных. Единственный критерий - удобство того, кто пишет (и сам же потом будет пользоваться).
И было бы неплохо, чтобы с энтерпрайзами такие штуки (фактически - слегка переросшие скрипты домашней автоматизации, которыми решили поделиться с другими людьми) не путали - требования совсем другие.

Ответить | Правка | Наверх | Cообщить модератору

22. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от нах (?), 13-Сен-18, 14:40

а время для себя у тебя бесплатное, да?
мне вот как раз для себя хочется 10g свитч с fcoe - потому что себя жалко (и провода короткие и дорогие).
А менеджеры - "еще подождут".

Ответить | Правка | Наверх | Cообщить модератору

29. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Crazy Alex (ok), 13-Сен-18, 16:28

Ну вот потому и питоны всякие:
а) потому что пишешь на том, что и так знаешь, а не изучаешь "идеальный" язык
б) пишешь ровно так, как тебе надо - без излишней сложности там, где она не нужна. В том числе не пытаясь экономить там, где нет (у тебя!) узких мест

Ответить | Правка | Наверх | Cообщить модератору

25. "Facebook открыл код распределённой системы хранения LogDevic..." –2 +/–

Сообщение от Аноним (25), 13-Сен-18, 15:18

> для домашнего применения ... Единственный критерий - удобство того, кто пишет
И наручниками того, кто такое пишет и такими критериями руководствуется, дома к батарее приковать, чтобы с таким подходом к делу из дома не мог выйти.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

26. "Facebook открыл код распределённой системы хранения LogDevic..." +3 +/–

Сообщение от Аноним (26), 13-Сен-18, 15:33

>> для домашнего применения ... Единственный критерий - удобство того, кто пишет
> И наручниками того, кто такое пишет и такими критериями руководствуется, дома к
> батарее приковать, чтобы с таким подходом к делу из дома не мог выйти.
А тебе плеточку выдать, чтобы мог объяснить всю глубину заблуждения и замотивировать сделать правильно?
Кстати, надеюсь, бутерброт колбасой на язык кладешь?

Ответить | Правка | Наверх | Cообщить модератору

28. "Facebook открыл код распределённой системы хранения LogDevic..." –2 +/–

Сообщение от Аноним (-), 13-Сен-18, 16:13

> бутерброт
надеюсь что это были твои последние потуги что-то пытаться возразить более интеллектуальным лицам

Ответить | Правка | Наверх | Cообщить модератору

36. "Facebook открыл код распределённой системы хранения LogDevic..." +1 +/–

Сообщение от Аноним (26), 13-Сен-18, 17:18

> И наручниками того … к батарее приковать
> потуги что-то пытаться возразить более интеллектуальным лицам
ИтнеллеХт и аргументационная мощща прям таки и прет!

Ответить | Правка | Наверх | Cообщить модератору

30. "Facebook открыл код распределённой системы хранения LogDevic..." +1 +/–

Сообщение от нах (?), 13-Сен-18, 16:28

а зачем приковывать - он и так никуда не выйдет, "счас-счас-счас, оно досинхронизирует..."

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

35. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Crazy Alex (ok), 13-Сен-18, 16:34

Пример. Есть тысяча файлов, по 20 мегабайт каждый. Будет там разница в скорости синхронизации между питоном и сями да хоть и на сотне мегабит?

Ответить | Правка | Наверх | Cообщить модератору

37. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Аноним (26), 13-Сен-18, 17:22

> Пример. Есть тысяча файлов, по 20 мегабайт каждый. Будет там разница в
> скорости синхронизации между питоном и сями да хоть и на сотне мегабит?
Будет! Мы, анонимы точно знаем, как офигительно быстро FUSE (ведь оно на сях, че там тормозить может-то?).
Но вам не покажем, потому что на питоне делать не труЪ (это мы слышали сто раз от других 3,5 анонимов и прилежно повторили, а значит это правда!), а на сях мы не умеем^W хотим, ведь нам не нужно!

Ответить | Правка | Наверх | Cообщить модератору

44. "Facebook открыл код распределённой системы хранения LogDevic..." –1 +/–

Сообщение от пох (?), 13-Сен-18, 21:46

поищите на досуге ранние тесты производительности ntfs-3g. Они, по-моему, сохранились уже только в виде копипасты, но их много накопипастили, гугль найдет.
fuse там дала прогадиться так, что Линус и компания в панике перерыли код ext2/3 (устранив таки приличное количество узких мест) - конечно не потому, что их переплюнула, но потому, что на некоторых операциях умудрилась дать тот же порядок величины - чего быть было не должно никак и никогда (если бы ext3 не писалась методом латания дыр)
А автор так, с политкорректной миной "...вообще-то...ну...я еще дебаг у себя не отключил..."
(замеров с отключенным так никто и не рискнул проводить, но вот вам свеженькое, хотя и не линукс:
# tar cf - * | team 16m | tar -C /mnt/c/microsd -xvf -
...
8632910 kilobytes, 342 seconds
- уперлось во вполне себе in-kernel mirror на том конце где c - при том что это запись/создание мелких файликов, оно у ntfs медленное by design, а тут еще и context-switching, с модным kpti, поди ;-)
к сожалению, победа так и осталась единственной. fuse-exfat непередаваемо тормозное и недоделанное (не понимает кодировок, отличных от utf8) дерьмо, спасибо самсуню за работающий .ko. zfs-fuse (заметим, там только posix layer fs, нижний уровень был в ядре) не только тормозила, а еще и падала без конца. fuse-dav однотредовая. Просто некоторые и на си пишут какашку, да еще и не хотят ее отлаживать "это ж fuse, оно всегда тормозит".

Ответить | Правка | Наверх | Cообщить модератору

48. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Аноним (26), 13-Сен-18, 22:21

> поищите на досуге ранние тесты производительности ntfs-3g. Они, по-моему, сохранились уже только в виде копипасты, но их много накопипастили, гугль найдет.
https://web.archive.org/web/20080516235826/http://www.csamue.../
> fuse там дала прогадиться так, что Линус и компания в панике перерыли
> код ext2/3 (устранив таки приличное количество узких мест) - конечно не
Берем шаблонный хелловрот для фузе, тупо отдающий файл c tmpfs.
Можно даже нагуглить "со всеми оптимизациями".
Сравниваем с tmpfs, чешем репу.
То, что оно на харде вполне может быть сопоставимо с нативом, никто не спорит, но попытка прокачивать большие файлы будет обломна (пару лет назад пытался свелосипедить мульти-медиа ФС на базе фузе - прилетела птица обломинго).

> 8632910 kilobytes, 342 seconds
> - уперлось во вполне себе in-kernel mirror на том конце где c
> - при том что это запись/создание мелких файликов, оно у ntfs
> медленное by design, а тут еще и context-switching, с модным kpti, поди ;-)
; 8632910/342/1024
    ~24.65080752010233918129
25 MB/s - очешуительная скорость, ага.
Особенно когда распаковываешь с NTFS-изошки на SSD в натив (тоже SSD). Оно, кстати, при монтировании без max_read еще и после пары десятков тысяч файлов зависнуть норовит.

Ответить | Правка | Наверх | Cообщить модератору

56. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от нах (?), 14-Сен-18, 12:04

> https://web.archive.org/web/20080516235826/http://www.csamue...
не, это не то, это когда уже успели линуксное ядро пооптимизировать. Ищите ~2004й, где сравнивали ext3 vs ntfs, до оптимизаций. Я, увы, хз как искать, не потрудился сохранить.
> Сравниваем с tmpfs, чешем репу.
в смысле, на тему нахрена мы это ненужное ненужно сделали и что делать с этим результатом?
> То, что оно на харде вполне может быть сопоставимо с нативом, никто не спорит
да? То есть то что все эти танцы с бубном вокруг vfs да еще и двойной контекст-свитчинг на каждой операции остаются сопоставимы с native, а не оказываются раз в десять тормознее, это, типа, нормально, так и должно быть?
Нууу, ооок... Может тогда и на пихоне у ребят выйдет неплохо.
> 25 MB/s - очешуительная скорость, ага.
оно больше не шмагло - уперлось в ядре. Или в возможности самой флэшки, что тоже вероятно. Нет, destination-то не ssd а собственно флэшка. source умел от 18 до 40 (поскольку странен)
Хотя опять же - не самая быстрая по исходной задумке fs вообще, не самый хороший для нее usepattern в частности, и еще и fuse, причем в неродной для той системе через еще один местный костылик. Если бы все было как надо, оно бы уперлось в user cpu. Вот с davfs2 - у меня все как надо, ага. Причем в ядре без антипатчей производительности.
Если бы я не знал всего что выше - я бы считал что "нуу, fuse, dav, оно ж не может в принципе нормально работать".
оно и впрямь не должно, но вот exfat бы хотелось, ан, теми же руками и из того же сырья слеплено :-(

Ответить | Правка | Наверх | Cообщить модератору

59. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Аноним (26), 14-Сен-18, 13:54

>> Сравниваем с tmpfs, чешем репу.
> в смысле, на тему нахрена мы это ненужное ненужно сделали и что
> делать с этим результатом?
В смысле, на тему разницы и "порядков величин", когда оно не упирается в IO ноутбучного диска.
>> То, что оно на харде вполне может быть сопоставимо с нативом, никто не спорит
> да? То есть то что все эти танцы с бубном вокруг vfs
> да еще и двойной контекст-свитчинг на каждой операции остаются сопоставимы с
> native, а не оказываются раз в десять тормознее, это, типа, нормально,
Да? Оно уже не жрет на это дело в десять раз больше CPU, чтобы дать "дать тот же порядок величины"? Ну оок.
>> 25 MB/s - очешуительная скорость, ага.
> оно больше не шмагло - уперлось в ядре.
> ...
> ource умел от 18 до 40 (поскольку странен)
> ...
> fuse, причем в неродной для той системе через еще один местный
> костылик. Если бы все было как надо, оно бы уперлось в
> user cpu. Вот с davfs2 - у меня все как надо,
> ага. Причем в ядре без антипатчей производительности.
Издеваетесь?

Ответить | Правка | Наверх | Cообщить модератору

33. "Facebook открыл код распределённой системы хранения LogDevic..." +3 +/–

Сообщение от Crazy Alex (ok), 13-Сен-18, 16:32

А ты не охренел?
Я как-то всегда считал, что если человек что-то сделал для себя и поделился с другими - то ему либо "спасибо" говорят, если пригодилось, либо игнорируют, если не нужно. Ну можно ещё предложить что-то изменить, с пониманием того, что не факт, что автор это дело примет, и это его право. А тут кто-то решил, что автор ему обязан?

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

45. "Facebook открыл код распределённой системы хранения LogDevic..." –1 +/–

Сообщение от пох (?), 13-Сен-18, 21:47

не, ну еще поржать могут. Не всегда по-дружески.
В случае zero как раз этот вариант.
а мордокнигу придется игнорировать - не потому что плохо, а потому что неудачная для меньших чем мордокнига целей конструкция.

Ответить | Правка | Наверх | Cообщить модератору

50. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Crazy Alex (ok), 14-Сен-18, 00:17

В случае zero у кого-то подгорело, что обидели webdav. Ну и аллергия на питон обострилась, без попыток понять, годится ли он в конретном случае и какие задачи им пытаются решать.

Ответить | Правка | Наверх | Cообщить модератору

42. "Facebook открыл код распределённой системы хранения LogDevic..." +1 +/–

Сообщение от Аноним (42), 13-Сен-18, 21:00

Потому что в Facebook разработчики, тьфу-тьфу, не больны на всю девопсину.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

46. "Facebook открыл код распределённой системы хранения LogDevic..." +1 +/–

Сообщение от proninyaroslav (ok), 13-Сен-18, 21:52

Фишка в том что написанный на C++ код можно забиндить к любому другому языку. Чего не скажешь про питон (который сам активно использует C в своих библиотеках).

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

62. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Вареник (?), 15-Сен-18, 04:35

C/C++ по факту еще и самый интероперабельный язык, на уровне прямых библиотечных вызовов (не модных вебсервисов для любой мелочи).

Ответить | Правка | Наверх | Cообщить модератору

52. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Аноном (?), 14-Сен-18, 06:33

Perl наше все

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

64. "Facebook открыл код распределённой системы хранения LogDevic..." +/–

Сообщение от Аноним (-), 27-Сен-18, 18:32

>  Почему на C++ написано а не на Python/Django?
Потому что:
> с интенсивностью поступления данных в несколько гигабайт в секунду
А попробуй так на питоне данные пожевать, узнаешь много нового как там и что не тормозит :)

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

2. "Facebook открыл код распределённой системы хранения LogDevic..."	–6 +/–
Сообщение от Аноним (2), 13-Сен-18, 12:03
Почему на C++ написано а не на Python/Django?
Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Facebook открыл код распределённой системы хранения LogDevic..."	+21 +/–
	Сообщение от Аноним (3), 13-Сен-18, 12:07
	еще на электроне или пыхе предложи.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Facebook открыл код распределённой системы хранения LogDevic..."	+7 +/–
	Сообщение от facebook (?), 13-Сен-18, 12:08
	потому что мы попытались, как обычно, на php, но получалось как-то не очень. а на пихоне это вам в гугл.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	11. "Facebook открыл код распределённой системы хранения LogDevic..."	+2 +/–
	Сообщение от Аноним (11), 13-Сен-18, 12:36
	что-то гугл уже не очень то на питоне пишет.... Может лучше на php?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	32. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Аноним (32), 13-Сен-18, 16:31
	Ваша информация устарела. Теперь в Google используют Golang. Но не все и не везде, но почти ...
	Ответить \| Правка \| К родителю #4 \| Наверх \| Cообщить модератору


	5. "Facebook открыл код распределённой системы хранения LogDevic..."	–1 +/–
	Сообщение от captcha 20168 (?), 13-Сен-18, 12:08
	> с интенсивностью поступления данных в несколько гигабайт в секунду
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	6. "Facebook открыл код распределённой системы хранения LogDevic..."	–3 +/–
	Сообщение от Аноним (3), 13-Сен-18, 12:10
	сейчас тебе расскажут, что в пихоне с инпутом/оутпутом все равно работает сишный код. И вообще, на пихоне работало бы на 146% быстрее, чем на плюсах
	Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Facebook открыл код распределённой системы хранения LogDevic..."	+4 +/–
	Сообщение от Попугай Кеша (?), 13-Сен-18, 12:24
	Какой хороший вброс! Он мне по душе!
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	61. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Аноним (61), 14-Сен-18, 22:37
	Это выброс. Очевидно же.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от logo.sys (?), 13-Сен-18, 12:42
	Лучше на asm
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	24. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Аноним (-), 13-Сен-18, 14:47
	Не лучше, тут лучше на Си. Я в свое время делал турбореактивный обработчик поступающих данных на Си, поэтому знаю что и как нужно делать.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	34. "Facebook открыл код распределённой системы хранения LogDevic..."	+1 +/–
	Сообщение от Аноним (32), 13-Сен-18, 16:32
	Ну и как у них решение по сравнению с вашим? Выше ерешние в откуытом доступе?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	39. "Facebook открыл код распределённой системы хранения LogDevic..."	+2 +/–
	Сообщение от A.Stahl (ok), 13-Сен-18, 18:08
	>Я в свое время делал турбореактивный обработчик На Турбо-Си. Борланд крут!
	Ответить \| Правка \| К родителю #24 \| Наверх \| Cообщить модератору


	49. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Sw00p aka Jerom (?), 13-Сен-18, 22:45
	в трубу этот си )
	Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Facebook открыл код распределённой системы хранения LogDevic..."	+2 +/–
	Сообщение от Crazy Alex (ok), 13-Сен-18, 12:47
	Потому что продакшн-решение для хайлоада?
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	16. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от нах (?), 13-Сен-18, 13:06
	их разьве не на пихоне обычно делают? ;-) (а, простите, на пихоне пишут файловые системы)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	19. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Crazy Alex (ok), 13-Сен-18, 13:45
	Для себя, для домашнего применения (соответственно, небольшие нагрузки) - без проблем хоть питон, хоть бейсик, если ты о Zero и подобных. Единственный критерий - удобство того, кто пишет (и сам же потом будет пользоваться). И было бы неплохо, чтобы с энтерпрайзами такие штуки (фактически - слегка переросшие скрипты домашней автоматизации, которыми решили поделиться с другими людьми) не путали - требования совсем другие.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	22. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от нах (?), 13-Сен-18, 14:40
	а время для себя у тебя бесплатное, да? мне вот как раз для себя хочется 10g свитч с fcoe - потому что себя жалко (и провода короткие и дорогие). А менеджеры - "еще подождут".
	Ответить \| Правка \| Наверх \| Cообщить модератору


	29. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Crazy Alex (ok), 13-Сен-18, 16:28
	Ну вот потому и питоны всякие: а) потому что пишешь на том, что и так знаешь, а не изучаешь "идеальный" язык б) пишешь ровно так, как тебе надо - без излишней сложности там, где она не нужна. В том числе не пытаясь экономить там, где нет (у тебя!) узких мест
	Ответить \| Правка \| Наверх \| Cообщить модератору


	25. "Facebook открыл код распределённой системы хранения LogDevic..."	–2 +/–
	Сообщение от Аноним (25), 13-Сен-18, 15:18
	> для домашнего применения ... Единственный критерий - удобство того, кто пишет И наручниками того, кто такое пишет и такими критериями руководствуется, дома к батарее приковать, чтобы с таким подходом к делу из дома не мог выйти.
	Ответить \| Правка \| К родителю #19 \| Наверх \| Cообщить модератору


	26. "Facebook открыл код распределённой системы хранения LogDevic..."	+3 +/–
	Сообщение от Аноним (26), 13-Сен-18, 15:33
	>> для домашнего применения ... Единственный критерий - удобство того, кто пишет > И наручниками того, кто такое пишет и такими критериями руководствуется, дома к > батарее приковать, чтобы с таким подходом к делу из дома не мог выйти. А тебе плеточку выдать, чтобы мог объяснить всю глубину заблуждения и замотивировать сделать правильно? Кстати, надеюсь, бутерброт колбасой на язык кладешь?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	28. "Facebook открыл код распределённой системы хранения LogDevic..."	–2 +/–
	Сообщение от Аноним (-), 13-Сен-18, 16:13
	> бутерброт надеюсь что это были твои последние потуги что-то пытаться возразить более интеллектуальным лицам
	Ответить \| Правка \| Наверх \| Cообщить модератору


	36. "Facebook открыл код распределённой системы хранения LogDevic..."	+1 +/–
	Сообщение от Аноним (26), 13-Сен-18, 17:18
	> И наручниками того … к батарее приковать > потуги что-то пытаться возразить более интеллектуальным лицам ИтнеллеХт и аргументационная мощща прям таки и прет!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	30. "Facebook открыл код распределённой системы хранения LogDevic..."	+1 +/–
	Сообщение от нах (?), 13-Сен-18, 16:28
	а зачем приковывать - он и так никуда не выйдет, "счас-счас-счас, оно досинхронизирует..."
	Ответить \| Правка \| К родителю #25 \| Наверх \| Cообщить модератору


	35. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Crazy Alex (ok), 13-Сен-18, 16:34
	Пример. Есть тысяча файлов, по 20 мегабайт каждый. Будет там разница в скорости синхронизации между питоном и сями да хоть и на сотне мегабит?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	37. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Аноним (26), 13-Сен-18, 17:22
	> Пример. Есть тысяча файлов, по 20 мегабайт каждый. Будет там разница в > скорости синхронизации между питоном и сями да хоть и на сотне мегабит? Будет! Мы, анонимы точно знаем, как офигительно быстро FUSE (ведь оно на сях, че там тормозить может-то?). Но вам не покажем, потому что на питоне делать не труЪ (это мы слышали сто раз от других 3,5 анонимов и прилежно повторили, а значит это правда!), а на сях мы не умеем^W хотим, ведь нам не нужно!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	44. "Facebook открыл код распределённой системы хранения LogDevic..."	–1 +/–
	Сообщение от пох (?), 13-Сен-18, 21:46
	поищите на досуге ранние тесты производительности ntfs-3g. Они, по-моему, сохранились уже только в виде копипасты, но их много накопипастили, гугль найдет. fuse там дала прогадиться так, что Линус и компания в панике перерыли код ext2/3 (устранив таки приличное количество узких мест) - конечно не потому, что их переплюнула, но потому, что на некоторых операциях умудрилась дать тот же порядок величины - чего быть было не должно никак и никогда (если бы ext3 не писалась методом латания дыр) А автор так, с политкорректной миной "...вообще-то...ну...я еще дебаг у себя не отключил..." (замеров с отключенным так никто и не рискнул проводить, но вот вам свеженькое, хотя и не линукс: # tar cf - * \| team 16m \| tar -C /mnt/c/microsd -xvf - ... 8632910 kilobytes, 342 seconds - уперлось во вполне себе in-kernel mirror на том конце где c - при том что это запись/создание мелких файликов, оно у ntfs медленное by design, а тут еще и context-switching, с модным kpti, поди ;-) к сожалению, победа так и осталась единственной. fuse-exfat непередаваемо тормозное и недоделанное (не понимает кодировок, отличных от utf8) дерьмо, спасибо самсуню за работающий .ko. zfs-fuse (заметим, там только posix layer fs, нижний уровень был в ядре) не только тормозила, а еще и падала без конца. fuse-dav однотредовая. Просто некоторые и на си пишут какашку, да еще и не хотят ее отлаживать "это ж fuse, оно всегда тормозит".
	Ответить \| Правка \| Наверх \| Cообщить модератору


	48. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Аноним (26), 13-Сен-18, 22:21
	> поищите на досуге ранние тесты производительности ntfs-3g. Они, по-моему, сохранились уже только в виде копипасты, но их много накопипастили, гугль найдет. https://web.archive.org/web/20080516235826/http://www.csamue.../ > fuse там дала прогадиться так, что Линус и компания в панике перерыли > код ext2/3 (устранив таки приличное количество узких мест) - конечно не Берем шаблонный хелловрот для фузе, тупо отдающий файл c tmpfs. Можно даже нагуглить "со всеми оптимизациями". Сравниваем с tmpfs, чешем репу. То, что оно на харде вполне может быть сопоставимо с нативом, никто не спорит, но попытка прокачивать большие файлы будет обломна (пару лет назад пытался свелосипедить мульти-медиа ФС на базе фузе - прилетела птица обломинго). > 8632910 kilobytes, 342 seconds > - уперлось во вполне себе in-kernel mirror на том конце где c > - при том что это запись/создание мелких файликов, оно у ntfs > медленное by design, а тут еще и context-switching, с модным kpti, поди ;-) ; 8632910/342/1024 ~24.65080752010233918129 25 MB/s - очешуительная скорость, ага. Особенно когда распаковываешь с NTFS-изошки на SSD в натив (тоже SSD). Оно, кстати, при монтировании без max_read еще и после пары десятков тысяч файлов зависнуть норовит.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	56. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от нах (?), 14-Сен-18, 12:04
	> https://web.archive.org/web/20080516235826/http://www.csamue... не, это не то, это когда уже успели линуксное ядро пооптимизировать. Ищите ~2004й, где сравнивали ext3 vs ntfs, до оптимизаций. Я, увы, хз как искать, не потрудился сохранить. > Сравниваем с tmpfs, чешем репу. в смысле, на тему нахрена мы это ненужное ненужно сделали и что делать с этим результатом? > То, что оно на харде вполне может быть сопоставимо с нативом, никто не спорит да? То есть то что все эти танцы с бубном вокруг vfs да еще и двойной контекст-свитчинг на каждой операции остаются сопоставимы с native, а не оказываются раз в десять тормознее, это, типа, нормально, так и должно быть? Нууу, ооок... Может тогда и на пихоне у ребят выйдет неплохо. > 25 MB/s - очешуительная скорость, ага. оно больше не шмагло - уперлось в ядре. Или в возможности самой флэшки, что тоже вероятно. Нет, destination-то не ssd а собственно флэшка. source умел от 18 до 40 (поскольку странен) Хотя опять же - не самая быстрая по исходной задумке fs вообще, не самый хороший для нее usepattern в частности, и еще и fuse, причем в неродной для той системе через еще один местный костылик. Если бы все было как надо, оно бы уперлось в user cpu. Вот с davfs2 - у меня все как надо, ага. Причем в ядре без антипатчей производительности. Если бы я не знал всего что выше - я бы считал что "нуу, fuse, dav, оно ж не может в принципе нормально работать". оно и впрямь не должно, но вот exfat бы хотелось, ан, теми же руками и из того же сырья слеплено :-(
	Ответить \| Правка \| Наверх \| Cообщить модератору


	59. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Аноним (26), 14-Сен-18, 13:54
	>> Сравниваем с tmpfs, чешем репу. > в смысле, на тему нахрена мы это ненужное ненужно сделали и что > делать с этим результатом? В смысле, на тему разницы и "порядков величин", когда оно не упирается в IO ноутбучного диска. >> То, что оно на харде вполне может быть сопоставимо с нативом, никто не спорит > да? То есть то что все эти танцы с бубном вокруг vfs > да еще и двойной контекст-свитчинг на каждой операции остаются сопоставимы с > native, а не оказываются раз в десять тормознее, это, типа, нормально, Да? Оно уже не жрет на это дело в десять раз больше CPU, чтобы дать "дать тот же порядок величины"? Ну оок. >> 25 MB/s - очешуительная скорость, ага. > оно больше не шмагло - уперлось в ядре. > ... > ource умел от 18 до 40 (поскольку странен) > ... > fuse, причем в неродной для той системе через еще один местный > костылик. Если бы все было как надо, оно бы уперлось в > user cpu. Вот с davfs2 - у меня все как надо, > ага. Причем в ядре без антипатчей производительности. Издеваетесь?
	Ответить \| Правка \| Наверх \| Cообщить модератору