| |
| 2.9, Tron is Whistling (?), 11:31, 21/05/2023 [^] [^^] [^^^] [ответить]
| +4 +/– | |
Почему брехня. Это в день.
350000000000 / 86400 = ~4 миллиона запросов в секунду, если учесть что это колонковое хранилище, не так уж и много, просто здоровый кластер и шардинг по группе юзеров в итоге, когда у тебя все данные полностью шардятся, достижимо почти на чём угодно.
| | |
| 2.10, Tron is Whistling (?), 11:33, 21/05/2023 [^] [^^] [^^^] [ответить]
| +2 +/– |
По производительности параметры ж в материале указаны:
3 узла с конскими параметрами: 32 CPU Intel Xeon 2.30GHz, 214G ОЗУ и 450G хранилище на базе SSD
И всего 15000 запросов в секунду. Это миллиард в день. Чтобы это смасштабировать на 350 миллиардов - надо полторы тысячи узлов минимум, если у тебя всё удачно шардится. Не много, но и не мало.
| | |
| |
| 3.31, пох. (?), 13:45, 21/05/2023 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> надо полторы тысячи узлов минимум
и тут ВНЕЗАПНО выясняется что синхронизация протестированная на трех - немножко не очень работает на полутора тысячах.
В общем был я лучшего мнения о пэйпалке. Впрочем, подозреваю, это чудо в перьях существует гораздо меньше чем пэйпэл, тот с которым я когда-то имел дело - использовал что-то совсем другое.
| | |
| |
| 4.79, ыы (?), 09:48, 22/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
синхронизация ЧЕГО?
данные в базах никуда не синхронизируются кроме как на рядом стоящую ноду...для отказоустойчивости... алллоо..меня слышно?
синхронизируется там только etcd. Но это отдельная пестдня...
| | |
|
| 3.48, Аноним (48), 17:51, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Полторы тысячи нужно для гарантировано минимального отклика в 2.5мс читай новость внимательней
| | |
| |
| 4.50, пох. (?), 18:56, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– | |
Читаю - написано что эти 2.5ms (интересно, чем и в какой точке меряли-то?) - это та самая экспериментальная установка аж из целых ТРЕХ серверов.
Про характеристики той что полторы тысячи - ничего нет кроме запросов в секунду.
А теперь пингани свой ближайший локалхост и посмотри 95% время ответа на icmp (не tcp! не userland! на пустой сети!). И еще разок взгляни на схему с кучей проксей поверх проксей. И еще что-то там про геораспределенность, явно не все в один мегасвичт воткнуто.
"по-моему, где-то нас нае...ли"
| | |
| |
| 5.53, Аноним (48), 19:09, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Да, а потом кто-то эти значения натянул на 350млрд. Зачем? Не факт, что на проде палки такой же отклик, зачем им это.
| | |
| 5.81, ыы (?), 10:38, 22/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Пинганул локалхост:
0.020 ms
их 2,5ms - на два порядка больше.
"Ближайший локалост" ты наверное имеешь в виду в локальной сети? которая 100Мб ?
Один персонаж из фильма на такие эксприменты говорил так:
"Я тут это... экскримент хочу сделать" (с)
а у них а у них там хосты или виртуаки, или 10-20-40Gb сеть... так что пинг будет почти такой как у локалхоста.. ну можент чуть похуже...
| | |
|
| 4.57, Tron is Whistling (?), 19:19, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Хз, сколько там нужно для 350 млрд, в теории-то вообще 350, потому что 3 - это 1 млрд, но по факту я натянул с потолка полторы тысячи, потому что 100% и шардинг и собственно интерлоки хромать будут.
| | |
|
|
| |
| |
| 4.40, пох. (?), 15:28, 21/05/2023 [^] [^^] [^^^] [ответить]
| –6 +/– | |
Нужно ж понимать еще одну простую вещь - я в те годы когда не жил в Одичалии за Стеной пользовался палкой, да - но я ей пользовался раз в два-три месяца. Полагаю это вполне типичный use-pattern, и 90 или больше процентов этой базы на самом деле нахрен в памяти не сдались. Остальное - какие-нибудь ларьки по продаже чехлов к телефонам, которые долбят своими копеечными заказами с диким рейтом.
А если прикинуть как часто (нет) нужны какие-нибудь исторические транзакции - то как бы не 99.9% ненужно получается.
Возможно, конечно, у них все же транзакции хранятся где-то отдельно и в более подобающем формате, но это мягко говоря не доказано.
| | |
| |
| 5.56, Tron is Whistling (?), 19:17, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Да а зачем транзакцию отдельно то хранить? Есть ID транзакции, в ней есть ID юзера как value, в ней есть прочие ID связок как value, поиск делается по любому индексированному ID, далее выхватывается всё, что надо.
| | |
| |
| 6.60, пох. (?), 20:10, 21/05/2023 [^] [^^] [^^^] [ответить]
| –1 +/– |
так искать-то я буду не id транзакции. Я буду искать либо по кому (не id а value!) ушло, либо когда. чтобы мне показать список - нужно искать по мне и сортировать по дате (value).
С биллингом то же самое - даты, имена, что угодно но не id.
Про интегральную целостность тоже непонятно в таком раскладе - тебе надо мильен ключей и значений на каждую операцию сохранять, где там гарантии и есть ли они вообще, неясно, а денежки - материя тонкая, требуют аккуратного счета.
Скорее всего там сохраняется блоб, и парсится уже в приложении а не базой. Медленно, неудобно, неэффективно, зато масштабируется по числу серверов приложения.
| | |
| |
| 7.64, Tron is Whistling (?), 22:14, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
По value находим id кого. По id кого находим собственно id транзакций с этим id кого. По id транзакций выбираем даты. Сортируем. Выгребаем по нужным id всё остальное. KV - оно такое.
| | |
| |
| 8.67, пох. (?), 23:33, 21/05/2023 [^] [^^] [^^^] [ответить] | +/– | Ну да, потом удивляемся откуда взялись 300 миллионов запросов Вот оттуда KV та... текст свёрнут, показать | | |
|
|
|
| 5.63, Аноним (63), 21:58, 21/05/2023 [^] [^^] [^^^] [ответить]
| +4 +/– |
> я ей пользовался раз в два-три месяца
> Полагаю это вполне типичный use-pattern
У вас поховый солипсизм. И пэйпал, конечно же, нагло врёт про 350 миллиардов, специально чтобы опеннетовских экспертов позлить. Ох, уж этот пейпал, такие-то гадюки!
| | |
|
|
| 3.69, Аноним (1), 04:12, 22/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Причём тут RAM? Там нет такого количества запросо. Разве что что сам сервис ещё делает 10к запросов к внутренним сервисам при любом запросе извне.
| | |
| 3.99, Аноним (99), 15:20, 23/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Только - вот новость-то - абсолютно все сколь-либо тиражные СУБД размещают оперативные данные ИСКЛЮЧИТЕЛЬНО в РАМе. И работают ТОЛЬКО с РАМой.
| | |
|
|
| |
| 2.6, Аноним (6), 11:22, 21/05/2023 [^] [^^] [^^^] [ответить]
| –1 +/– |
Go для прикладных задач всегда топ. Он быстрый, безопасно работает с памятью, простой.
| | |
| |
| 3.8, Tron is Whistling (?), 11:29, 21/05/2023 [^] [^^] [^^^] [ответить]
| –1 +/– |
Там RocksDB на подложке, на игого только обвязка.
Очень вырожденный случай, для узкоспецифичных применений.
| | |
| |
| 4.11, Аноним (6), 11:33, 21/05/2023 [^] [^^] [^^^] [ответить]
| –3 +/– |
И? Все правильно сделали писать всё на спп это в 10 раз дольше и в 100 раз дороже. Go топчик, а ты хейтер.
| | |
| |
| 5.13, Tron is Whistling (?), 11:35, 21/05/2023 [^] [^^] [^^^] [ответить]
| –2 +/– |
Для данного вырожденного случая (запросы наверняка банальные get value by key и store value by key, без сложных выборок) - ну, норм.
| | |
| |
| 6.32, пох. (?), 13:48, 21/05/2023 [^] [^^] [^^^] [ответить]
| –1 +/– | |
Я как-то сомневаюсь что случай вырожден, а не навязан убогостью решения.
Так как в общем-то любую таблицу можно развернуть в пачку key-value, но все эти миллиарды запросов - они ровно потому, что там где в нормальной базе был бы один - тут их приходится сделать последовательно десять.
А потом еще парсить сложный формат этого самого value, выковыривая из него требуемые куски.
| | |
| |
| 7.34, Tron is Whistling (?), 13:56, 21/05/2023 [^] [^^] [^^^] [ответить]
| +1 +/– |
Ну, там мелкие финансовые транзакции. Здесь снять, туда записать. Сложные выборки разве что для статистики.
| | |
| |
| 8.43, пох. (?), 16:30, 21/05/2023 [^] [^^] [^^^] [ответить] | +/– | Ну да Вот у тебя транзакция - от кого, кому, когда, сколько - это минимум Еще ... текст свёрнут, показать | | |
|
|
|
| |
| |
| 7.19, Аноним (6), 12:27, 21/05/2023 [^] [^^] [^^^] [ответить]
| +2 +/– |
Ты бы уже начал думать в разрезе эффективности, а не цены. 1 го программист пишет столько же сколько пишут 10 сиплюплюсников за те же деньги.
| | |
| |
| 8.22, Аноним (25), 12:33, 21/05/2023 [^] [^^] [^^^] [ответить] | –2 +/– | Гопники вынуждены писать длинные макаронные портянки, накапливая техдолг и баги ... текст свёрнут, показать | | |
| |
| 9.24, Аноним (6), 12:43, 21/05/2023 [^] [^^] [^^^] [ответить] | +2 +/– | Да эти знаменитые С макаронные портянки это что-то с чем-то На го все коротко... текст свёрнут, показать | | |
|
|
| 7.29, Аноним (29), 13:36, 21/05/2023 [^] [^^] [^^^] [ответить]
| +4 +/– | |
> Вы б глянули, почем нынче игогошники
Весь бангалор к вашим услугам, недорого. Плюсовики дороже, у бангалорцев плюсы туго идут.
| | |
|
|
|
|
|
|
| 1.4, pashev.ru (?), 11:15, 21/05/2023 [ответить] [﹢﹢﹢] [ · · · ]
| +5 +/– |
Система изначально спроектирована с косым взглядом на высокую безопасность, горизонтальную масштабируемость, отказоустойчивость.
| | |
| 1.5, Аноним (6), 11:21, 21/05/2023 [ответить] [﹢﹢﹢] [ · · · ]
| –1 +/– |
Как будто кто-то хорошо прошел собес по проектированию архитектуры систем.
| | |
| |
| 2.14, Аноним (6), 11:36, 21/05/2023 [^] [^^] [^^^] [ответить]
| +3 +/– |
А что им надо было всё писать на древнежабе потому что все клиенты использую древнежабу?
| | |
| |
| 3.15, Tron is Whistling (?), 11:37, 21/05/2023 [^] [^^] [^^^] [ответить]
| –1 +/– |
Ну ежа с ужом - всегда так себе затея. И да, на подложке RocksDB, т.е. на гошечке там тупо микронная обвязка, можно было и нет.
| | |
| 3.23, Аноним (25), 12:41, 21/05/2023 [^] [^^] [^^^] [ответить]
| +2 +/– |
Скажи спасибо, что не на COBOL. Все равно выглядит как "нате вам боже что нам негоже".
| | |
| |
| 4.49, Аноним (49), 18:01, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
вот мне тоже кажется, что свой велосипед выложили в связи с переходом на какую то мейнстримную базу, чтоб бабло не тратить на поддержку
| | |
| |
| 5.51, пох. (?), 19:00, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Э... ну и назови мейнстримную базу подходящую под описанные параметры?
Ну те что про их прод а не экспериментальную схему - известно число запросов в секунду, нужна избыточность и геораспредленность. Предположим даже что нормальный sql сократил бы количество запросов раз в десять. Что крайне маловероятно (не то что сократил бы, а что они могут заменить эту свою поделку на sql не взорвав весь пэйпэл нюком и не построив заново с нуля) - т.е. речь может идти только о no-sql базах. Выбор сводится к поделкам апача... так себе мейнстрим и поддержка.
| | |
| |
| 6.65, Аноним (49), 22:47, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Ну, для начала, они читерят с баллансировщиком нагрузки, с такими исходными можно обрабатывать теоретически любую нагрузку на распределенные (втч территориально) сервера даже классических sql БД типа Оракла, Постгреса или ДБ2. Да, придется решать вопрос с репликацией, но это возможно.
Но в том то весть прикол, что они используют архитектуру ключ-значение, т.е это как раз NO-sql,
скорее всего они решили запользовать какую ни будь редиску, кассандру, могну или вообще кликхауз :)
Выбросив го-жаба-свой велосипед на мороз, они выкинут вместе с ним отдел программистов и оставят только девляпсов. Кроме того база на Ц может оказаться сильно менее требовательна к оперативе и вычислительным ресурсам, можно будет еще и на серваках поэкономить.
| | |
| |
| 7.93, Аноним (63), 18:46, 22/05/2023 [^] [^^] [^^^] [ответить]
| +/– | |
> Да, придется решать вопрос с репликацией, но это возможно.
Всего-то какой-то репликацией. Подумаешь, мелочь. Да любой опеннетчик её только так, походцем, одной левой, не отрываясь от комментирования на любимом ресурсе.
| | |
| 7.94, Аноним (94), 20:21, 22/05/2023 [^] [^^] [^^^] [ответить]
| +/– | |
>cервера даже классических sql БД типа Оракла, Постгреса или ДБ2.Да, придется решать вопрос с репликацией, но это возможно.
Хрен оно у тебя будет работать. ОТ той твоей связки они наверняка уже когда-то убежали свой
| | |
|
|
|
|
|
| 2.28, Аноним (28), 13:06, 21/05/2023 [^] [^^] [^^^] [ответить]
| +1 +/– |
мда... специалисты, которых мы заслужили (это про тебя, а не про тех, кто проект и библиотеку писАл)
| | |
|
| 1.12, Аноним (12), 11:34, 21/05/2023 [ответить] [﹢﹢﹢] [ · · · ]
| +4 +/– |
> с предсказуемыми задержками.
> Код проекта написан на языке Go
сразу на gc заложились
| | |
| 1.27, Аноним (25), 12:46, 21/05/2023 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
Очевидно, что они обновили платформу, а старье выкинули разлагатся в опенсорс. В лучше случае получится еще один зомби Apache Juno.
| | |
| |
| |
| 3.52, пох. (?), 19:01, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Что-то столь же ужасное - потому что вряд ли они могут себе позволить переделать структуры данных и весь фронт/мидлварь.
| | |
| |
| 4.58, Tron is Whistling (?), 19:20, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
А, на фронте там вообще REST скорее всего какой-нибудь, или SOAP, или whatever the fsck goes.
Только мидлварь переделывать, если такое же KV - возможно несущественно.
| | |
| |
| 5.61, пох. (?), 20:12, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– | |
Ну я и говорю - только если что-то такое же. А зачем им такое же если у них уже есть одно?
Что кто-то за них возьмется поддерживать - не верю, опять же с учетом кто и какие делает штуки подобного рода.
| | |
|
|
|
| 2.73, Анониссимус (?), 08:12, 22/05/2023 [^] [^^] [^^^] [ответить]
| +1 +/– |
 А опеннет-экспертам не так просто угодить!
Если корпорация выложит старый проект -- "старье выкинули разлагатся в опенсорс".
Если корпорация выложит действующий проект -- "решили воспользоваться бесплатной рабсилой".
Ну а если частное лицо выложит что угодно, то это просто "нинужна!"
| | |
| |
| 3.89, пох. (?), 16:01, 22/05/2023 [^] [^^] [^^^] [ответить]
| +/– | |
Ну какие проекты, такие и отзывы. Ты ведь конечно можешь назвать хоть один действительно хороший проект выложенный в опенсорс за последние лет пять?
Хотя бы не вызывающий первых реакций вида "что это за х-ня?!", "кому оно на.. надо?!" и "а еще уродливее просто невозможно или не смогли?"
Я - боюсь что нет.
За десять - буквально по пальцам одной руки пересчитать и то с трудом.
| | |
| |
| 4.91, Анониссимус (?), 16:40, 22/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
> Ну какие проекты, такие и отзывы. Ты ведь конечно можешь назвать хоть
> один действительно хороший проект выложенный в опенсорс за последние лет пять?
> Хотя бы не вызывающий первых реакций вида "что это за х-ня?!", "кому
> оно на.. надо?!" и "а еще уродливее просто невозможно или не
> смогли?"
> Я - боюсь что нет.
> За десять - буквально по пальцам одной руки пересчитать и то с
> трудом.
Действительно, так навскидку вспомнить что-то реально хорошее трудно. Но всё таки, когда выкладывают какой-нибудь проект, обычно сразу находятся энтузиасты, которые начинают коммитить, форкать и т. п. Значит оно всё же кому-то нужно. И вообще, открытое ПО -- это всегда лучше, чем закрытое.
| | |
|
|
|
| 1.30, Аноним (30), 13:42, 21/05/2023 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Сколько еще таких чемоданов без ручки в недрах корпораций?
Интересно, есть вообще такие корпы, которые с самого начала имеют четкую позицию не разрабатывать за свой счет всякую прикольную фигню, вместо этого нанимать тех, кто умеет готовить опенсорсные решения?
| | |
| |
| 2.33, пох. (?), 13:51, 21/05/2023 [^] [^^] [^^^] [ответить]
| +7 +/– | |
Нету таких. Потому что тех кто умеет готовить решения на такие нагрузки - вообще в природе нет. Они растут вместе с компанией, или переходят из похожей где выросли - и других вариантов практически не бывает. А дальше делают методом проб и ошибок, иногда очень дорогостоящих, иногда очень такое вот странное но как-то подкостылено и подперто и в их специальном случае - работает.
А опенcocники как всегда - cocyт-с. Их удел - локалхосты.
| | |
| |
| 3.68, Аноним (1), 02:17, 22/05/2023 [^] [^^] [^^^] [ответить]
| –1 +/– |
я тебя умоляю. ничего там не растёт вместе с компанией, разве что костыли. и пилят своё исключительно из-за незнания что происходит вокруг
| | |
| |
| 4.74, пох. (?), 08:56, 22/05/2023 [^] [^^] [^^^] [ответить]
| +2 +/– | |
ты-то уже десять пэйпалов перерос? Ты-то знаешь что происходит вокруг и в любую секунду готов им настроить опенсорсное нен.. хранилище хотя бы даже KV на подобные нагрузки - и можешь это подтвердить прошлыми успехами?
Только почему же тогда ты работаешь в россиянском подвале с десятком ржавых локалхостов?
| | |
|
|
| 2.35, Tron is Whistling (?), 14:05, 21/05/2023 [^] [^^] [^^^] [ответить]
| +1 +/– |
Вагон и тележка.
Потому что нужно tailored решение, а не коммунальный шлак - не важно опенсорс или коммерсовый, который фиг под конкретную задачу допилишь.
| | |
| |
| 3.45, Аноним (30), 16:57, 21/05/2023 [^] [^^] [^^^] [ответить]
| –3 +/– |
Чем их задачи отличались от каких-либо других? Ничем. Если компания не тянет подстроить существующие решения, свое решение превратится в неподдерживаемый хлам с вероятностью близкой к единице.
| | |
|
| 2.44, Бывалый смузихлёб (?), 16:35, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– | |
вопрос правообладания и обязательств
Вдобавок, многие проекты весьма долго тянутся
И начинается всё с того, что взяли наиболее простое, доступное и логичное на тот момент решение, потом под небольшое изменение потребностей под себя доработали, потом ещё
Потом - уже и переезд на более жирный но опенсорс уже не выглядит простым ибо много чего нет или работает не так
И вот, чёрти какое решение, изначально на такое вообще не рассчитанное и подпираемое неведомой горой костылей, скопившихся за годы, тянут до последнего. Нередко заменяя с огромным блоком другого связанного барахла, долго к этому готовясь.
А потом - выкидывают это барахло. Только если раньше оно уходило куда-то в архивы или продавалось за гроши, то теперь стало модно выкидывать в опенсорс.
Интересно только, спишут ли они расходы на эту систему как расходы на поддержку опенсорса, каковым то барахло в итоге и стало
| | |
|
| 1.39, Аноним (39), 14:32, 21/05/2023 [ответить] [﹢﹢﹢] [ · · · ]
| +3 +/– |
1. Выкладываем в OpenSource.
2. Привлекаем заинтересованных разработчиков к проекту.
3. Сокращаем штатных разработчиков.
4. Отчитываемся о сокращении расходов перед инвесторами.
5. Profit.
| | |
| |
| 2.46, YetAnotherOnanym (ok), 17:30, 21/05/2023 [^] [^^] [^^^] [ответить]
| +4 +/– |
 1. Выкладываем в OpenSource.
2. Получаем набег орды халявщиков с претензиями.
3. Убеждаемся, что пилить вместе с нами никто не намерен.
4. Делим на две ветки - для себя любимых и для всяких.
5. Получаем тонны фекалий и несколько изначально дохлых форков.
6. Окончательно забиваем на открытую ветку.
| | |
| |
| 3.59, Аноним (59), 19:39, 21/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
7. Решаем что такие эксперименты не стоят затраченного времени, и больше ничего не выкладываем в опопенсорс
| | |
|
| 2.70, КО (?), 06:16, 22/05/2023 [^] [^^] [^^^] [ответить]
| –1 +/– |
1. <Company_name> выкладывает в OpenSource
2. Набегают хомячки
3. Собираем налоги, тыкая в README
4. Profit
| | |
|
| |
| 2.86, 1 (??), 14:23, 22/05/2023 [^] [^^] [^^^] [ответить]
| +/– | |
Berkeley DB
SQLite Же !!! Форк, чтоб без хранимых процедур.
| | |
|
| |
| 2.80, ыы (?), 10:23, 22/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
Сложности перевода. Посмотрите картинку. там написано как правильно называется упомянутый параметр.
| | |
|
| 1.92, Аноним (92), 16:50, 22/05/2023 [ответить] [﹢﹢﹢] [ · · · ]
| –2 +/– |
Так любимая линуксоидами фрагментация, когда идеи опенсорса распыляются, а выживают только проекты под покровительством спонсоров, которые девочку и танцуют.
| | |
| |
| 2.95, Вы забыли заполнить поле Name (?), 21:45, 22/05/2023 [^] [^^] [^^^] [ответить]
| +/– |
> Так любимая линуксоидами фрагментация, когда идеи опенсорса распыляются, а выживают только
> проекты под покровительством спонсоров, которые девочку и танцуют.
Смотри, анончик, как бы твою девочку кто не танцевал, пока ты тут жиденько накидываешь.
| | |
|
|
