forum.opennet.ru - "PayPal открыл код СУБД JunoDB" (91)

"PayPal открыл код СУБД JunoDB"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"PayPal открыл код СУБД JunoDB"	+/–
Сообщение от opennews (??), 21-Май-23, 11:01
Компания PayPal открыла исходные тексты отказоустойчивой СУБД JunoDB, манипулирующей данными в формате ключ-значение. Система изначально спроектирована с оглядкой на высокую безопасность, горизонтальную масштабируемость, отказоустойчивость и способность обрабатывать сотни тысяч одновременных соединений с предсказуемыми задержками. В PayPal практически все сервисы, от входа пользователей до обработки финансовых транзакций, завязаны на JunoDB. Код проекта написан на языке Go (клиентская библиотека на Java) и распространяется под лицензией Apache 2.0. При дальнейшей разработке будут приниматься исправления, улучшения и изменения от сообщества... Подробнее: https://www.opennet.me/opennews/art.shtml?num=59169
Ответить \| Правка \| Cообщить модератору

Оглавление

350 миллиардов какая-то брехня , Аноним (1), 11:01 , 21-Май-23, (1) –7

Почему брехня Это в день 350000000000 86400 4 миллиона запросов в секунду,, Tron is Whistling (?), 11:31 , 21-Май-23, (9) +4
По производительности параметры ж в материале указаны 3 узла с конскими параметр, Tron is Whistling (?), 11:33 , 21-Май-23, (10) +2

и тут ВНЕЗАПНО выясняется что синхронизация протестированная на трех - немножко , пох. (?), 13:45 , 21-Май-23, (31) –1

синхронизация ЧЕГО данные в базах никуда не синхронизируются кроме как на рядом , ыы (?), 09:48 , 22-Май-23, (79)

Полторы тысячи нужно для гарантировано минимального отклика в 2 5мс читай новост, Аноним (48), 17:51 , 21-Май-23, (48)

Читаю - написано что эти 2 5ms интересно, чем и в какой точке меряли-то - эт, пох. (?), 18:56 , 21-Май-23, (50)

Да, а потом кто-то эти значения натянул на 350млрд Зачем Не факт, что на проде, Аноним (48), 19:09 , 21-Май-23, (53)
Пинганул локалхост 0 020 msих 2,5ms - на два порядка больше Ближайший локалост, ыы (?), 10:38 , 22-Май-23, (81)

Хз, сколько там нужно для 350 млрд, в теории-то вообще 350, потому что 3 - это 1, Tron is Whistling (?), 19:19 , 21-Май-23, (57)

Размещение данных в RAM - вот и весь секрет , Аноним (25), 12:44 , 21-Май-23, (25) +2

Ну да, рам в половину хренилища Хотя рокздыбыбл половину сожрёт на внутренние о, Tron is Whistling (?), 14:11 , 21-Май-23, (38)

Нужно ж понимать еще одну простую вещь - я в те годы когда не жил в Одичалии за , пох. (?), 15:28 , 21-Май-23, (40) –6

Да а зачем транзакцию отдельно то хранить Есть ID транзакции, в ней есть ID юзе, Tron is Whistling (?), 19:17 , 21-Май-23, (56)

так искать-то я буду не id транзакции Я буду искать либо по кому не id а value, пох. (?), 20:10 , 21-Май-23, (60) –1

По value находим id кого По id кого находим собственно id транзакций с этим id , Tron is Whistling (?), 22:14 , 21-Май-23, (64)

Ну да, потом удивляемся откуда взялись 300 миллионов запросов Вот оттуда KV та, пох. (?), 23:33 , 21-Май-23, (67)

У вас поховый солипсизм И пэйпал, конечно же, нагло врёт про 350 миллиардов, сп, Аноним (63), 21:58 , 21-Май-23, (63) +4

Причём тут RAM Там нет такого количества запросо Разве что что сам сервис ещё , Аноним (1), 04:12 , 22-Май-23, (69)

Маск цену себе набивает Продаваться хочет , ыы (?), 09:28 , 22-Май-23, (77)

в 214G ОЗУ , ыы (?), 07:42 , 22-Май-23, (72)
Только - вот новость-то - абсолютно все сколь-либо тиражные СУБД размещают опера, Аноним (99), 15:20 , 23-Май-23, (99)

Опять не sql и не на Си, что же скажут местные иксперты , Аноним (48), 11:01 , 21-Май-23, (2) –6

Go для прикладных задач всегда топ Он быстрый, безопасно работает с памятью, пр, Аноним (6), 11:22 , 21-Май-23, (6) –1

Там RocksDB на подложке, на игого только обвязка Очень вырожденный случай, для у, Tron is Whistling (?), 11:29 , 21-Май-23, (8) –1

И Все правильно сделали писать всё на спп это в 10 раз дольше и в 100 раз дорож, Аноним (6), 11:33 , 21-Май-23, (11) –3

Для данного вырожденного случая запросы наверняка банальные get value by key и , Tron is Whistling (?), 11:35 , 21-Май-23, (13) –2

Я как-то сомневаюсь что случай вырожден, а не навязан убогостью решения Так как , пох. (?), 13:48 , 21-Май-23, (32) –1

Ну, там мелкие финансовые транзакции Здесь снять, туда записать Сложные выборк, Tron is Whistling (?), 13:56 , 21-Май-23, (34) +1

Ну да Вот у тебя транзакция - от кого, кому, когда, сколько - это минимум Еще , пох. (?), 16:30 , 21-Май-23, (43)

Ну дык да, всё лепится на общий ID, дальше поиски по нужному value от этого ID, , Tron is Whistling (?), 19:14 , 21-Май-23, (55)

Учитывая что на подложке rocksdb - можно было и на цыпыпы, просто видимо игогошн, Tron is Whistling (?), 11:37 , 21-Май-23, (16)

Вы б глянули, почем нынче игогошники, OpenEcho (?), 12:19 , 21-Май-23, (18) +1

Ты бы уже начал думать в разрезе эффективности, а не цены 1 го программист пише, Аноним (6), 12:27 , 21-Май-23, (19) +2

Гопники вынуждены писать длинные макаронные портянки, накапливая техдолг и баги , Аноним (25), 12:33 , 21-Май-23, (22) –2

Да эти знаменитые С макаронные портянки это что-то с чем-то На го все коротко, Аноним (6), 12:43 , 21-Май-23, (24) +2

Один гошник работает за десятерых вдесятеро более дешёвых сишников Но у разрабо, Бывалый смузихлёб (?), 16:09 , 21-Май-23, (41)
Давно уже, и не только думаю Народ вы читаете перед тем как пишите или полнос, OpenEcho (?), 15:01 , 22-Май-23, (87)

Весь бангалор к вашим услугам, недорого Плюсовики дороже, у бангалорцев плюсы т, Аноним (29), 13:36 , 21-Май-23, (29) +4

Недорого Или информация 30 летней давности , OpenEcho (?), 15:48 , 22-Май-23, (88)

Система изначально спроектирована с косым взглядом на высокую безопасность, гори, pashev.ru (?), 11:15 , 21-Май-23, (4) +5
Как будто кто-то хорошо прошел собес по проектированию архитектуры систем , Аноним (6), 11:21 , 21-Май-23, (5) –1
Дальше в общем можно и не читать , Tron is Whistling (?), 11:27 , 21-Май-23, (7) –6

А что им надо было всё писать на древнежабе потому что все клиенты использую дре, Аноним (6), 11:36 , 21-Май-23, (14) +3

Ну ежа с ужом - всегда так себе затея И да, на подложке RocksDB, т е на гошечк, Tron is Whistling (?), 11:37 , 21-Май-23, (15) –1
Надо было писать на Malbolge, ИмяХ (?), 12:33 , 21-Май-23, (21)
Скажи спасибо, что не на COBOL Все равно выглядит как нате вам боже что нам не, Аноним (25), 12:41 , 21-Май-23, (23) +2

На самом деле это 171 Чем богаты тем и рады 187 , Аноним (6), 12:44 , 21-Май-23, (26)
вот мне тоже кажется, что свой велосипед выложили в связи с переходом на какую т, Аноним (49), 18:01 , 21-Май-23, (49)

Э ну и назови мейнстримную базу подходящую под описанные параметры Ну те что , пох. (?), 19:00 , 21-Май-23, (51)

Ну, для начала, они читерят с баллансировщиком нагрузки, с такими исходными м, Аноним (49), 22:47 , 21-Май-23, (65)

Всего-то какой-то репликацией Подумаешь, мелочь Да любой опеннетчик её только , Аноним (63), 18:46 , 22-Май-23, (93)
Хрен оно у тебя будет работать ОТ той твоей связки они наверняка уже когда-то у, Аноним (94), 20:21 , 22-Май-23, (94)

мда специалисты, которых мы заслужили это про тебя, а не про тех, кто проект, Аноним (28), 13:06 , 21-Май-23, (28) +1

сразу на gc заложились, Аноним (12), 11:34 , 21-Май-23, (12) +4
Похоже на ceph, только с намного большим количеством посредников , Всем Анонимам Аноним (?), 11:38 , 21-Май-23, (17)

Это похоже на Apache Ignite только сделанный не там , Аноним (6), 12:30 , 21-Май-23, (20) +2

Очевидно, что они обновили платформу, а старье выкинули разлагатся в опенсорс В, Аноним (25), 12:46 , 21-Май-23, (27) +1

Да, похоже на phaseout, вот и выкинули , Tron is Whistling (?), 14:06 , 21-Май-23, (36)
Более интересно даже - что на замену , Tron is Whistling (?), 14:07 , 21-Май-23, (37) +1

Что-то столь же ужасное - потому что вряд ли они могут себе позволить переделать, пох. (?), 19:01 , 21-Май-23, (52)

А, на фронте там вообще REST скорее всего какой-нибудь, или SOAP, или whatever t, Tron is Whistling (?), 19:20 , 21-Май-23, (58)

Ну я и говорю - только если что-то такое же А зачем им такое же если у них уже , пох. (?), 20:12 , 21-Май-23, (61)

А опеннет-экспертам не так просто угодить Если корпорация выложит старый проект , Анониссимус (?), 08:12 , 22-Май-23, (73) +1

Ну какие проекты, такие и отзывы Ты ведь конечно можешь назвать хоть один дейст, пох. (?), 16:01 , 22-Май-23, (89)

Действительно, так навскидку вспомнить что-то реально хорошее трудно Но всё так, Анониссимус (?), 16:40 , 22-Май-23, (91)

Сколько еще таких чемоданов без ручки в недрах корпораций Интересно, есть вообще, Аноним (30), 13:42 , 21-Май-23, (30)

Нету таких Потому что тех кто умеет готовить решения на такие нагрузки - вообще, пох. (?), 13:51 , 21-Май-23, (33) +7

я тебя умоляю ничего там не растёт вместе с компанией, разве что костыли и пил, Аноним (1), 02:17 , 22-Май-23, (68) –1

ты-то уже десять пэйпалов перерос Ты-то знаешь что происходит вокруг и в любую , пох. (?), 08:56 , 22-Май-23, (74) +2

Вагон и тележка Потому что нужно tailored решение, а не коммунальный шлак - не в, Tron is Whistling (?), 14:05 , 21-Май-23, (35) +1

Чем их задачи отличались от каких-либо других Ничем Если компания не тянет под, Аноним (30), 16:57 , 21-Май-23, (45) –3

Ну так они и подстроили - взяли RocksDB, налепили tailored обвязки , Tron is Whistling (?), 19:14 , 21-Май-23, (54) +1

костыли, Аноним (30), 23:24 , 21-Май-23, (66) –1

вопрос правообладания и обязательствВдобавок, многие проекты весьма долго тянутс, Бывалый смузихлёб (?), 16:35 , 21-Май-23, (44)

1 Выкладываем в OpenSource 2 Привлекаем заинтересованных разработчиков к проек, Аноним (39), 14:32 , 21-Май-23, (39) +3

1 Выкладываем в OpenSource 2 Получаем набег орды халявщиков с претензиями 3 У, YetAnotherOnanym (ok), 17:30 , 21-Май-23, (46) +4

7 Решаем что такие эксперименты не стоят затраченного времени, и больше ничего , Аноним (59), 19:39 , 21-Май-23, (59)

1 Company_name выкладывает в OpenSource2 Набегают хомячки3 Собираем налоги,, КО (?), 06:16 , 22-Май-23, (70) –1

GNU dbm , Аноним (62), 20:23 , 21-Май-23, (62) –1

Berkeley DBSQLite Же Форк, чтоб без хранимых процедур , 1 (??), 14:23 , 22-Май-23, (86)

Задержки в 2 5 и 16 задержки чего , Профессор (?), 07:37 , 22-Май-23, (71) –1

Сложности перевода Посмотрите картинку там написано как правильно называется у, ыы (?), 10:23 , 22-Май-23, (80)

Это то, из-за чего PP такой тормозной , bergentroll (ok), 09:19 , 22-Май-23, (75) +1
Это из-за нее пейпал тормозил как скотина и виснул , AndreyChe (?), 09:20 , 22-Май-23, (76) –1
Ждем MiddleDB и SeniorDB Кхм, за деньги, конечно , Вы забыли заполнить поле Name (?), 16:18 , 22-Май-23, (90)

MiddloDB и SenioroDB , Mail (?), 23:14 , 22-Май-23, (96)

MidoDB SenoDB, Аноним (30), 23:52 , 22-Май-23, (98)

Так любимая линуксоидами фрагментация, когда идеи опенсорса распыляются, а выжив, Аноним (92), 16:50 , 22-Май-23, (92) –2

Смотри, анончик, как бы твою девочку кто не танцевал, пока ты тут жиденько накид, Вы забыли заполнить поле Name (?), 21:45 , 22-Май-23, (95)

Не заработал он еще на девочку , Аноним (30), 23:51 , 22-Май-23, (97)

Сообщения [Сортировка по времени | RSS]

1. "PayPal открыл код СУБД JunoDB" –7 +/–

Сообщение от Аноним (1), 21-Май-23, 11:01

350 миллиардов? какая-то брехня.

Ответить | Правка | Наверх | Cообщить модератору

9. "PayPal открыл код СУБД JunoDB" +4 +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 11:31

Почему брехня. Это в день.
350000000000 / 86400 = ~4 миллиона запросов в секунду, если учесть что это колонковое хранилище, не так уж и много, просто здоровый кластер и шардинг по группе юзеров в итоге, когда у тебя все данные полностью шардятся, достижимо почти на чём угодно.

Ответить | Правка | Наверх | Cообщить модератору

10. "PayPal открыл код СУБД JunoDB" +2 +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 11:33

По производительности параметры ж в материале указаны:
3 узла с конскими параметрами: 32 CPU Intel Xeon 2.30GHz, 214G ОЗУ и 450G хранилище на базе SSD
И всего 15000 запросов в секунду. Это миллиард в день. Чтобы это смасштабировать на 350 миллиардов - надо полторы тысячи узлов минимум, если у тебя всё удачно шардится. Не много, но и не мало.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

31. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от пох. (?), 21-Май-23, 13:45

> надо полторы тысячи узлов минимум
и тут ВНЕЗАПНО выясняется что синхронизация протестированная на трех - немножко не очень работает на полутора тысячах.
В общем был я лучшего мнения о пэйпалке. Впрочем, подозреваю, это чудо в перьях существует гораздо меньше чем пэйпэл, тот с которым я когда-то имел дело - использовал что-то совсем другое.

Ответить | Правка | Наверх | Cообщить модератору

79. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от ыы (?), 22-Май-23, 09:48

синхронизация ЧЕГО?
данные в базах никуда не синхронизируются кроме как на рядом стоящую ноду...для отказоустойчивости... алллоо..меня слышно?
синхронизируется там только etcd. Но это отдельная пестдня...

Ответить | Правка | Наверх | Cообщить модератору

48. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (48), 21-Май-23, 17:51

Полторы тысячи нужно для гарантировано минимального отклика в 2.5мс читай новость внимательней

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

50. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от пох. (?), 21-Май-23, 18:56

Читаю - написано что эти 2.5ms (интересно, чем и в какой точке меряли-то?)  - это та самая экспериментальная установка аж из целых ТРЕХ серверов.
Про характеристики той что полторы тысячи - ничего нет кроме запросов в секунду.
А теперь пингани свой ближайший локалхост и посмотри 95% время ответа на icmp (не tcp! не userland! на пустой сети!). И еще разок взгляни на схему с кучей проксей поверх проксей. И еще что-то там про геораспределенность, явно не все в один мегасвичт воткнуто.
"по-моему, где-то нас нае...ли"

Ответить | Правка | Наверх | Cообщить модератору

53. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (48), 21-Май-23, 19:09

Да, а потом кто-то эти значения натянул на 350млрд. Зачем? Не факт, что на проде палки такой же отклик, зачем им это.

Ответить | Правка | Наверх | Cообщить модератору

81. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от ыы (?), 22-Май-23, 10:38

Пинганул локалхост:
0.020 ms
их 2,5ms - на два порядка больше.
"Ближайший локалост" ты наверное имеешь в виду в локальной сети? которая 100Мб ?
Один персонаж из фильма на такие эксприменты говорил так:
"Я тут это... экскримент хочу сделать" (с)
а у них а у них там хосты или виртуаки, или 10-20-40Gb сеть... так что пинг будет почти такой как у локалхоста.. ну можент чуть похуже...

Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

57. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 19:19

Хз, сколько там нужно для 350 млрд, в теории-то вообще 350, потому что 3 - это 1 млрд, но по факту я натянул с потолка полторы тысячи, потому что 100% и шардинг и собственно интерлоки хромать будут.

Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

25. "PayPal открыл код СУБД JunoDB" +2 +/–

Сообщение от Аноним (25), 21-Май-23, 12:44

Размещение данных в RAM - вот и весь секрет.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

38. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 14:11

Ну да, рам в половину хренилища. Хотя рокздыбыбл половину сожрёт на внутренние операции.

Ответить | Правка | Наверх | Cообщить модератору

40. "PayPal открыл код СУБД JunoDB" –6 +/–

Сообщение от пох. (?), 21-Май-23, 15:28

Нужно ж понимать еще одну простую вещь - я в те годы когда не жил в Одичалии за Стеной пользовался палкой, да - но я ей пользовался раз в два-три месяца. Полагаю это вполне типичный use-pattern, и 90 или больше процентов этой базы на самом деле нахрен в памяти не сдались. Остальное - какие-нибудь ларьки по продаже чехлов к телефонам, которые долбят своими копеечными заказами с диким рейтом.
А если прикинуть как часто (нет) нужны какие-нибудь исторические транзакции - то как бы не 99.9% ненужно получается.
Возможно, конечно, у них все же транзакции хранятся где-то отдельно и в более подобающем формате, но это мягко говоря не доказано.

Ответить | Правка | Наверх | Cообщить модератору

56. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 19:17

Да а зачем транзакцию отдельно то хранить? Есть ID транзакции, в ней есть ID юзера как value, в ней есть прочие ID связок как value, поиск делается по любому индексированному ID, далее выхватывается всё, что надо.

Ответить | Правка | Наверх | Cообщить модератору

60. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от пох. (?), 21-Май-23, 20:10

так искать-то я буду не id транзакции. Я буду искать либо по кому (не id а value!) ушло, либо когда. чтобы мне показать список - нужно искать по мне и сортировать по дате (value).
С биллингом то же самое - даты, имена, что угодно но не id.
Про интегральную целостность тоже непонятно в таком раскладе - тебе надо мильен ключей и значений на каждую операцию сохранять, где там гарантии и есть ли они вообще, неясно, а денежки - материя тонкая, требуют аккуратного счета.
Скорее всего там сохраняется блоб, и парсится уже в приложении а не базой. Медленно, неудобно, неэффективно, зато масштабируется по числу серверов приложения.

Ответить | Правка | Наверх | Cообщить модератору

64. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 22:14

По value находим id кого. По id кого находим собственно id транзакций с этим id кого. По id транзакций выбираем даты. Сортируем. Выгребаем по нужным id всё остальное. KV - оно такое.

Ответить | Правка | Наверх | Cообщить модератору

67. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от пох. (?), 21-Май-23, 23:33

Ну да, потом удивляемся откуда взялись 300 миллионов запросов. Вот оттуда. KV такое KV. И искать в нем id по value - неожиданно (нет) очень дорогая операция.

Ответить | Правка | Наверх | Cообщить модератору

63. "PayPal открыл код СУБД JunoDB" +4 +/–

Сообщение от Аноним (63), 21-Май-23, 21:58

> я ей пользовался раз в два-три месяца
> Полагаю это вполне типичный use-pattern
У вас поховый солипсизм. И пэйпал, конечно же, нагло врёт про 350 миллиардов, специально чтобы опеннетовских экспертов позлить. Ох, уж этот пейпал, такие-то гадюки!

Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

69. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (1), 22-Май-23, 04:12

Причём тут RAM? Там нет такого количества запросо. Разве что что сам сервис ещё делает 10к запросов к внутренним сервисам при любом запросе извне.

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

77. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от ыы (?), 22-Май-23, 09:28

Маск цену себе набивает... Продаваться хочет...

Ответить | Правка | Наверх | Cообщить модератору

72. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от ыы (?), 22-Май-23, 07:42

в 214G ОЗУ ?

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

99. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (99), 23-Май-23, 15:20

Только - вот новость-то - абсолютно все сколь-либо тиражные СУБД размещают оперативные данные ИСКЛЮЧИТЕЛЬНО в РАМе. И работают ТОЛЬКО с РАМой.

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

2. "PayPal открыл код СУБД JunoDB" –6 +/–

Сообщение от Аноним (48), 21-Май-23, 11:01

Опять не sql и не на Си, что же скажут местные иксперты?

Ответить | Правка | Наверх | Cообщить модератору

6. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от Аноним (6), 21-Май-23, 11:22

Go для прикладных задач всегда топ. Он быстрый, безопасно работает с памятью, простой.

Ответить | Правка | Наверх | Cообщить модератору

8. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 11:29

Там RocksDB на подложке, на игого только обвязка.
Очень вырожденный случай, для узкоспецифичных применений.

Ответить | Правка | Наверх | Cообщить модератору

11. "PayPal открыл код СУБД JunoDB" –3 +/–

Сообщение от Аноним (6), 21-Май-23, 11:33

И? Все правильно сделали писать всё на спп это в 10 раз дольше и в 100 раз дороже. Go топчик, а ты хейтер.

Ответить | Правка | Наверх | Cообщить модератору

13. "PayPal открыл код СУБД JunoDB" –2 +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 11:35

Для данного вырожденного случая (запросы наверняка банальные get value by key и store value by key, без сложных выборок) - ну, норм.

Ответить | Правка | Наверх | Cообщить модератору

32. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от пох. (?), 21-Май-23, 13:48

Я как-то сомневаюсь что случай вырожден, а не навязан убогостью решения.
Так как в общем-то любую таблицу можно развернуть в пачку key-value, но все эти миллиарды запросов - они ровно потому, что там где в нормальной базе был бы один - тут их приходится сделать последовательно десять.
А потом еще парсить сложный формат этого самого value, выковыривая из него требуемые куски.

Ответить | Правка | Наверх | Cообщить модератору

34. "PayPal открыл код СУБД JunoDB" +1 +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 13:56

Ну, там мелкие финансовые транзакции. Здесь снять, туда записать. Сложные выборки разве что для статистики.

Ответить | Правка | Наверх | Cообщить модератору

43. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от пох. (?), 21-Май-23, 16:30

Ну да. Вот у тебя транзакция - от кого, кому, когда, сколько - это минимум. Еще там где-то конкретика откуда взялись деньги и куда потом попали - карта, счет, тип (операции частных лиц отличаются у палки от коммерческих)
Ну и как мы будем это в key-value пихать, с учетом что искать потом будут по любому из этих полей? Причем в самую последнюю очередь - по уникальному id.

Ответить | Правка | Наверх | Cообщить модератору

55. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 19:14

Ну дык да, всё лепится на общий ID, дальше поиски по нужному value от этого ID, и по ID выхватывается всё остальное.

Ответить | Правка | Наверх | Cообщить модератору

16. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 11:37

Учитывая что на подложке rocksdb - можно было и на цыпыпы, просто видимо игогошники дешевле обошлись.

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

18. "PayPal открыл код СУБД JunoDB" +1 +/–

Сообщение от OpenEcho (?), 21-Май-23, 12:19

Вы б глянули, почем нынче игогошники

Ответить | Правка | Наверх | Cообщить модератору

19. "PayPal открыл код СУБД JunoDB" +2 +/–

Сообщение от Аноним (6), 21-Май-23, 12:27

Ты бы уже начал думать в разрезе эффективности, а не цены. 1 го программист пишет столько же сколько пишут 10 сиплюплюсников за те же деньги.

Ответить | Правка | Наверх | Cообщить модератору

22. "PayPal открыл код СУБД JunoDB" –2 +/–

Сообщение от Аноним (25), 21-Май-23, 12:33

Гопники вынуждены писать длинные макаронные портянки, накапливая техдолг и баги. Примерно то на то и получается.

Ответить | Правка | Наверх | Cообщить модератору

24. "PayPal открыл код СУБД JunoDB" +2 +/–

Сообщение от Аноним (6), 21-Май-23, 12:43

Да эти знаменитые С++ макаронные портянки это что-то с чем-то. На го все коротко ясно быстро и элегантно. На го в 10 раз меньше затрат.

Ответить | Правка | Наверх | Cообщить модератору

41. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Бывалый смузихлёб (?), 21-Май-23, 16:09

> 1 го программист пишет столько же сколько пишут 10 сиплюплюсников за те же деньги
Один гошник работает за десятерых вдесятеро более дешёвых сишников ?
Но у разработчиков редко зп растёт на порядок при прочих равных
Т.е получается примерно сравнение одного среднего/почти-ведущего программиста с десятком стажёров
Но в таком случае, скорее всего, один средний проггер в любом случае полезного кода напишет больше тупо потому что стажёрам многое придётся переписывать

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

87. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от OpenEcho (?), 22-Май-23, 15:01

> Ты бы уже начал думать в разрезе эффективности, а не цены.
Давно уже, и не только думаю :) Народ вы читаете перед тем как пишите или полностью - телепатия.

>1 го программист пишет столько же сколько пишут 10 сиплюплюсников за те же деньги.
Понятно, - не в теме... программист на Го дороже, а не дешевле плюсовика
Яблоки против апельсинов? У обоих языков разные области применения и каждый из них хорош в своей области. Конечный результат оценивается не в количестве настроганного кода, а в качестве при быстроте реализации. Можно конечно написать на Го операционныю систему, но лучше юзать right tool for a job, также как тупо юзать плюсы там, где это значительно быстрей и с меньшими ошибками изпользовать эффективно Го

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

29. "PayPal открыл код СУБД JunoDB" +4 +/–

Сообщение от Аноним (29), 21-Май-23, 13:36

> Вы б глянули, почем нынче игогошники
Весь бангалор к вашим услугам, недорого. Плюсовики дороже, у бангалорцев плюсы туго идут.

Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

88. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от OpenEcho (?), 22-Май-23, 15:48

> Весь бангалор к вашим услугам, недорого.
Недорого? Или информация 30 летней давности?

Ответить | Правка | Наверх | Cообщить модератору

4. "PayPal открыл код СУБД JunoDB" +5 +/–

Сообщение от pashev.ru (?), 21-Май-23, 11:15

Система изначально спроектирована с косым взглядом на высокую безопасность, горизонтальную масштабируемость, отказоустойчивость.

Ответить | Правка | Наверх | Cообщить модератору

5. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от Аноним (6), 21-Май-23, 11:21

Как будто кто-то хорошо прошел собес по проектированию архитектуры систем.

Ответить | Правка | Наверх | Cообщить модератору

7. "PayPal открыл код СУБД JunoDB" –6 +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 11:27

> Код проекта написан на языке Go (клиентская библиотека на Java)
Дальше в общем можно и не читать.

Ответить | Правка | Наверх | Cообщить модератору

14. "PayPal открыл код СУБД JunoDB" +3 +/–

Сообщение от Аноним (6), 21-Май-23, 11:36

А что им надо было всё писать на древнежабе потому что все клиенты использую древнежабу?

Ответить | Правка | Наверх | Cообщить модератору

15. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 11:37

Ну ежа с ужом - всегда так себе затея. И да, на подложке RocksDB, т.е. на гошечке там тупо микронная обвязка, можно было и нет.

Ответить | Правка | Наверх | Cообщить модератору

21. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от ИмяХ (?), 21-Май-23, 12:33

Надо было писать на Malbolge

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

23. "PayPal открыл код СУБД JunoDB" +2 +/–

Сообщение от Аноним (25), 21-Май-23, 12:41

Скажи спасибо, что не на COBOL. Все равно выглядит как "нате вам боже что нам негоже".

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

26. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (6), 21-Май-23, 12:44

На самом деле это: «Чем богаты тем и рады»

Ответить | Правка | Наверх | Cообщить модератору

49. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (49), 21-Май-23, 18:01

вот мне тоже кажется, что свой велосипед выложили в связи с переходом на какую то мейнстримную базу, чтоб бабло не тратить на поддержку

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

51. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от пох. (?), 21-Май-23, 19:00

Э... ну и назови мейнстримную базу подходящую под описанные параметры?
Ну те что про их прод а не экспериментальную схему - известно число запросов в секунду, нужна избыточность и геораспредленность. Предположим даже что нормальный sql сократил бы количество запросов раз в десять. Что крайне маловероятно (не то что сократил бы, а что они могут заменить эту свою поделку на sql не взорвав весь пэйпэл нюком и не построив заново с нуля) - т.е. речь может идти только о no-sql базах. Выбор сводится к поделкам апача... так себе мейнстрим и поддержка.

Ответить | Правка | Наверх | Cообщить модератору

65. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (49), 21-Май-23, 22:47

   Ну, для начала, они читерят с баллансировщиком нагрузки, с такими исходными можно обрабатывать теоретически любую нагрузку на распределенные (втч территориально) сервера даже классических sql БД типа Оракла, Постгреса или ДБ2. Да, придется решать вопрос с репликацией, но это возможно.
   Но в том то весть прикол, что они используют архитектуру ключ-значение, т.е это как раз NO-sql,
скорее всего они решили запользовать какую ни будь редиску, кассандру, могну или вообще кликхауз :)
Выбросив го-жаба-свой велосипед на мороз, они выкинут вместе с ним отдел программистов и оставят только девляпсов. Кроме того база на Ц может оказаться сильно менее требовательна к оперативе и вычислительным ресурсам, можно будет еще и на серваках поэкономить.

Ответить | Правка | Наверх | Cообщить модератору

93. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (63), 22-Май-23, 18:46

> Да, придется решать вопрос с репликацией, но это возможно.
Всего-то какой-то репликацией. Подумаешь, мелочь. Да любой опеннетчик её только так, походцем, одной левой, не отрываясь от комментирования на любимом ресурсе.

Ответить | Правка | Наверх | Cообщить модератору

94. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (94), 22-Май-23, 20:21

>cервера даже классических sql БД типа Оракла, Постгреса или ДБ2.Да, придется решать вопрос с репликацией, но это возможно.
Хрен оно у тебя будет работать. ОТ той твоей связки они наверняка уже когда-то убежали свой

Ответить | Правка | К родителю #65 | Наверх | Cообщить модератору

28. "PayPal открыл код СУБД JunoDB" +1 +/–

Сообщение от Аноним (28), 21-Май-23, 13:06

мда... специалисты, которых мы заслужили (это про тебя, а не про тех, кто проект и библиотеку писАл)

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

12. "PayPal открыл код СУБД JunoDB" +4 +/–

Сообщение от Аноним (12), 21-Май-23, 11:34

> с предсказуемыми задержками.
> Код проекта написан на языке Go
сразу на gc заложились

Ответить | Правка | Наверх | Cообщить модератору

17. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Всем Анонимам Аноним (?), 21-Май-23, 11:38

Похоже на ceph, только с намного большим количеством посредников.

Ответить | Правка | Наверх | Cообщить модератору

20. "PayPal открыл код СУБД JunoDB" +2 +/–

Сообщение от Аноним (6), 21-Май-23, 12:30

Это похоже на Apache Ignite только сделанный не там.

Ответить | Правка | Наверх | Cообщить модератору

27. "PayPal открыл код СУБД JunoDB" +1 +/–

Сообщение от Аноним (25), 21-Май-23, 12:46

Очевидно, что они обновили платформу, а старье выкинули разлагатся в опенсорс. В лучше случае получится еще один зомби Apache Juno.

Ответить | Правка | Наверх | Cообщить модератору

36. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 14:06

Да, похоже на phaseout, вот и выкинули.

Ответить | Правка | Наверх | Cообщить модератору

37. "PayPal открыл код СУБД JunoDB" +1 +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 14:07

Более интересно даже - что на замену...

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

52. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от пох. (?), 21-Май-23, 19:01

Что-то столь же ужасное - потому что вряд ли они могут себе позволить переделать структуры данных и весь фронт/мидлварь.

Ответить | Правка | Наверх | Cообщить модератору

58. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 19:20

А, на фронте там вообще REST скорее всего какой-нибудь, или SOAP, или whatever the fsck goes.
Только мидлварь переделывать, если такое же KV - возможно несущественно.

Ответить | Правка | Наверх | Cообщить модератору

61. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от пох. (?), 21-Май-23, 20:12

Ну я и говорю - только если что-то такое же. А зачем им такое же если у них уже есть одно?
Что кто-то за них возьмется поддерживать - не верю, опять же с учетом кто и какие делает штуки подобного рода.

Ответить | Правка | Наверх | Cообщить модератору

73. "PayPal открыл код СУБД JunoDB" +1 +/–

Сообщение от Анониссимус (?), 22-Май-23, 08:12

А опеннет-экспертам не так просто угодить!
Если корпорация выложит старый проект -- "старье выкинули разлагатся в опенсорс".
Если корпорация выложит действующий проект -- "решили воспользоваться бесплатной рабсилой".
Ну а если частное лицо выложит что угодно, то это просто "нинужна!"

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

89. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от пох. (?), 22-Май-23, 16:01

Ну какие проекты, такие и отзывы. Ты ведь конечно можешь назвать хоть один действительно хороший проект выложенный в опенсорс за последние лет пять?
Хотя бы не вызывающий первых реакций вида "что это за х-ня?!", "кому оно на.. надо?!" и "а еще уродливее просто невозможно или не смогли?"
Я - боюсь что нет.
За десять - буквально по пальцам одной руки пересчитать и то с трудом.

Ответить | Правка | Наверх | Cообщить модератору

91. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Анониссимус (?), 22-Май-23, 16:40

> Ну какие проекты, такие и отзывы. Ты ведь конечно можешь назвать хоть
> один действительно хороший проект выложенный в опенсорс за последние лет пять?
> Хотя бы не вызывающий первых реакций вида "что это за х-ня?!", "кому
> оно на.. надо?!" и "а еще уродливее просто невозможно или не
> смогли?"
> Я - боюсь что нет.
> За десять - буквально по пальцам одной руки пересчитать и то с
> трудом.
Действительно, так навскидку вспомнить что-то реально хорошее трудно. Но всё таки, когда выкладывают какой-нибудь проект, обычно сразу находятся энтузиасты, которые начинают коммитить, форкать и т. п. Значит оно всё же кому-то нужно. И вообще, открытое ПО -- это всегда лучше, чем закрытое.

Ответить | Правка | Наверх | Cообщить модератору

30. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (30), 21-Май-23, 13:42

Сколько еще таких чемоданов без ручки в недрах корпораций?
Интересно, есть вообще такие корпы, которые с самого начала имеют четкую позицию не разрабатывать за свой счет всякую прикольную фигню, вместо этого нанимать тех, кто умеет готовить опенсорсные решения?

Ответить | Правка | Наверх | Cообщить модератору

33. "PayPal открыл код СУБД JunoDB" +7 +/–

Сообщение от пох. (?), 21-Май-23, 13:51

Нету таких. Потому что тех кто умеет готовить решения на такие нагрузки - вообще в природе нет. Они растут вместе с компанией, или переходят из похожей где выросли - и других вариантов практически не бывает. А дальше делают методом проб и ошибок, иногда очень дорогостоящих, иногда очень такое вот странное но как-то подкостылено и подперто и в их специальном случае - работает.
А опенcocники как всегда - cocyт-с. Их удел - локалхосты.

Ответить | Правка | Наверх | Cообщить модератору

68. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от Аноним (1), 22-Май-23, 02:17

я тебя умоляю. ничего там не растёт вместе с компанией, разве что костыли. и пилят своё исключительно из-за незнания что происходит вокруг

Ответить | Правка | Наверх | Cообщить модератору

74. "PayPal открыл код СУБД JunoDB" +2 +/–

Сообщение от пох. (?), 22-Май-23, 08:56

ты-то уже десять пэйпалов перерос? Ты-то знаешь что происходит вокруг и в любую секунду готов им настроить опенсорсное нен.. хранилище хотя бы даже KV на подобные нагрузки - и можешь это подтвердить прошлыми успехами?
Только почему же тогда ты работаешь в россиянском подвале с десятком ржавых локалхостов?

Ответить | Правка | Наверх | Cообщить модератору

35. "PayPal открыл код СУБД JunoDB" +1 +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 14:05

Вагон и тележка.
Потому что нужно tailored решение, а не коммунальный шлак - не важно опенсорс или коммерсовый, который фиг под конкретную задачу допилишь.

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

45. "PayPal открыл код СУБД JunoDB" –3 +/–

Сообщение от Аноним (30), 21-Май-23, 16:57

Чем их задачи отличались от каких-либо других? Ничем. Если компания не тянет подстроить существующие решения, свое решение превратится в неподдерживаемый хлам с вероятностью близкой к единице.

Ответить | Правка | Наверх | Cообщить модератору

54. "PayPal открыл код СУБД JunoDB" +1 +/–

Сообщение от Tron is Whistling (?), 21-Май-23, 19:14

Ну так они и подстроили - взяли RocksDB, налепили tailored обвязки.

Ответить | Правка | Наверх | Cообщить модератору

66. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от Аноним (30), 21-Май-23, 23:24

>tailored обвязки
костыли

Ответить | Правка | Наверх | Cообщить модератору

44. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Бывалый смузихлёб (?), 21-Май-23, 16:35

вопрос правообладания и обязательств
Вдобавок, многие проекты весьма долго тянутся
И начинается всё с того, что взяли наиболее простое, доступное и логичное на тот момент решение, потом под небольшое изменение потребностей под себя доработали, потом ещё
Потом - уже и переезд на более жирный но опенсорс уже не выглядит простым ибо много чего нет или работает не так
И вот, чёрти какое решение, изначально на такое вообще не рассчитанное и подпираемое неведомой горой костылей, скопившихся за годы, тянут до последнего. Нередко заменяя с огромным блоком другого связанного барахла, долго к этому готовясь.
А потом - выкидывают это барахло. Только если раньше оно уходило куда-то в архивы или продавалось за гроши, то теперь стало модно выкидывать в опенсорс.
Интересно только, спишут ли они расходы на эту систему как расходы на поддержку опенсорса, каковым то барахло в итоге и стало

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

39. "PayPal открыл код СУБД JunoDB" +3 +/–

Сообщение от Аноним (39), 21-Май-23, 14:32

1. Выкладываем в OpenSource.
2. Привлекаем заинтересованных разработчиков к проекту.
3. Сокращаем штатных разработчиков.
4. Отчитываемся о сокращении расходов перед инвесторами.
5. Profit.

Ответить | Правка | Наверх | Cообщить модератору

46. "PayPal открыл код СУБД JunoDB" +4 +/–

Сообщение от YetAnotherOnanym (ok), 21-Май-23, 17:30

1. Выкладываем в OpenSource.
2. Получаем набег орды халявщиков с претензиями.
3. Убеждаемся, что пилить вместе с нами никто не намерен.
4. Делим на две ветки - для себя любимых и для всяких.
5. Получаем тонны фекалий и несколько изначально дохлых форков.
6. Окончательно забиваем на открытую ветку.

Ответить | Правка | Наверх | Cообщить модератору

59. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (59), 21-Май-23, 19:39

7. Решаем что такие эксперименты не стоят затраченного времени, и больше ничего не выкладываем в опопенсорс

Ответить | Правка | Наверх | Cообщить модератору

70. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от КО (?), 22-Май-23, 06:16

1. <Company_name> выкладывает в OpenSource
2. Набегают хомячки
3. Собираем налоги, тыкая в README
4. Profit

Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору

62. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от Аноним (62), 21-Май-23, 20:23

>манипулирующей данными в формате ключ-значение
GNU dbm?

Ответить | Правка | Наверх | Cообщить модератору

86. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от 1 (??), 22-Май-23, 14:23

Berkeley DB
SQLite Же !!! Форк, чтоб без хранимых процедур.

Ответить | Правка | Наверх | Cообщить модератору

71. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от Профессор (?), 22-Май-23, 07:37

Задержки в 2.5 и 16...задержки чего?

Ответить | Правка | Наверх | Cообщить модератору

80. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от ыы (?), 22-Май-23, 10:23

Сложности перевода. Посмотрите картинку. там написано как правильно называется упомянутый параметр.

Ответить | Правка | Наверх | Cообщить модератору

75. "PayPal открыл код СУБД JunoDB" +1 +/–

Сообщение от bergentroll (ok), 22-Май-23, 09:19

Это то, из-за чего PP такой тормозной?

Ответить | Правка | Наверх | Cообщить модератору

76. "PayPal открыл код СУБД JunoDB" –1 +/–

Сообщение от AndreyChe (?), 22-Май-23, 09:20

Это из-за нее пейпал тормозил как скотина и виснул?

Ответить | Правка | Наверх | Cообщить модератору

90. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Вы забыли заполнить поле Name (?), 22-Май-23, 16:18

> JunoDB
Ждем MiddleDB и SeniorDB... Кхм, за деньги, конечно.

Ответить | Правка | Наверх | Cообщить модератору

96. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Mail (?), 22-Май-23, 23:14

MiddloDB и SenioroDB.

Ответить | Правка | Наверх | Cообщить модератору

98. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (30), 22-Май-23, 23:52

MidoDB / SenoDB

Ответить | Правка | Наверх | Cообщить модератору

92. "PayPal открыл код СУБД JunoDB" –2 +/–

Сообщение от Аноним (92), 22-Май-23, 16:50

Так любимая линуксоидами фрагментация, когда идеи опенсорса распыляются, а выживают только проекты под покровительством спонсоров, которые девочку и танцуют.

Ответить | Правка | Наверх | Cообщить модератору

95. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Вы забыли заполнить поле Name (?), 22-Май-23, 21:45

> Так любимая линуксоидами фрагментация, когда идеи опенсорса распыляются, а выживают только
> проекты под покровительством спонсоров, которые девочку и танцуют.
Смотри, анончик, как бы твою девочку кто не танцевал, пока ты тут жиденько накидываешь.

Ответить | Правка | Наверх | Cообщить модератору

97. "PayPal открыл код СУБД JunoDB" +/–

Сообщение от Аноним (30), 22-Май-23, 23:51

Не заработал он еще на девочку.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "PayPal открыл код СУБД JunoDB"	–7 +/–
Сообщение от Аноним (1), 21-Май-23, 11:01
350 миллиардов? какая-то брехня.
Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "PayPal открыл код СУБД JunoDB"	+4 +/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 11:31
	Почему брехня. Это в день. 350000000000 / 86400 = ~4 миллиона запросов в секунду, если учесть что это колонковое хранилище, не так уж и много, просто здоровый кластер и шардинг по группе юзеров в итоге, когда у тебя все данные полностью шардятся, достижимо почти на чём угодно.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	10. "PayPal открыл код СУБД JunoDB"	+2 +/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 11:33
	По производительности параметры ж в материале указаны: 3 узла с конскими параметрами: 32 CPU Intel Xeon 2.30GHz, 214G ОЗУ и 450G хранилище на базе SSD И всего 15000 запросов в секунду. Это миллиард в день. Чтобы это смасштабировать на 350 миллиардов - надо полторы тысячи узлов минимум, если у тебя всё удачно шардится. Не много, но и не мало.
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору


	31. "PayPal открыл код СУБД JunoDB"	–1 +/–
	Сообщение от пох. (?), 21-Май-23, 13:45
	> надо полторы тысячи узлов минимум и тут ВНЕЗАПНО выясняется что синхронизация протестированная на трех - немножко не очень работает на полутора тысячах. В общем был я лучшего мнения о пэйпалке. Впрочем, подозреваю, это чудо в перьях существует гораздо меньше чем пэйпэл, тот с которым я когда-то имел дело - использовал что-то совсем другое.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	79. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от ыы (?), 22-Май-23, 09:48
	синхронизация ЧЕГО? данные в базах никуда не синхронизируются кроме как на рядом стоящую ноду...для отказоустойчивости... алллоо..меня слышно? синхронизируется там только etcd. Но это отдельная пестдня...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	48. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Аноним (48), 21-Май-23, 17:51
	Полторы тысячи нужно для гарантировано минимального отклика в 2.5мс читай новость внимательней
	Ответить \| Правка \| К родителю #10 \| Наверх \| Cообщить модератору


	50. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от пох. (?), 21-Май-23, 18:56
	Читаю - написано что эти 2.5ms (интересно, чем и в какой точке меряли-то?) - это та самая экспериментальная установка аж из целых ТРЕХ серверов. Про характеристики той что полторы тысячи - ничего нет кроме запросов в секунду. А теперь пингани свой ближайший локалхост и посмотри 95% время ответа на icmp (не tcp! не userland! на пустой сети!). И еще разок взгляни на схему с кучей проксей поверх проксей. И еще что-то там про геораспределенность, явно не все в один мегасвичт воткнуто. "по-моему, где-то нас нае...ли"
	Ответить \| Правка \| Наверх \| Cообщить модератору


	53. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Аноним (48), 21-Май-23, 19:09
	Да, а потом кто-то эти значения натянул на 350млрд. Зачем? Не факт, что на проде палки такой же отклик, зачем им это.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	81. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от ыы (?), 22-Май-23, 10:38
	Пинганул локалхост: 0.020 ms их 2,5ms - на два порядка больше. "Ближайший локалост" ты наверное имеешь в виду в локальной сети? которая 100Мб ? Один персонаж из фильма на такие эксприменты говорил так: "Я тут это... экскримент хочу сделать" (с) а у них а у них там хосты или виртуаки, или 10-20-40Gb сеть... так что пинг будет почти такой как у локалхоста.. ну можент чуть похуже...
	Ответить \| Правка \| К родителю #50 \| Наверх \| Cообщить модератору


	57. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 19:19
	Хз, сколько там нужно для 350 млрд, в теории-то вообще 350, потому что 3 - это 1 млрд, но по факту я натянул с потолка полторы тысячи, потому что 100% и шардинг и собственно интерлоки хромать будут.
	Ответить \| Правка \| К родителю #48 \| Наверх \| Cообщить модератору


	25. "PayPal открыл код СУБД JunoDB"	+2 +/–
	Сообщение от Аноним (25), 21-Май-23, 12:44
	Размещение данных в RAM - вот и весь секрет.
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору


	38. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 14:11
	Ну да, рам в половину хренилища. Хотя рокздыбыбл половину сожрёт на внутренние операции.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	40. "PayPal открыл код СУБД JunoDB"	–6 +/–
	Сообщение от пох. (?), 21-Май-23, 15:28
	Нужно ж понимать еще одну простую вещь - я в те годы когда не жил в Одичалии за Стеной пользовался палкой, да - но я ей пользовался раз в два-три месяца. Полагаю это вполне типичный use-pattern, и 90 или больше процентов этой базы на самом деле нахрен в памяти не сдались. Остальное - какие-нибудь ларьки по продаже чехлов к телефонам, которые долбят своими копеечными заказами с диким рейтом. А если прикинуть как часто (нет) нужны какие-нибудь исторические транзакции - то как бы не 99.9% ненужно получается. Возможно, конечно, у них все же транзакции хранятся где-то отдельно и в более подобающем формате, но это мягко говоря не доказано.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	56. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 19:17
	Да а зачем транзакцию отдельно то хранить? Есть ID транзакции, в ней есть ID юзера как value, в ней есть прочие ID связок как value, поиск делается по любому индексированному ID, далее выхватывается всё, что надо.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	60. "PayPal открыл код СУБД JunoDB"	–1 +/–
	Сообщение от пох. (?), 21-Май-23, 20:10
	так искать-то я буду не id транзакции. Я буду искать либо по кому (не id а value!) ушло, либо когда. чтобы мне показать список - нужно искать по мне и сортировать по дате (value). С биллингом то же самое - даты, имена, что угодно но не id. Про интегральную целостность тоже непонятно в таком раскладе - тебе надо мильен ключей и значений на каждую операцию сохранять, где там гарантии и есть ли они вообще, неясно, а денежки - материя тонкая, требуют аккуратного счета. Скорее всего там сохраняется блоб, и парсится уже в приложении а не базой. Медленно, неудобно, неэффективно, зато масштабируется по числу серверов приложения.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	64. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 22:14
	По value находим id кого. По id кого находим собственно id транзакций с этим id кого. По id транзакций выбираем даты. Сортируем. Выгребаем по нужным id всё остальное. KV - оно такое.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	67. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от пох. (?), 21-Май-23, 23:33
	Ну да, потом удивляемся откуда взялись 300 миллионов запросов. Вот оттуда. KV такое KV. И искать в нем id по value - неожиданно (нет) очень дорогая операция.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	63. "PayPal открыл код СУБД JunoDB"	+4 +/–
	Сообщение от Аноним (63), 21-Май-23, 21:58
	> я ей пользовался раз в два-три месяца > Полагаю это вполне типичный use-pattern У вас поховый солипсизм. И пэйпал, конечно же, нагло врёт про 350 миллиардов, специально чтобы опеннетовских экспертов позлить. Ох, уж этот пейпал, такие-то гадюки!
	Ответить \| Правка \| К родителю #40 \| Наверх \| Cообщить модератору


	69. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Аноним (1), 22-Май-23, 04:12
	Причём тут RAM? Там нет такого количества запросо. Разве что что сам сервис ещё делает 10к запросов к внутренним сервисам при любом запросе извне.
	Ответить \| Правка \| К родителю #25 \| Наверх \| Cообщить модератору


	77. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от ыы (?), 22-Май-23, 09:28
	Маск цену себе набивает... Продаваться хочет...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	72. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от ыы (?), 22-Май-23, 07:42
	в 214G ОЗУ ?
	Ответить \| Правка \| К родителю #25 \| Наверх \| Cообщить модератору


	99. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Аноним (99), 23-Май-23, 15:20
	Только - вот новость-то - абсолютно все сколь-либо тиражные СУБД размещают оперативные данные ИСКЛЮЧИТЕЛЬНО в РАМе. И работают ТОЛЬКО с РАМой.
	Ответить \| Правка \| К родителю #25 \| Наверх \| Cообщить модератору

2. "PayPal открыл код СУБД JunoDB"	–6 +/–
Сообщение от Аноним (48), 21-Май-23, 11:01
Опять не sql и не на Си, что же скажут местные иксперты?
Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "PayPal открыл код СУБД JunoDB"	–1 +/–
	Сообщение от Аноним (6), 21-Май-23, 11:22
	Go для прикладных задач всегда топ. Он быстрый, безопасно работает с памятью, простой.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "PayPal открыл код СУБД JunoDB"	–1 +/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 11:29
	Там RocksDB на подложке, на игого только обвязка. Очень вырожденный случай, для узкоспецифичных применений.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	11. "PayPal открыл код СУБД JunoDB"	–3 +/–
	Сообщение от Аноним (6), 21-Май-23, 11:33
	И? Все правильно сделали писать всё на спп это в 10 раз дольше и в 100 раз дороже. Go топчик, а ты хейтер.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "PayPal открыл код СУБД JunoDB"	–2 +/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 11:35
	Для данного вырожденного случая (запросы наверняка банальные get value by key и store value by key, без сложных выборок) - ну, норм.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	32. "PayPal открыл код СУБД JunoDB"	–1 +/–
	Сообщение от пох. (?), 21-Май-23, 13:48
	Я как-то сомневаюсь что случай вырожден, а не навязан убогостью решения. Так как в общем-то любую таблицу можно развернуть в пачку key-value, но все эти миллиарды запросов - они ровно потому, что там где в нормальной базе был бы один - тут их приходится сделать последовательно десять. А потом еще парсить сложный формат этого самого value, выковыривая из него требуемые куски.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	34. "PayPal открыл код СУБД JunoDB"	+1 +/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 13:56
	Ну, там мелкие финансовые транзакции. Здесь снять, туда записать. Сложные выборки разве что для статистики.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	43. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от пох. (?), 21-Май-23, 16:30
	Ну да. Вот у тебя транзакция - от кого, кому, когда, сколько - это минимум. Еще там где-то конкретика откуда взялись деньги и куда потом попали - карта, счет, тип (операции частных лиц отличаются у палки от коммерческих) Ну и как мы будем это в key-value пихать, с учетом что искать потом будут по любому из этих полей? Причем в самую последнюю очередь - по уникальному id.
	Ответить \| Правка \| Наверх \| Cообщить модератору