Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

PayPal открыл код СУБД JunoDB, opennews (??), 21-Май-23, (0) [смотреть все] 350 миллиардов какая-то брехня , Аноним (1), 11:01 , 21-Май-23, (1) –7   // Почему брехня Это в день 350000000000 86400 4 миллиона запросов в секунду,, Tron is Whistling (?), 11:31 , 21-Май-23, (9) +4   По производительности параметры ж в материале указаны 3 узла с конскими параметр, Tron is Whistling (?), 11:33 , 21-Май-23, (10) +2   // и тут ВНЕЗАПНО выясняется что синхронизация протестированная на трех - немножко , пох. (?), 13:45 , 21-Май-23, (31) –1   // синхронизация ЧЕГО данные в базах никуда не синхронизируются кроме как на рядом , ыы (?), 09:48 , 22-Май-23, (79)   Полторы тысячи нужно для гарантировано минимального отклика в 2 5мс читай новост, Аноним (48), 17:51 , 21-Май-23, (48)   // Читаю - написано что эти 2 5ms интересно, чем и в какой точке меряли-то - эт, пох. (?), 18:56 , 21-Май-23, (50)   Да, а потом кто-то эти значения натянул на 350млрд Зачем Не факт, что на проде, Аноним (48), 19:09 , 21-Май-23, (53)   Пинганул локалхост 0 020 msих 2,5ms - на два порядка больше Ближайший локалост, ыы (?), 10:38 , 22-Май-23, (81)   Хз, сколько там нужно для 350 млрд, в теории-то вообще 350, потому что 3 - это 1, Tron is Whistling (?), 19:19 , 21-Май-23, (57)   Размещение данных в RAM - вот и весь секрет , Аноним (25), 12:44 , 21-Май-23, (25) +2   // Ну да, рам в половину хренилища Хотя рокздыбыбл половину сожрёт на внутренние о, Tron is Whistling (?), 14:11 , 21-Май-23, (38)   // Нужно ж понимать еще одну простую вещь - я в те годы когда не жил в Одичалии за , пох. (?), 15:28 , 21-Май-23, (40) –6   Да а зачем транзакцию отдельно то хранить Есть ID транзакции, в ней есть ID юзе, Tron is Whistling (?), 19:17 , 21-Май-23, (56)   так искать-то я буду не id транзакции Я буду искать либо по кому не id а value, пох. (?), 20:10 , 21-Май-23, (60) –1   По value находим id кого По id кого находим собственно id транзакций с этим id , Tron is Whistling (?), 22:14 , 21-Май-23, (64)   Ну да, потом удивляемся откуда взялись 300 миллионов запросов Вот оттуда KV та, пох. (?), 23:33 , 21-Май-23, (67)   У вас поховый солипсизм И пэйпал, конечно же, нагло врёт про 350 миллиардов, сп, Аноним (63), 21:58 , 21-Май-23, (63) +4   Причём тут RAM Там нет такого количества запросо Разве что что сам сервис ещё , Аноним (1), 04:12 , 22-Май-23, (69)   // Маск цену себе набивает Продаваться хочет , ыы (?), 09:28 , 22-Май-23, (77)   в 214G ОЗУ , ыы (?), 07:42 , 22-Май-23, (72)   Только - вот новость-то - абсолютно все сколь-либо тиражные СУБД размещают опера, Аноним (99), 15:20 , 23-Май-23, (99)   Опять не sql и не на Си, что же скажут местные иксперты , Аноним (48), 11:01 , 21-Май-23, (2) –6 // Go для прикладных задач всегда топ Он быстрый, безопасно работает с памятью, пр, Аноним (6), 11:22 , 21-Май-23, (6) –1 // Там RocksDB на подложке, на игого только обвязка Очень вырожденный случай, для у, Tron is Whistling (?), 11:29 , 21-Май-23, (8) –1 // И Все правильно сделали писать всё на спп это в 10 раз дольше и в 100 раз дорож, Аноним (6), 11:33 , 21-Май-23, (11) –3 Для данного вырожденного случая запросы наверняка банальные get value by key и , Tron is Whistling (?), 11:35 , 21-Май-23, (13) –2 Я как-то сомневаюсь что случай вырожден, а не навязан убогостью решения Так как , пох. (?), 13:48 , 21-Май-23, (32) –1 Ну, там мелкие финансовые транзакции Здесь снять, туда записать Сложные выборк, Tron is Whistling (?), 13:56 , 21-Май-23, (34) +1 Ну да Вот у тебя транзакция - от кого, кому, когда, сколько - это минимум Еще , пох. (?), 16:30 , 21-Май-23, (43) Ну дык да, всё лепится на общий ID, дальше поиски по нужному value от этого ID, , Tron is Whistling (?), 19:14 , 21-Май-23, (55) Учитывая что на подложке rocksdb - можно было и на цыпыпы, просто видимо игогошн, Tron is Whistling (?), 11:37 , 21-Май-23, (16) Вы б глянули, почем нынче игогошники, OpenEcho (?), 12:19 , 21-Май-23, (18) +1 Ты бы уже начал думать в разрезе эффективности, а не цены 1 го программист пише, Аноним (6), 12:27 , 21-Май-23, (19) +2 Гопники вынуждены писать длинные макаронные портянки, накапливая техдолг и баги , Аноним (25), 12:33 , 21-Май-23, (22) –2 Да эти знаменитые С макаронные портянки это что-то с чем-то На го все коротко, Аноним (6), 12:43 , 21-Май-23, (24) +2 Один гошник работает за десятерых вдесятеро более дешёвых сишников Но у разрабо, Бывалый смузихлёб (?), 16:09 , 21-Май-23, (41) Давно уже, и не только думаю Народ вы читаете перед тем как пишите или полнос, OpenEcho (?), 15:01 , 22-Май-23, (87) Весь бангалор к вашим услугам, недорого Плюсовики дороже, у бангалорцев плюсы т, Аноним (29), 13:36 , 21-Май-23, (29) +4 Недорого Или информация 30 летней давности , OpenEcho (?), 15:48 , 22-Май-23, (88) Система изначально спроектирована с косым взглядом на высокую безопасность, гори, pashev.ru (?), 11:15 , 21-Май-23, (4) +5 Как будто кто-то хорошо прошел собес по проектированию архитектуры систем , Аноним (6), 11:21 , 21-Май-23, (5) –1 Дальше в общем можно и не читать , Tron is Whistling (?), 11:27 , 21-Май-23, (7) –6 // А что им надо было всё писать на древнежабе потому что все клиенты использую дре, Аноним (6), 11:36 , 21-Май-23, (14) +3 // Ну ежа с ужом - всегда так себе затея И да, на подложке RocksDB, т е на гошечк, Tron is Whistling (?), 11:37 , 21-Май-23, (15) –1 Надо было писать на Malbolge, ИмяХ (?), 12:33 , 21-Май-23, (21) Скажи спасибо, что не на COBOL Все равно выглядит как нате вам боже что нам не, Аноним (25), 12:41 , 21-Май-23, (23) +2 // На самом деле это 171 Чем богаты тем и рады 187 , Аноним (6), 12:44 , 21-Май-23, (26) вот мне тоже кажется, что свой велосипед выложили в связи с переходом на какую т, Аноним (49), 18:01 , 21-Май-23, (49) Э ну и назови мейнстримную базу подходящую под описанные параметры Ну те что , пох. (?), 19:00 , 21-Май-23, (51) Ну, для начала, они читерят с баллансировщиком нагрузки, с такими исходными м, Аноним (49), 22:47 , 21-Май-23, (65) Всего-то какой-то репликацией Подумаешь, мелочь Да любой опеннетчик её только , Аноним (63), 18:46 , 22-Май-23, (93) Хрен оно у тебя будет работать ОТ той твоей связки они наверняка уже когда-то у, Аноним (94), 20:21 , 22-Май-23, (94) мда специалисты, которых мы заслужили это про тебя, а не про тех, кто проект, Аноним (28), 13:06 , 21-Май-23, (28) +1 сразу на gc заложились, Аноним (12), 11:34 , 21-Май-23, (12) +4 Похоже на ceph, только с намного большим количеством посредников , Всем Анонимам Аноним (?), 11:38 , 21-Май-23, (17) // Это похоже на Apache Ignite только сделанный не там , Аноним (6), 12:30 , 21-Май-23, (20) +2 Очевидно, что они обновили платформу, а старье выкинули разлагатся в опенсорс В, Аноним (25), 12:46 , 21-Май-23, (27) +1 // Да, похоже на phaseout, вот и выкинули , Tron is Whistling (?), 14:06 , 21-Май-23, (36) Более интересно даже - что на замену , Tron is Whistling (?), 14:07 , 21-Май-23, (37) +1 // Что-то столь же ужасное - потому что вряд ли они могут себе позволить переделать, пох. (?), 19:01 , 21-Май-23, (52) // А, на фронте там вообще REST скорее всего какой-нибудь, или SOAP, или whatever t, Tron is Whistling (?), 19:20 , 21-Май-23, (58) Ну я и говорю - только если что-то такое же А зачем им такое же если у них уже , пох. (?), 20:12 , 21-Май-23, (61) А опеннет-экспертам не так просто угодить Если корпорация выложит старый проект , Анониссимус (?), 08:12 , 22-Май-23, (73) +1 // Ну какие проекты, такие и отзывы Ты ведь конечно можешь назвать хоть один дейст, пох. (?), 16:01 , 22-Май-23, (89) // Действительно, так навскидку вспомнить что-то реально хорошее трудно Но всё так, Анониссимус (?), 16:40 , 22-Май-23, (91) Сколько еще таких чемоданов без ручки в недрах корпораций Интересно, есть вообще, Аноним (30), 13:42 , 21-Май-23, (30) // Нету таких Потому что тех кто умеет готовить решения на такие нагрузки - вообще, пох. (?), 13:51 , 21-Май-23, (33) +7 // я тебя умоляю ничего там не растёт вместе с компанией, разве что костыли и пил, Аноним (1), 02:17 , 22-Май-23, (68) –1 // ты-то уже десять пэйпалов перерос Ты-то знаешь что происходит вокруг и в любую , пох. (?), 08:56 , 22-Май-23, (74) +2 Вагон и тележка Потому что нужно tailored решение, а не коммунальный шлак - не в, Tron is Whistling (?), 14:05 , 21-Май-23, (35) +1 // Чем их задачи отличались от каких-либо других Ничем Если компания не тянет под, Аноним (30), 16:57 , 21-Май-23, (45) –3 // Ну так они и подстроили - взяли RocksDB, налепили tailored обвязки , Tron is Whistling (?), 19:14 , 21-Май-23, (54) +1 костыли, Аноним (30), 23:24 , 21-Май-23, (66) –1 вопрос правообладания и обязательствВдобавок, многие проекты весьма долго тянутс, Бывалый смузихлёб (?), 16:35 , 21-Май-23, (44) 1 Выкладываем в OpenSource 2 Привлекаем заинтересованных разработчиков к проек, Аноним (39), 14:32 , 21-Май-23, (39) +3 // 1 Выкладываем в OpenSource 2 Получаем набег орды халявщиков с претензиями 3 У, YetAnotherOnanym (ok), 17:30 , 21-Май-23, (46) +4 // 7 Решаем что такие эксперименты не стоят затраченного времени, и больше ничего , Аноним (59), 19:39 , 21-Май-23, (59) 1 Company_name выкладывает в OpenSource2 Набегают хомячки3 Собираем налоги,, КО (?), 06:16 , 22-Май-23, (70) –1 GNU dbm , Аноним (62), 20:23 , 21-Май-23, (62) –1 // Berkeley DBSQLite Же Форк, чтоб без хранимых процедур , 1 (??), 14:23 , 22-Май-23, (86) Задержки в 2 5 и 16 задержки чего , Профессор (?), 07:37 , 22-Май-23, (71) –1 // Сложности перевода Посмотрите картинку там написано как правильно называется у, ыы (?), 10:23 , 22-Май-23, (80) Это то, из-за чего PP такой тормозной , bergentroll (ok), 09:19 , 22-Май-23, (75) +1 Это из-за нее пейпал тормозил как скотина и виснул , AndreyChe (?), 09:20 , 22-Май-23, (76) –1 Ждем MiddleDB и SeniorDB Кхм, за деньги, конечно , Вы забыли заполнить поле Name (?), 16:18 , 22-Май-23, (90) // MiddloDB и SenioroDB , Mail (?), 23:14 , 22-Май-23, (96) // MidoDB SenoDB, Аноним (30), 23:52 , 22-Май-23, (98) Так любимая линуксоидами фрагментация, когда идеи опенсорса распыляются, а выжив, Аноним (92), 16:50 , 22-Май-23, (92) –2 // Смотри, анончик, как бы твою девочку кто не танцевал, пока ты тут жиденько накид, Вы забыли заполнить поле Name (?), 21:45 , 22-Май-23, (95) // Не заработал он еще на девочку , Аноним (30), 23:51 , 22-Май-23, (97) 1,2,4,5,7,12,17,27,30,39,62,71,75,76,90,92

Сообщения

[Сортировка по времени | RSS]

1. "PayPal открыл код СУБД JunoDB"	–7 +/–
Сообщение от Аноним (1), 21-Май-23, 11:01
350 миллиардов? какая-то брехня.
Ответить | Правка | Наверх | Cообщить модератору

	9. "PayPal открыл код СУБД JunoDB"	+4 +/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 11:31
	Почему брехня. Это в день. 350000000000 / 86400 = ~4 миллиона запросов в секунду, если учесть что это колонковое хранилище, не так уж и много, просто здоровый кластер и шардинг по группе юзеров в итоге, когда у тебя все данные полностью шардятся, достижимо почти на чём угодно.
	Ответить | Правка | Наверх | Cообщить модератору

	10. "PayPal открыл код СУБД JunoDB"	+2 +/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 11:33
	По производительности параметры ж в материале указаны: 3 узла с конскими параметрами: 32 CPU Intel Xeon 2.30GHz, 214G ОЗУ и 450G хранилище на базе SSD И всего 15000 запросов в секунду. Это миллиард в день. Чтобы это смасштабировать на 350 миллиардов - надо полторы тысячи узлов минимум, если у тебя всё удачно шардится. Не много, но и не мало.
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	31. "PayPal открыл код СУБД JunoDB"	–1 +/–
	Сообщение от пох. (?), 21-Май-23, 13:45
	> надо полторы тысячи узлов минимум и тут ВНЕЗАПНО выясняется что синхронизация протестированная на трех - немножко не очень работает на полутора тысячах. В общем был я лучшего мнения о пэйпалке. Впрочем, подозреваю, это чудо в перьях существует гораздо меньше чем пэйпэл, тот с которым я когда-то имел дело - использовал что-то совсем другое.
	Ответить | Правка | Наверх | Cообщить модератору

	79. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от ыы (?), 22-Май-23, 09:48
	синхронизация ЧЕГО? данные в базах никуда не синхронизируются кроме как на рядом стоящую ноду...для отказоустойчивости... алллоо..меня слышно? синхронизируется там только etcd. Но это отдельная пестдня...
	Ответить | Правка | Наверх | Cообщить модератору

	48. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Аноним (48), 21-Май-23, 17:51
	Полторы тысячи нужно для гарантировано минимального отклика в 2.5мс читай новость внимательней
	Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

	50. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от пох. (?), 21-Май-23, 18:56
	Читаю - написано что эти 2.5ms (интересно, чем и в какой точке меряли-то?)  - это та самая экспериментальная установка аж из целых ТРЕХ серверов. Про характеристики той что полторы тысячи - ничего нет кроме запросов в секунду. А теперь пингани свой ближайший локалхост и посмотри 95% время ответа на icmp (не tcp! не userland! на пустой сети!). И еще разок взгляни на схему с кучей проксей поверх проксей. И еще что-то там про геораспределенность, явно не все в один мегасвичт воткнуто. "по-моему, где-то нас нае...ли"
	Ответить | Правка | Наверх | Cообщить модератору

	53. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Аноним (48), 21-Май-23, 19:09
	Да, а потом кто-то эти значения натянул на 350млрд. Зачем? Не факт, что на проде палки такой же отклик, зачем им это.
	Ответить | Правка | Наверх | Cообщить модератору

	81. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от ыы (?), 22-Май-23, 10:38
	Пинганул локалхост: 0.020 ms их 2,5ms - на два порядка больше. "Ближайший локалост" ты наверное имеешь в виду в локальной сети? которая 100Мб ? Один персонаж из фильма на такие эксприменты говорил так: "Я тут это... экскримент хочу сделать" (с) а у них а у них там хосты или виртуаки, или 10-20-40Gb сеть... так что пинг будет почти такой как у локалхоста.. ну можент чуть похуже...
	Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

	57. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 19:19
	Хз, сколько там нужно для 350 млрд, в теории-то вообще 350, потому что 3 - это 1 млрд, но по факту я натянул с потолка полторы тысячи, потому что 100% и шардинг и собственно интерлоки хромать будут.
	Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

	25. "PayPal открыл код СУБД JunoDB"	+2 +/–
	Сообщение от Аноним (25), 21-Май-23, 12:44
	Размещение данных в RAM - вот и весь секрет.
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	38. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 14:11
	Ну да, рам в половину хренилища. Хотя рокздыбыбл половину сожрёт на внутренние операции.
	Ответить | Правка | Наверх | Cообщить модератору

	40. "PayPal открыл код СУБД JunoDB"	–6 +/–
	Сообщение от пох. (?), 21-Май-23, 15:28
	Нужно ж понимать еще одну простую вещь - я в те годы когда не жил в Одичалии за Стеной пользовался палкой, да - но я ей пользовался раз в два-три месяца. Полагаю это вполне типичный use-pattern, и 90 или больше процентов этой базы на самом деле нахрен в памяти не сдались. Остальное - какие-нибудь ларьки по продаже чехлов к телефонам, которые долбят своими копеечными заказами с диким рейтом. А если прикинуть как часто (нет) нужны какие-нибудь исторические транзакции - то как бы не 99.9% ненужно получается. Возможно, конечно, у них все же транзакции хранятся где-то отдельно и в более подобающем формате, но это мягко говоря не доказано.
	Ответить | Правка | Наверх | Cообщить модератору

	56. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 19:17
	Да а зачем транзакцию отдельно то хранить? Есть ID транзакции, в ней есть ID юзера как value, в ней есть прочие ID связок как value, поиск делается по любому индексированному ID, далее выхватывается всё, что надо.
	Ответить | Правка | Наверх | Cообщить модератору

	60. "PayPal открыл код СУБД JunoDB"	–1 +/–
	Сообщение от пох. (?), 21-Май-23, 20:10
	так искать-то я буду не id транзакции. Я буду искать либо по кому (не id а value!) ушло, либо когда. чтобы мне показать список - нужно искать по мне и сортировать по дате (value). С биллингом то же самое - даты, имена, что угодно но не id. Про интегральную целостность тоже непонятно в таком раскладе - тебе надо мильен ключей и значений на каждую операцию сохранять, где там гарантии и есть ли они вообще, неясно, а денежки - материя тонкая, требуют аккуратного счета. Скорее всего там сохраняется блоб, и парсится уже в приложении а не базой. Медленно, неудобно, неэффективно, зато масштабируется по числу серверов приложения.
	Ответить | Правка | Наверх | Cообщить модератору

	64. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Tron is Whistling (?), 21-Май-23, 22:14
	По value находим id кого. По id кого находим собственно id транзакций с этим id кого. По id транзакций выбираем даты. Сортируем. Выгребаем по нужным id всё остальное. KV - оно такое.
	Ответить | Правка | Наверх | Cообщить модератору

	67. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от пох. (?), 21-Май-23, 23:33
	Ну да, потом удивляемся откуда взялись 300 миллионов запросов. Вот оттуда. KV такое KV. И искать в нем id по value - неожиданно (нет) очень дорогая операция.
	Ответить | Правка | Наверх | Cообщить модератору

	63. "PayPal открыл код СУБД JunoDB"	+4 +/–
	Сообщение от Аноним (63), 21-Май-23, 21:58
	> я ей пользовался раз в два-три месяца > Полагаю это вполне типичный use-pattern У вас поховый солипсизм. И пэйпал, конечно же, нагло врёт про 350 миллиардов, специально чтобы опеннетовских экспертов позлить. Ох, уж этот пейпал, такие-то гадюки!
	Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

	69. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Аноним (1), 22-Май-23, 04:12
	Причём тут RAM? Там нет такого количества запросо. Разве что что сам сервис ещё делает 10к запросов к внутренним сервисам при любом запросе извне.
	Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

	77. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от ыы (?), 22-Май-23, 09:28
	Маск цену себе набивает... Продаваться хочет...
	Ответить | Правка | Наверх | Cообщить модератору

	72. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от ыы (?), 22-Май-23, 07:42
	в 214G ОЗУ ?
	Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

	99. "PayPal открыл код СУБД JunoDB"	+/–
	Сообщение от Аноним (99), 23-Май-23, 15:20
	Только - вот новость-то - абсолютно все сколь-либо тиражные СУБД размещают оперативные данные ИСКЛЮЧИТЕЛЬНО в РАМе. И работают ТОЛЬКО с РАМой.
	Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема