форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Представлена инфраструктура по организации параллельных вычи..."	+/–
Сообщение от opennews (??) on 04-Май-15, 08:55
В дерево исходных текстов СУБД PostgreSQL приняты изменения (http://git.postgresql.org/gitweb/?p=postgresql.git;a=commitd...) с реализацией инфраструктуры для параллельных вычислений, предоставляющей следующие возможности: -  Удобные процедуры для координирования запуска и завершения работы параллельно выполняемых рабочих процессов; -  Синхронизация различных внутренних состояний (GUCs, комбинированный маппинг CID, снапшоты транзакций) между лидером группы параллельных работ и непосредственно распараллелеными рабочими процессами; -  Ограничение вызова различных операций, которые могут привести к внесению некорректных изменений в условиях активного распараллеливания; -  Доставка уведомлений клиенту через сообщения ErrorResponse, NoticeResponse и NotifyResponse от работающих в параллельном режиме обработчиков. Дополнительно, можно отметить появление (http://www.opennet.me/soft/job_PostgreSQL.odt) в компании Postgres Professional, в которой работают многие известные отечественные разработчики PostgreSQL, вакансий разработчиков на языке C для работы над ядром СУБД PostgreSQL. Трудоустройство на полный рабочий день в Москве. Работа подразумевает создание новой функциональности ядра СУБД PostgreSQL, участие в Open Source проектах и обеспечение поддержки 3-го уровня (исправление ошибок, поиск и решение проблем). Контакты для связи: obartunov@postgrespro.ru и a.korotkov@postgrespro.ru. URL: http://www.postgresql.org/message-id/E1Ynu2T-0005iK-Gf@... Новость: http://www.opennet.me/opennews/art.shtml?num=42158
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Представлена инфраструктура по организации параллельных вычи..."	+/–
Сообщение от Аноним (??) on 04-Май-15, 08:55
Публикация e-mail в удобном для спам ботов виде крайне способствует засорению персонального почтового ящика.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Представлена инфраструктура по организации параллельных вычи..."	+5 +/–
	Сообщение от A.Stahl (ok) on 04-Май-15, 09:01
	>Публикация e-mail в удобном для ... виде Это называется вежливость. Разгадывать ребусы вроде: o(a+)(искусство по-английски)unov(коммерческая собака)postgrespro(тчк)ru не в кайф. Особенно если действительно надо выйти на связь.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	3. "Представлена инфраструктура по организации параллельных вычи..."	+2 +/–
	Сообщение от Аноним (??) on 04-Май-15, 09:24
	ИМХО, но это точно не вежливость. Вежливость - это когда для резюме кандидатов открывают отдельный e-mail  и, при необходимости, краткий help. А забитый спамом персональный e-mail ведущих разработчиков это, простите, "свинью положили".
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	13. "Представлена инфраструктура по организации параллельных вычи..."	+1 +/–
	Сообщение от YetAnotherOnanym (ok) on 04-Май-15, 12:15
	Работал в провайдере, на сайте был открытым текстом адрес support@..., редиректился на мой персональный email, на мой же адрес редиректились hd@, helpdesk@, help@, abuse@, webmaster@, postmaster@ и ещё какие-то, все уже не помню. В день - два-три-пять собщений, пик - около десятка, в основном на русском. После обучения SA переставали проходить и они.
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	14. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от pkdr (ok) on 04-Май-15, 12:39
	Вообще-то rfc5321 как раз требует, чтобы postmaster@ не фильтровался. Да и abuse@, ИМХО лучше не фильтровать.
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	4. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от arzeth (ok) on 04-Май-15, 09:25
	Я ребусы (полегче) встречал только на русских сайтах. А так я вижу только типа mail(at)example(dot)com
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	5. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от A.Stahl (ok) on 04-Май-15, 09:27
	>mail(at)example(dot)com Неужели ты думаешь, что для сборщиков адресов этот адрес хоть как-то отличается от написанного прямым текстом? На улице 21 век, гигагерцовые процессоры и прочие достижения...
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	22. "Представлена инфраструктура по организации параллельных вычи..."	–1 +/–
	Сообщение от Аноним (??) on 04-Май-15, 18:17
	От профессионала спасёт только ещё более крутой профессионал. От скриптидис - спасёт. Та же история с ssh. Держать на стандартном 22 порту или перевесить? :) Как говаривал старик Шекспирыч:  ту бир ор нот ту бир?!
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	48. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от anonimous on 13-Май-15, 18:53
	> Та же история с ssh. Держать на стандартном 22 порту или перевесить? :) как же смИшно выглядят скриптикиддис перевешивающие с 22 на другой порт. по-вашему перебор портов для бота более занудная процедура, чем перебор пароля? добавьте уже один раз в /etc/ssh/sshd_config строку: AuthenticationMethods publickey и будет вам счастье
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	6. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от arzeth (ok) on 04-Май-15, 09:30
	> Это называется вежливость. > Разгадывать ребусы вроде: > o(a+)(искусство по-английски)unov(коммерческая собака)postgrespro(тчк)ru > не в кайф. Особенно если действительно надо выйти на связь. Либо вообще можно было бы так сделать: <span class="email">mail ...AAAATTTT... example ...DOOOT... com</span>, а затем с помощью JS сделать нормальный e-mail.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	7. "Представлена инфраструктура по организации параллельных вычи..."	+2 +/–
	Сообщение от Аноним (??) on 04-Май-15, 10:01
	Спам-боты уже сто лет как умеют выполнять JS-скрипты.
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	9. "Представлена инфраструктура по организации параллельных вычи..."	+1 +/–
	Сообщение от Бобазали on 04-Май-15, 10:34
	> Это называется вежливость. > Разгадывать ребусы вроде: > o(a+)(искусство по-английски)unov(коммерческая собака)postgrespro(тчк)ru > не в кайф. Особенно если действительно надо выйти на связь. >Либо вообще можно было бы так сделать: <span class="email">mail ...AAAATTTT... example ...DOOOT... com</span>, а затем с помощью JS сделать нормальный e-mail. А можно просто создать отдельный e-mail аналогичный resume@postgrespro.ru и пояснить, что для быстрой связи с Бортуновым О. письмо должно начинаться фразой : "Вниманию Олега Бортунова". Procmail или иной фильтр облегчит жизнь и оператору и Олегу. И, возможно, стоит перейти к содержанию новости, форма подачи, похоже получила свою долю внимания. Можно привести сравнительный пример выгод использования параллельно выполняемых рабочих процессов.
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	11. "Представлена инфраструктура по организации параллельных вычи..."	–1 +/–
	Сообщение от Генрих Мюллер on 04-Май-15, 11:29
	это называется фсб
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	8. "Представлена инфраструктура по организации параллельных вычи..."	–1 +/–
	Сообщение от Аноним (??) on 04-Май-15, 10:01
	> Публикация e-mail в удобном для спам ботов виде крайне способствует засорению персонального > почтового ящика. А с приходом Яндекса/GMail'а такая проблема как спам еще существует?
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

10. "Представлена инфраструктура по организации параллельных вычи..."	+8 +/–
Сообщение от Аноним (??) on 04-Май-15, 11:17
скажите когда же в postgres уже появиться merge/upsert ???
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	12. "Представлена инфраструктура по организации параллельных вычи..."	–1 +/–
	Сообщение от vitalif (ok) on 04-Май-15, 11:39
	во-во, +100
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	15. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от фыва on 04-Май-15, 16:06
	http://www.depesz.com/2012/06/10/why-is-upsert-so-complicated/
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	17. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 16:15
	это все извращения, локи, ловля исключений. нужно просто сделать нормальный штатный механизм
	Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

	33. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 23:01
	Займись на досуге.
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	36. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Roman (??) on 04-Май-15, 23:45
	> http://www.depesz.com/2012/06/10/why-is-upsert-so-complicated/ Особое удовольствие когда на таблице несколько ограничений уникальности или пр. причин для исключения)
	Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

	20. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от denis111 (ok) on 04-Май-15, 17:05
	insert into mytable (col1,col2) (select distinct * from (values ('val1','val2')) as tmp (col1,col2) where not exists (select 1 from mytable t where t.col1 = tmp.col1 and t.col2 = tmp.col2))
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	35. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Roman (??) on 04-Май-15, 23:42
	а апдейт где?
	Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

	45. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от PnDx (ok) on 06-Май-15, 15:26
	Строчкой ниже и с теми же полями. Правда, красота? </sarcasm> Но реально редко напрягает, т.к. прячется за более высокоуровневым синтаксисом.
	Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

	47. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от rob pike on 08-Май-15, 12:46
	уже https://github.com/postgres/postgres/commit/168d5805e4c08bed...
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

16. "Представлена инфраструктура по организации параллельных вычи..."	+/–
Сообщение от Аноним (??) on 04-Май-15, 16:11
Вот интересно, когда появится возможность создавать таблицы в памяти, аналог memory таблиц у MySQL?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	18. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 16:17
	это считай есть, man tablespace
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	23. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 18:58
	Читал. Это не то.
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

	28. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 20:27
	Это то - создай tablespace в tmpfs
	Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

	19. "Представлена инфраструктура по организации параллельных вычи..."	+1 +/–
	Сообщение от фыва on 04-Май-15, 16:17
	В версии 9.1 появились unlogged tables
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	21. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Михрютка (ok) on 04-Май-15, 17:21
	а они разве какое-то отношение к engine=memory имеют? мне всю дорогу казалось, что нет
	Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

	25. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от фыва on 04-Май-15, 19:18
	Имеют, они в разы быстрее обычных, но не журналируются (и не реплицируются). За меньшую скорость относительно таблиц mysql "только в памяти" снимается ограничение на размер. А также переживает не аварийный перезапуск сервера. Можно почитать здесь: http://www.depesz.com/2011/01/03/waiting-for-9-1-unlogged-ta.../
	Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

	38. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Михрютка (ok) on 05-Май-15, 07:18
	> Имеют, они в разы быстрее обычных, но не журналируются (и не реплицируются). > За меньшую скорость относительно таблиц mysql "только в памяти" снимается ограничение > на размер. А также переживает не аварийный перезапуск сервера. > Можно почитать здесь: http://www.depesz.com/2011/01/03/waiting-for-9-1-unlogged-ta.../ ну то есть два разных механизма, как я и думал. по скорости "в разы быстрее" это преувеличение скорее всего, вот человек мерял http://michael.otacoo.com/postgresql-2/unlogged-table-perfor.../ и говорит о росте не более 20% на его задаче.
	Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

	43. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от фыва on 05-Май-15, 17:56
	>вот человек мерял http://michael.otacoo.com/postgresql-2/unlogged-table-perfor... и говорит о росте не более 20% на его задаче. Так это общее ускорение ответа страниц, отработка запросов к таблицам постгреса ускоряется в разы, особенно при частых вставках.
	Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

	34. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 23:02
	> а они разве какое-то отношение к engine=memory имеют? мне всю дорогу казалось, > что нет Прочитай документацию.
	Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

	24. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 19:04
	Тоже по этой причине на MySQL висит несколько проектов. Задавал этот вопрос у них на форуме, на что получил ответ - используй memcached. Вот только тогда поддерживать тогда надо не одну базу, а две, и перекидывать данные из одной в другую одним запросом, как это делается в случае MySQL, не получится.
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	26. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 19:27
	Зачем?
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	27. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 19:39
	Например есть данные, которые вообще нет необходимости писать в пзу, какие-нибудь данные онлайн, например список подключенных абонентов. В некоторых ситуациях можно добавлять и обновлять данные в таблице в памяти и из нее сохранять в таблицу на пзу через какой-то промежуток времени. Это не только ускоряет работу с базой, но и значительно увеличивает срок службы ssd. Таблица в памяти определенно нужная функция, иначеб ее не было в mysql
	Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

	29. "Представлена инфраструктура по организации параллельных вычи..."	+1 +/–
	Сообщение от Аноним (??) on 04-Май-15, 20:44
	Бгг. "Нетранзакционный DDL - нужная функция, иначе б его не было в MySQL".
	Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

	31. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 21:30
	Далеко не всегда нужны ACID таблицы и транзакции. В моей практике часто встречались задачи, в которых потеря данных за час-два и даже день несущественна. Особенно учитывая редкость отключения электричества и использование ибп. А транзакции можно обеспечить и на memory движке, просто это осталось в разделе "недоделанное", как и тысячи других вещей.
	Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

	32. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 21:44
	http://lmgtfy.com/?q=DDL&l=1
	Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

	37. "Представлена инфраструктура по организации параллельных вычи..."	+1 +/–
	Сообщение от Аноним (??) on 05-Май-15, 00:12
	Я для такого использую redis, а когда надо с ним заджойнить - redis FDW. Костыль, но отлично работает (только джойнить надо с  CTE на foreign table, иначе redis на каждый id дергается).
	Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

	39. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 05-Май-15, 09:06
	Redis быстрая и очень гибкая СУБД. Postre и MySQL стоило бы поучиться у нее. Чего только стоит управляемое прозрачное кеширование в ram..., реляционных аналогов к сожалению не предвидется
	Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

	42. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от rob pike on 05-Май-15, 17:42
	отож. > 45% of acknowledged writes were thrown away. To add insult to injury, Redis preserved all the failed writes in place of the successful ones https://aphyr.com/posts/307-call-me-maybe-redis-redux
	Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

	44. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 05-Май-15, 22:14
	Основной недостаток redis-а - персистенция через fork(): при большом потоке записей copy-on-write может раздуть процессы до срабатывания oom killer. overcommit_memory проблему решает, но костыль еще тот.
	Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

	30. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 04-Май-15, 20:50
	Всегда было: http://www.databasesoup.com/2015/02/running-with-scissors-mo...
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

40. "Представлена инфраструктура по организации параллельных вычи..."	+/–
Сообщение от Прохожий (??) on 05-Май-15, 10:29
Зачем это? Реализовывать процедуры, которые будут в фоне на стороне базы работать?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	41. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от Аноним (??) on 05-Май-15, 16:23
	Как вариант многопоточные хранимки, если например внутри хранимки надо сделать несколько тяжелых запросов, то их можно запустить параллельно
	Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

	46. "Представлена инфраструктура по организации параллельных вычи..."	+/–
	Сообщение от фыва on 06-Май-15, 16:38
	Два момента где многопоточность будет рулить: 1. неблокирующее чтение, в том числе с нескольких физических устройств сразу (для распределенных таблиц), возможно будет и упреждающее чтение 2. распараллеливание тяжелых запросов где грузится процессор (сортировка, GiST)
	Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема