Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Релиз инструмента для анонимизации баз данных nxs-data-anonymizer 1.4.0"	+/–
Сообщение от opennews (??), 24-Апр-24, 14:03
Опубликован nxs-data-anonymizer 1.4.0 - инструмент для анонимизации дампа баз данных PostgreSQL и MySQL/MariaDB/Percona. Утилита поддерживает анонимизацию данных на основе шаблонов и функций библиотеки Sprig. Среди прочего, для заполнения можно использовать значения других столбцов для той же строки.   Допустимо использовать инструмент через неименованные каналы (pipe) в командной строке и перенаправить дамп из исходной БД непосредственно в целевую БД с необходимыми преобразованиями. Инструмент написан на языке Go и  выпускается под лицензией Apache License 2.0... Подробнее: https://www.opennet.me/opennews/art.shtml?num=61062
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

2. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+3 +/–
Сообщение от Аноним (2), 24-Апр-24, 14:04
Для непросвященных - какая область применения? Нутром чую что где-то кому-то такое надо. А вот кому и в какой ситуации - ума не приложу.
Ответить | Правка | Наверх | Cообщить модератору

	3. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+1 +/–
	Сообщение от Аноним (-), 24-Апр-24, 14:18
	> Для непросвященных - какая область применения? Нутром чую что где-то кому-то такое > надо. А вот кому и в какой ситуации - ума не > приложу. Например если ты должен провести анализ базы, а допуска у сотрудника нету. Просто анонимизируешь и с чистой совестью отдаешь. Примерно такая же ситуация на аутсорсе.
	Ответить | Правка | Наверх | Cообщить модератору

	8. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от КО (?), 24-Апр-24, 15:09
	И что он там будет анализировать без переменных?
	Ответить | Правка | Наверх | Cообщить модератору

	10. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+2 +/–
	Сообщение от Аноним (10), 24-Апр-24, 16:15
	Все переменные на месте. А вот значения переменных подменяются случайными строками так, чтобы программный код, использующий базу данных мог работать с базой как с настоящей. Анализировать можно скорость и эффективность работы с базой. Могут быть задачи по описанию бизнес логики предприятия (да, так бывает, что не могут понять точно кто что зачем делает на предприятии и нанимают аудит для наведения порядка). И самое очевидное: нанятый разработчик, без доступа к реальным данным, пишет и отлаживает какую-либо программу, использующую базу данных.
	Ответить | Правка | Наверх | Cообщить модератору

	11. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от Аноним (11), 24-Апр-24, 16:45
	Мда, рекомендую взглянуть на процессы The Libertators. Там два мужика разрабатывают методологии для компаний и их изучают. Довольно неплохие иллюстрации делают для этих процессов.
	Ответить | Правка | Наверх | Cообщить модератору

	12. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от Аноним (12), 24-Апр-24, 17:15
	А как это гуглить? Куда глядеть?
	Ответить | Правка | Наверх | Cообщить модератору

	18. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	–1 +/–
	Сообщение от Аноним (18), 24-Апр-24, 21:02
	https://theliberators.com/ Внизу ссылка на их соцсети, где follow us написано. Я лично смотрю их канал через LinkedIn, но насколько я понял у вас он запрещён (что наверно верное решение). Но там есть выбор и насколько я понимаю они на курсах зарабатывают.
	Ответить | Правка | Наверх | Cообщить модератору

	20. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от Аноним (18), 24-Апр-24, 21:20
	Вот я например открываю их medium и одна из первых статей:   Секретный соус успешных инициатив по изменениям https://medium.com/the-liberators/the-secret-sauce-of-succes... Правда у них были и более сильные статьи. Если постоянно читать, можно много интересного почерпнуть.
	Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

	21. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от Аноним (18), 24-Апр-24, 21:35
	Или вот: Раскройте Scrum в своей организации с помощью нашего нового комплекта https://medium.com/the-liberators/unleash-scrum-in-your-orga... Просто гляньте на картинку что делает скрам успешным. И вот у них таких иллюстраций интересных много. Если понять эти процессы, то продуктивность можно существенно повысить. Но есть небольшой нюанс — хорошие менеджеры организовывают работу так что команда/ы начинают развиваться самостоятельно и в какой-то момент они становятся не нужны. Но сокращение такого менеджера будет ошибкой, так как процессы периодически требуют корректировки — проверенный факт. В целом менеджмент/синьеры-лиды на постсоветском пространстве это мрак и ужас, потому что этому тоже нужно учиться и много, а это только один из источников я описал.
	Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

	9. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+1 +/–
	Сообщение от Аноним (10), 24-Апр-24, 16:09
	> Для непросвященных - какая область применения? Нутром чую что где-то кому-то такое надо. А вот кому и в какой ситуации - ума не приложу. В тестировании и отладке. Из продуктива берутся реальные данные, анонимизируются и отдаются тестировшикам. Автоматические тесты работают с такой копией. Данные из такой копии можно для примера отдавать разработчику для работы над найденными багами. Разработчики бывают из другого юр.лица. Т.е. совсем посторонние. В банках распространено, например.
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

	16. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от Аноним (16), 24-Апр-24, 20:14
	Не проще ли тогда тупо СГЕНЕРИРОВАТЬ фэйковую базу и отдать?!
	Ответить | Правка | Наверх | Cообщить модератору

	19. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+1 +/–
	Сообщение от Аноним (19), 24-Апр-24, 21:07
	Потому что в реальной базе иногда могут случаться такие комбинации данных, который ни один генератор или ИИ не нагенерит.. и именно на таком сочетании оно делает кряк, и не работает.. База данных это врядли одна плоская табличка которую фором из дев рандома набил и готово. там связи и иногда не очевидные.
	Ответить | Правка | Наверх | Cообщить модератору

	22. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от Фняк (?), 24-Апр-24, 23:04
	Если было бы проще, все бы так и делали. А на деле это нифига не просто сделать такую базу чтобы данные статистически не сильно отличались от реальных, чтобы не создавались невозможные комбинации данные и при этом воспроизводились странные ситуации когда часть записей создавалось в одной версии системы, часть в другой, а обрабатываются они третьей версией
	Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

	26. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от Аноним (10), 25-Апр-24, 15:21
	> Не проще ли тогда тупо СГЕНЕРИРОВАТЬ фэйковую базу и отдать?! Это невозможно сделать надёжно. Т.к. - программируют максимально дёшево, максимально быстро, - люди приходят и уходят, - через некоторое время стоимость надёжного генератора тест-базы с нуля становится ооочень высокой, слишком много человеко-часов нужно на обратный инженеринг программного кода, когда множество авторов измений которого давно ушли. Самое обычное в крупном бизнесе.
	Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

	27. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от Аноним (27), 25-Апр-24, 15:43
	> слишком много человеко-часов нужно на обратный инженеринг программного кода, когда множество авторов измений которого давно ушли. Так у них, что, документации нет как факт, на собственно генеренный код?
	Ответить | Правка | Наверх | Cообщить модератору

	24. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от нах. (?), 24-Апр-24, 23:23
	> Разработчики бывают из другого юр.лица. Т.е. совсем посторонние. как будто своим кто-то доверять собрался. Ты на их рожи протокольные глянь - я всегда когда к ним иду, мобилу в стол прячу. А то отвлекут и не заметишь как сперли. А тут база с реальными деньгами и номерами. Да кто ж им дасть-то...
	Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

	13. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	–1 +/–
	Сообщение от нах. (?), 24-Апр-24, 17:21
	> Для непросвященных - какая область применения? ну это когда начальнега говорит - сдампи продовую базу и отдай разработчикам, пусть у себя на стенде ищут что вчера поломали. Только удали из нее персональные данные и все емейлы замени на devnull@localhost А ты sed'ом пользоваться не умеешь...
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

	17. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	–1 +/–
	Сообщение от Аноним (16), 24-Апр-24, 20:16
	Да никакая, тупо баловство! Хочешь сделать "анонимную" базу - да тупо сгенери фэйковые записи, зачем ещё влезать в продакшен базу?!!
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

	23. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от нах. (?), 24-Апр-24, 23:21
	патамушта на фейковых трех записях все работало, тут ровно, тут выпирает, как в ТЗ. А на нефейковой терабайтной ой.. упало. Ашипка-ашипка насяльника.
	Ответить | Правка | Наверх | Cообщить модератору

	28. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
	Сообщение от Аноним (27), 25-Апр-24, 15:44
	А еще есть вариант, когда ты накатываешь данные из "анонимизатора", и внезапно все начинает работать, как требуется.
	Ответить | Правка | Наверх | Cообщить модератору

4. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+1 +/–
Сообщение от Аноним (4), 24-Апр-24, 14:42
еще мы пользовались таким вариантом когда нужна реальная база с прода, но мы не хотим чтобы она както пересекалась с реальными данными и там не сработали дублирующие нотификации в виде отправки email несколько раз тоже нужно было заменить клиентские данные чтобы можно было отдать на тест запросов для новичков для практики написания sql запросов (когда локально, у меня ничего не тормозит, а на проде джойн долго отрабатывает)
Ответить | Правка | Наверх | Cообщить модератору

5. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
Сообщение от Хухрымухры (ok), 24-Апр-24, 14:46
Пример бы где-то глянуть. Типа дамп до и после.
Ответить | Правка | Наверх | Cообщить модератору

	6. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+2 +/–
	Сообщение от nixys (ok), 24-Апр-24, 14:59
	В репозитории описали пример до\после, скрипты тоже описаны: https://github.com/nixys/nxs-data-anonymizer?tab=readme-ov-f...
	Ответить | Правка | Наверх | Cообщить модератору

29. "Релиз инструмента для анонимизации баз данных nxs-data-anony..."	+/–
Сообщение от Электрон (?), 26-Апр-24, 07:08
Инструмент... скорее фреймворк. Анонимизация - это алгоритмы, а не "вот вам ручка, там как-нибудь сами напишите рандомизацию". Именно анонимизировать данные - очень сложно. Уверен, у каждой большой компании на эту тему были статьи или проекты. Помню статью Яндекса на Хабре, там какой-то тестовый датасет готовили. Пример из жизни: Web of Trust (mywot-com) "закончился" после того, как журналисту вместе со спецами удалось соотнести "анонимизированные" данные, которые, как оказалось, WoT собирал и продавал, с данными из других маркетинговых источников, для определения полицейского в датасете. Так как аудитория у WOT была повернутая на безопасности-приватности, то исход пользователей был массовый. WOT пришлось сделать ребрендинг, как у них сейчас дела - не знаю. Это еще не говоря о расширенном "OSINT", который в т.ч. включает в себя анализ маркетинговых трекинговых данных. Соотнеси несколько "анонимизированных" источников и получишь что надо. Но для галочки и законодателей хватит.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема