The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизации баз данных"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизации баз данных"  +/
Сообщение от opennews (??), 24-Июл-23, 12:11 
Состоялся релиз nxs-data-anonymizer 1.0.0 — инструмента для анонимизации дампа баз данных PostgreSQL и MySQL. Инструмент написан на языке Go и выпускается под лицензией Apache License 2.0...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=59486

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от Аноним (1), 24-Июл-23, 12:11 
а зачем выкладывать дамп с персональными данными? это незаконно во многих юрисдикциях. Вы доверите какой-то проге свою юридическую безопасность?
Ответить | Правка | Наверх | Cообщить модератору

2. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +7 +/
Сообщение от pashev.ru (?), 24-Июл-23, 12:25 
Для внутреней разработки и тестовых развертываний. Чувствительные данные надо «замазывать».
Ответить | Правка | Наверх | Cообщить модератору

15. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +1 +/
Сообщение от keydon (ok), 24-Июл-23, 18:50 
Чувствительные данные не надо хранить.
Уж сколько раз и крупные корпорации и банки и правительственные конторы утекали.
Но нет, надо же чтобы были подписки (а значит и номера карт), обращение по имени (а значит ФИО), геотаргетинг (а значит адрес) и прочее "для вашего удобства" (на самом деле нет, чтобы можно было использовать базу для маркетинга).

В большинстве случаев ничего из этого не нужно.
Покупки с адресом можно делать и анонимно, достаточно показать пользователю id заказа. Соотнести любую информацию с ним можно по адресу или по номеру кредитной карты (которая сама по себе гораздо менее чувствительна).

Но конечно бесконечное количество глупых законов и маркетолухов не дадут этого сделать.

Ответить | Правка | Наверх | Cообщить модератору

17. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +1 +/
Сообщение от _ (??), 24-Июл-23, 21:08 
>Чувствительные данные не надо хранить.

Ты опоздал родиться. Века на два как минимум :)

Ответить | Правка | Наверх | Cообщить модератору

21. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +1 +/
Сообщение от BeLord (ok), 25-Июл-23, 09:57 
И как вы без хранения данных предлагаете привязать юзера к его мед.карте, к примеру?-)))
Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

22. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  –1 +/
Сообщение от rshadow (ok), 25-Июл-23, 19:16 
Для какой-то обработки они тебе никогда не нужны. Все равно внутри оперируешь просто id-шниками.
Если, например, надо ФИО написать в карточке, то тут надо хранить пары id-фио в отдельной базе/сервисе (более строго защищенных) или вообще отдать на хранение провайдеру идентификации (google, vk id и т.д., через что он у вас там логинится) и ходить за ними когда надо. Для этого собственно oauth со скоупами и придумали.
Ответить | Правка | Наверх | Cообщить модератору

23. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  –1 +/
Сообщение от gg (??), 26-Июл-23, 09:30 
> на хранение провайдеру идентификации (google

который будет ими торговать, ровно как сейчас это и происходит, вот вырисовывается выбор, хранить номер карты в базе вордпреса местной областной больнички, где админчик получает 45к наруки или у дяди билли среди миллионов таких же как ты, а уж дядя билли и нейросеть купит, и обучит, и найдет способ тебе чтото продать, а если не сам, то третьим лицам продаст..

Собственно с этой точки точки зрения разницы нет, сольют базу злодеи через дыру, или купят у барыги, вопрос в качестве материала, уж не будет админчик за 45к ее валидировать и поддерживать в актуальном состоянии годами, а барыга будет.

Вопрос только в том, что Дядям, очень не хочется иметь дел с админчиками, поэтому и пишутся законы о защите, которые вынуждают и тебя и админчика идти к барыгам, которые эту инфу по первому челчку запакуют и отправят этим Дядям.

Вот лично я, предпочел бы админчика, и вордпресс, куда я могу зайти и поменять себе и номер карты и фамилию, и телефон, и пусть звонят туда мошенники и пытаются там выудить денег.

а вот с барыгами такой фокус уже не проканает

Ответить | Правка | Наверх | Cообщить модератору

24. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от rshadow (ok), 26-Июл-23, 09:46 
В этом плане мне больше нравится если бы вход везде был через госуслуги. Государство все равно о тебе и так все знает. Ну по крайней мере для легальных сайтов почему бы и нет. Конечно на википедию таким образом уже было бы не зайти ))

Ну либо вариант хранить самому. Наверно для каких-то чувствительных вещей вида медицины было бы неплохо делать так. Главное чтобы этим занимался эксперт а не доморощенный админ. Везде все утекает, но вопрос скорее чтобы цена не была уж слишком дешевой.

Ответить | Правка | Наверх | Cообщить модератору

29. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от BeLord (ok), 27-Июл-23, 09:32 
> В этом плане мне больше нравится если бы вход везде был через
> госуслуги. Государство все равно о тебе и так все знает. Ну
> по крайней мере для легальных сайтов почему бы и нет. Конечно
> на википедию таким образом уже было бы не зайти ))
> Ну либо вариант хранить самому. Наверно для каких-то чувствительных вещей вида медицины
> было бы неплохо делать так. Главное чтобы этим занимался эксперт а
> не доморощенный админ. Везде все утекает, но вопрос скорее чтобы цена
> не была уж слишком дешевой.

Для каких-то вещей типа медицины уже давно через госулуги доступ, а само ПО в защищенных ЦОД. Хранить данные самому крайне дорого и особого смысла в этом нет.

Ответить | Правка | Наверх | Cообщить модератору

30. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от BeLord (ok), 27-Июл-23, 09:33 
> Для какой-то обработки они тебе никогда не нужны. Все равно внутри оперируешь
> просто id-шниками.
> Если, например, надо ФИО написать в карточке, то тут надо хранить пары
> id-фио в отдельной базе/сервисе (более строго защищенных) или вообще отдать на
> хранение провайдеру идентификации (google, vk id и т.д., через что он
> у вас там логинится) и ходить за ними когда надо. Для
> этого собственно oauth со скоупами и придумали.

Через гугл, ПДн, ай молодца. 152-ФЗ стоит почитать для разнообразия.

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

26. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от keydon (ok), 26-Июл-23, 11:42 
> И как вы без хранения данных предлагаете привязать юзера к его мед.карте,
> к примеру?-)))

Примерно также как делали это столетие или примерно также как это делает биткойн - по корешку и обложки медкарты (айдишнику), которая вообще говоря может быть и без фамилии и имени (просто такой вот хэш приняли в медучреждении).

Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

4. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от pashev.ru (?), 24-Июл-23, 12:30 
На самом деле, эта штука бесполезна. Я рекомендую в каждом конкретном случае делать это самостоятельно, хоть на Баше, потому что никто, кроме вас не знает вашу БД. Думаю, этот прожект и вырос из такой самоделки, но для других он бесполезен.
Ответить | Правка | Наверх | Cообщить модератору

6. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +2 +/
Сообщение от Виктор (??), 24-Июл-23, 13:37 
Понятное дело, что никто лучше вас самих вашу БД не знает. Скажу больше - если вы не знаете свою БД, то и пользоваться этим инструментом вы не сможете, так как он магию за вас не сделает и не определит самостоятельно где лежат чувствительные данные для вашего бизнеса и как их нужно изменить. Его задача заключается в том, чтобы максимально упростить работу по изменению этих самых данных, чтоб, как вы сказали, не сидеть и не сочинять скрипты на баше, заниматься их отладкой и поддержкой, а просто написать конфиг, где даже знания SQL не нужны.
Ответить | Правка | Наверх | Cообщить модератору

12. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +1 +/
Сообщение от pashev.ru (?), 24-Июл-23, 17:02 
> том, чтобы максимально упростить работу по изменению этих самых данных, чтоб,
> как вы сказали, не сидеть и не сочинять скрипты на баше,
> заниматься их отладкой и поддержкой, а просто написать конфиг, где даже
> знания SQL не нужны.

Ага, учить новый язык шаблоны и прочую святотень вместо уже хорошо известного SQL.

Ответить | Правка | Наверх | Cообщить модератору

13. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от pashev.ru (?), 24-Июл-23, 17:11 
1. Берётся ежедневный бэкап (дамп).
2. Импортируется на отдельном сервере.
3. На этом сервере прогоняется запросы на чистку/изменение данных.
4. Делается дамп, раздаётся разработчикам или/и импортируется в тестовое окружение.

Пункты 3 и 4 могут быть посложнее, например разработчикам удобнее дамп поменьше.

Ответить | Правка | Наверх | Cообщить модератору

14. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от pashev.ru (?), 24-Июл-23, 17:14 
Это всё заодно и является проверкой адекватности бэкапов )

Разумеется, легко автоматизируется.


Ответить | Правка | Наверх | Cообщить модератору

16. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от keydon (ok), 24-Июл-23, 18:58 
Я конечно и сам так делал.
Но вообще говоря есть разные сценарии и требования.
И если где-то достаточно через awk заменить все даты рождения 3 января 2009 года, то где-то для тестирования и верификации нужны разные даты. А еще есть имена, адреса и т.д..
Но в идеале конечно лучше просто не работать ни с какими чувствительными данными. Нет данных - нет проблем.
Ответить | Правка | Наверх | Cообщить модератору

20. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от WE (?), 25-Июл-23, 07:39 
продолжу. нет проблем - нет продаж - нет денег.
Ответить | Правка | Наверх | Cообщить модератору

25. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от keydon (ok), 26-Июл-23, 11:38 
> продолжу. нет проблем - нет продаж - нет денег.

"А я в принципе и так лежу и ничего не делаю"

Ответить | Правка | Наверх | Cообщить модератору

31. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от pashev.ru (?), 27-Июл-23, 09:35 
Да какой авк? Я же написал — работать с базой данных, скл.
Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

33. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от keydon (ok), 27-Июл-23, 16:12 
> Да какой авк? Я же написал — работать с базой данных, скл.

А следующий этап этап зашаблонить этот скл и оформить в виде плагина и вот он, такой же инструмент для анонимизации, только заточенный на одну компанию и самим дебажить.

Ответить | Правка | Наверх | Cообщить модератору

5. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от Аноним (5), 24-Июл-23, 13:24 
Анонимизация на языке GO! :)
google с нами :)
Ответить | Правка | Наверх | Cообщить модератору

7. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от Василий Топоровemail (?), 24-Июл-23, 13:49 
Единственная связь с Google там - прокси, задаваемый через переменную окружения GOPROXY (и через неё же и отключаемый). Но это свойство вашей установки Go, а не конкретного софта.
Ответить | Правка | Наверх | Cообщить модератору

9. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от Аноним (9), 24-Июл-23, 15:43 
Там же вроде ещё и телеметрия в утилитах, или она не по-умолчанию?
Ответить | Правка | Наверх | Cообщить модератору

8. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от Бывалый смузихлёб (?), 24-Июл-23, 14:07 
> для анонимизации дампа баз данных

Это как ? Типо, по конкретному адресу и с конкретными кредами подключаюсь к хз кому ради хз чего ?

Ответить | Правка | Наверх | Cообщить модератору

18. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  –1 +/
Сообщение от _ (??), 24-Июл-23, 21:22 
Тебе это не надо. Это для компУтерЩикаФФФ" :)
Ответить | Правка | Наверх | Cообщить модератору

19. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от _ (??), 24-Июл-23, 21:24 
Для компУтерЩикаФФФ" :)  - вот вам Ыкзампель:
export PGPASSWORD=password; pg_dump -U postgres prod | /path/to/nxs-data-anonymizer -t pgsql -c /path/to/nxs-data-anonymizer.conf | psql -U postgres dev

Сам это юзать не буду, у нас спецтулза для этого закуплена за тЫЩЩи нФФти :)))

Ответить | Правка | Наверх | Cообщить модератору

34. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от пох. (?), 03-Авг-23, 17:11 
> Сам это юзать не буду, у нас спецтулза для этого закуплена за тЫЩЩи нФФти :)))

awk ?
sed, небось, дешевле бы стоил...

Ответить | Правка | Наверх | Cообщить модератору

27. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  –2 +/
Сообщение от pavlinux (ok), 26-Июл-23, 14:07 
Оxocпадя, eгэшники ввыросли.  

$ mysqldump bazadata | gpg  -c > ~/bazadata.gpg


> Возможность удаления таблиц и строк из анонимизированного дампа;

Ну давайте, расскажите как удалить "известную строку" и неизвестного дампа? (без временной деанонимизации)

Ответить | Правка | Наверх | Cообщить модератору

28. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."  +/
Сообщение от Виктор (??), 27-Июл-23, 08:46 
> Оxocпадя, eгэшники ввыросли.  
> $ mysqldump bazadata | gpg  -c > ~/bazadata.gpg

И что вы этим хотели сказать? Что умеете хранить данные БД в шифрованном виде? Так здесь речь как бы не про это. Как мне это должно помочь залить на dev-стенд БД без чувствительных данных с прода?

> Ну давайте, расскажите как удалить "известную строку" и неизвестного дампа? (без временной деанонимизации)

Вы хорошо прочитали описание тулзы и что здесь подразумевается под словом анонимизация? На всякий случай оставлю это тут - тулза затирает именно данные, а не саму структуру БД. Поэтому что вас смущает в исходном утверждении непонятно от слова совсем.

Ответить | Правка | Наверх | Cообщить модератору

32. Скрыто модератором  +1 +/
Сообщение от ivan_erohin (?), 27-Июл-23, 10:00 
Ответить | Правка | Наверх | Cообщить модератору

35. Скрыто модератором  +/
Сообщение от пох. (?), 03-Авг-23, 17:13 
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру