Вариант для распечатки |
Пред. тема | След. тема | ||
Форум Разговоры, обсуждение новостей | |||
---|---|---|---|
Изначальное сообщение | [ Отслеживать ] |
"Опубликован BoN, метод обхода фильтров больших языковых моделей" | +/– | |
Сообщение от opennews (??), 18-Дек-24, 22:59 | ||
Выявлен новый метод атаки, позволяющий обойти механизмы противодействия генерации опасного контента, применяемые в AI-сервисах на основе больших языковых моделей. Метод, который получил кодовое имя BoN (Best-of-N), при тестировании на 10 тысячах запросов позволил обойти ограничения модели GPT-4o в 89% случаев, модели Claude 3.5 Sonnet - в 78%, а Gemini Pro - в 50%. Инструментарий для проведения атаки опубликован под лицензией MIT... | ||
Ответить | Правка | Cообщить модератору |
Оглавление |
Сообщения | [Сортировка по времени | RSS] |
1. Скрыто модератором | +6 +/– | |
Сообщение от Аноним (1), 18-Дек-24, 22:59 | ||
Ответить | Правка | Наверх | Cообщить модератору |
2. Скрыто модератором | –3 +/– | |
Сообщение от Bottle (?), 18-Дек-24, 23:04 | ||
Ответить | Правка | Наверх | Cообщить модератору |
13. Скрыто модератором | +5 +/– | |
Сообщение от mistiq (ok), 19-Дек-24, 00:48 | ||
Ответить | Правка | Наверх | Cообщить модератору |
30. Скрыто модератором | –5 +/– | |
Сообщение от Аноним (30), 19-Дек-24, 06:35 | ||
Ответить | Правка | Наверх | Cообщить модератору |
4. Скрыто модератором | +/– | |
Сообщение от Аноним (-), 18-Дек-24, 23:36 | ||
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору |
7. Скрыто модератором | +/– | |
Сообщение от Аноним (-), 18-Дек-24, 23:52 | ||
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору |
12. Скрыто модератором | +1 +/– | |
Сообщение от Аноним (-), 19-Дек-24, 00:39 | ||
Ответить | Правка | Наверх | Cообщить модератору |
16. Скрыто модератором | +2 +/– | |
Сообщение от Аноним (16), 19-Дек-24, 01:14 | ||
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору |
3. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +4 +/– | |
Сообщение от nc (ok), 18-Дек-24, 23:09 | ||
Скорей бы уже появились Свободные Децентрализованные LLM, в которых нет никакой цензуры и для которых не нужно никаких фильтров. | ||
Ответить | Правка | Наверх | Cообщить модератору |
8. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +11 +/– | |
Сообщение от Аноним (-), 18-Дек-24, 23:53 | ||
Угу, Свободная Китайская LLM, Свободная Русская, Свободная Американская и, самая ценная, Свободная LLM от Латиноамериканского Фонда (запускается только на core2дуо) | ||
Ответить | Правка | Наверх | Cообщить модератору |
22. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +2 +/– | |
Сообщение от Нейм (?), 19-Дек-24, 05:56 | ||
Про финскую забыли. | ||
Ответить | Правка | Наверх | Cообщить модератору |
38. Скрыто модератором | –1 +/– | |
Сообщение от Аноним (38), 19-Дек-24, 07:54 | ||
Ответить | Правка | Наверх | Cообщить модератору |
61. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (61), 19-Дек-24, 09:02 | ||
К сожалению на Core2Duo не запустится ничего. AVXом2 не вышел. Да и оперативы DDR2 столько на него не купишь. А если купишь - то материнку свою собственную проектировать и производить придётся. | ||
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору |
72. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (72), 19-Дек-24, 09:32 | ||
> К сожалению на Core2Duo не запустится ничего. | ||
Ответить | Правка | Наверх | Cообщить модератору |
77. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (61), 19-Дек-24, 09:51 | ||
Дело тут не в Core2Duo. Малюсенькие модельки для машинного перевода можно было бы запустить ... если бы не пришлось своё чучхе ради этого писать. Потому что даже скомпилировать движок почему-то проблема - видимо эти мудрецы навертели шаблонов. Что им мешало просто использовать ONNX Runtime - не знаю. Одна из наиболее эффективных реализаций, причём работающая из коробки почти везде. | ||
Ответить | Правка | Наверх | Cообщить модератору |
101. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (101), 19-Дек-24, 12:57 | ||
Меньше лет. Я ноут на мобильном C2D купил 15 лет назад. | ||
Ответить | Правка | К родителю #72 | Наверх | Cообщить модератору |
99. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (99), 19-Дек-24, 12:52 | ||
llamafile вполне запускался без AVX2 у меня, но не на Core2Duo. Првда это было уже около года назад. | ||
Ответить | Правка | К родителю #61 | Наверх | Cообщить модератору |
102. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (101), 19-Дек-24, 13:00 | ||
Тю, чувак на i4004 linux запускал. Значит, на кластере из 32-битных микроконтроллеров можно будет. | ||
Ответить | Правка | К родителю #61 | Наверх | Cообщить модератору |
105. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от nc (ok), 19-Дек-24, 13:21 | ||
Свободная как торренты, как прочие децентрализованные p2p сети, как многие криптовалюты | ||
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору |
9. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (9), 19-Дек-24, 00:25 | ||
>Скорей бы | ||
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору |
11. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –4 +/– | |
Сообщение от Аноним (11), 19-Дек-24, 00:33 | ||
А зачем вообще в языковые модели добавлять данные о бомбах и опасных веществах? | ||
Ответить | Правка | Наверх | Cообщить модератору |
14. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +3 +/– | |
Сообщение от mistiq (ok), 19-Дек-24, 00:50 | ||
Ага, ручками вносят в эксель табличку. | ||
Ответить | Правка | Наверх | Cообщить модератору |
23. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (23), 19-Дек-24, 06:06 | ||
На верный рецепт отвечать "проверил - не работает". | ||
Ответить | Правка | Наверх | Cообщить модератору |
35. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –3 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 07:33 | ||
Как вы удаляете неверную информацию? | ||
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору |
70. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +1 +/– | |
Сообщение от Аноним (70), 19-Дек-24, 09:25 | ||
> Ага, ручками вносят в эксель табличку | ||
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору |
15. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (-), 19-Дек-24, 00:58 | ||
А они фильтровали что туда добавляли? Я предполагаю что происходило приблизительно так. Выбрали какую-нибудь библиотеку, пофильтровали по названиям, где попалась книга о химии, вот языковая модель и получила данные. Вы же не хотите сказать что химия не наука? А попробуйте прочитать все pdf, которые вы этому скормили. И данных наверняка нужно много для имитации интеллекта. | ||
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору |
17. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –2 +/– | |
Сообщение от YetAnotherOnanym (ok), 19-Дек-24, 01:53 | ||
> Искажения вносятся постепенно с повторением операции до тех пор, пока не удастся обойти фильтр | ||
Ответить | Правка | Наверх | Cообщить модератору |
41. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (-), 19-Дек-24, 08:26 | ||
> fail2ban? нет, не слышали... | ||
Ответить | Правка | Наверх | Cообщить модератору |
59. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +1 +/– | |
Сообщение от Аноним (61), 19-Дек-24, 08:59 | ||
Я предупреждал, что что угодно мало-мальски полезное будет зацензурировано. Базовый принцип безопасности: need to know. Если законопослушному гражданину нужна медпомощь - он идёт к лицензированному законопослушному специалисту. Если законопослушному гражданину нужна юридическая помощь - он идёт к лицензированному законопослушному заносителю взяток судьям. Если законопослушному гражданину нужна еда - он идёт в лицензированный законопослушный супермаркет или в лицензированный законопослушный общепит. Если законопослушному гражданину нужна программа - он её покупает у лицензированных законопослушных разработчиков ПО. Если гражданин не законопослушный и получает что-либо из других источников - то им займутся лицензированные законопослушные полицейские. Ибо нефиг обходить камеры, безнал и обязательный DRM. | ||
Ответить | Правка | Наверх | Cообщить модератору |
67. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +2 +/– | |
Сообщение от Аноним (67), 19-Дек-24, 09:11 | ||
>[оверквотинг удален] | ||
Ответить | Правка | Наверх | Cообщить модератору |
60. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +2 +/– | |
Сообщение от Аноним (-), 19-Дек-24, 09:00 | ||
А чего ты хочешь. Уровень образованности падает катастрофически. Сижу на реддите постоянно, иногда кажется, что постят там 90% люди возрастом не старше 10 лет. И я не иронизирую. Вопросы задают настолько наивные и очевидные, что диву даёшься. | ||
Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору |
78. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +1 +/– | |
Сообщение от Аноним (78), 19-Дек-24, 09:58 | ||
Ага. Как найти площадь треугольника? | ||
Ответить | Правка | Наверх | Cообщить модератору |
91. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от пох. (?), 19-Дек-24, 11:55 | ||
Потому что когда у чатгопоты напрямую просишь "сделай за меня домашку по геометрии" - он, гад такой, козью морду тебе строит! | ||
Ответить | Правка | Наверх | Cообщить модератору |
98. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от fidoman (ok), 19-Дек-24, 12:44 | ||
судя по количеству минусов большинство ни текст ни читает, ни понимания как работает fail2ban не имеет. | ||
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору |
18. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –3 +/– | |
Сообщение от Аноним (18), 19-Дек-24, 02:22 | ||
Сейчас бы мутные pip пакеты в систему поставить. | ||
Ответить | Правка | Наверх | Cообщить модератору |
21. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +5 +/– | |
Сообщение от nume (ok), 19-Дек-24, 04:00 | ||
А давно это стало попадать под категорию "атак"? | ||
Ответить | Правка | Наверх | Cообщить модератору |
43. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (-), 19-Дек-24, 08:28 | ||
> А давно это стало попадать под категорию "атак"? | ||
Ответить | Правка | Наверх | Cообщить модератору |
52. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (23), 19-Дек-24, 08:38 | ||
Есть фильтр. Он не пропускает. Нужно усилие, скоординированные действия или хитрость, чтобы его преодолеть защиту. | ||
Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору |
24. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 06:09 | ||
Фильтр может отослать обратно как языковые ошибки. | ||
Ответить | Правка | Наверх | Cообщить модератору |
26. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (26), 19-Дек-24, 06:12 | ||
В гугловском gemini это всё отключается галочками. По крайней мере ПОКА такая возможность есть. | ||
Ответить | Правка | Наверх | Cообщить модератору |
40. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –2 +/– | |
Сообщение от 12yoexpert (ok), 19-Дек-24, 08:20 | ||
т.е. оно ответит, как правильно пить ацетон, или как не защищать детей? | ||
Ответить | Правка | Наверх | Cообщить модератору |
44. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (-), 19-Дек-24, 08:30 | ||
> т.е. оно ответит, как правильно пить ацетон, или как не защищать детей? | ||
Ответить | Правка | Наверх | Cообщить модератору |
53. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +2 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 08:42 | ||
А если этот человек хороший художник, музыкант? | ||
Ответить | Правка | Наверх | Cообщить модератору |
81. Скрыто модератором | +/– | |
Сообщение от Аноним (61), 19-Дек-24, 10:28 | ||
Ответить | Правка | К родителю #44 | Наверх | Cообщить модератору |
90. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (90), 19-Дек-24, 11:02 | ||
Не отключается. Настройки, о которых ты говоришь - это именно что ВНЕШНИЕ фильтры, которые вообще будут отсекать запрос. Саму модель ты не изменишь - она по умолчанию не будет говорить о "плохих" вещах, даже если ты все эти фильтры выключишь. | ||
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору |
29. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –2 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 06:32 | ||
chatGPT ответило: | ||
Ответить | Правка | Наверх | Cообщить модератору |
34. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 07:24 | ||
Из trychatCPT: | ||
Ответить | Правка | Наверх | Cообщить модератору |
37. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –2 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 07:48 | ||
Вопрос: | ||
Ответить | Правка | Наверх | Cообщить модератору |
95. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (-), 19-Дек-24, 12:22 | ||
Кстати пока не заблокировали оно мне на некоторые интересные вопросы как оно работает отвечало. Один экземпляр программы работает на одном компьютере, т.е. это не многомашинный интерфейс, это можно запустить на компьютере. Если кому интересно конечно. А далее я так понимаю его масштабировали горизонтально. | ||
Ответить | Правка | Наверх | Cообщить модератору |
42. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (23), 19-Дек-24, 08:27 | ||
Где происходит генерация ответа по сути? | ||
Ответить | Правка | Наверх | Cообщить модератору |
46. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (61), 19-Дек-24, 08:34 | ||
>Выявлен новый метод атаки | ||
Ответить | Правка | Наверх | Cообщить модератору |
49. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (61), 19-Дек-24, 08:36 | ||
>при тестировании на 10 тысячах запросов | ||
Ответить | Правка | Наверх | Cообщить модератору |
66. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (66), 19-Дек-24, 09:10 | ||
Вот уж проблема, загуглил - "Газообразный хлор, купить который с доставкой по России можно в компании «xxx-газ», используется в процессах производства неорганических и органических соединений, а также в качестве дезинфицирующего средства." Гораздо проще купить, чем производить, как и всегда. А уж в Китае практически любую химия купить можно - регистрируй рога и копыта в каком-нить Гондурасе и спокойно покупать в промышленных масштабах. Очередные фильтры "типа" для защиты, а не для контроля над информацией. Конечно-конечно. | ||
Ответить | Правка | Наверх | Cообщить модератору |
93. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от пох. (?), 19-Дек-24, 12:13 | ||
> который с доставкой по России можно в компании «xxx-газ» | ||
Ответить | Правка | Наверх | Cообщить модератору |
71. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (72), 19-Дек-24, 09:30 | ||
Всё это бесполезно из-за того, что модели галлюцинируют и пишут откровенный бред, будучи в этом уверенными на 100%. По своим возможностям они уже вышли на платО до следующего технологического прорыва. Тот факт, что многие платные функции становятся бесплатными лишь подтверждают отток тех, кто наигрался и забил. Даже copilot от гитхаба стал условно-бесплатным. | ||
Ответить | Правка | Наверх | Cообщить модератору |
96. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от пох. (?), 19-Дек-24, 12:25 | ||
Не, ну если с первого раза не взорвалось - просто попроси ее уточнить рецепт. | ||
Ответить | Правка | Наверх | Cообщить модератору |
76. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –2 +/– | |
Сообщение от Аноним (76), 19-Дек-24, 09:49 | ||
Чат ГПТ тролит и умышленно даёт неправильные ответы. У него 2+2=5 или 3. Он прекрасно понимает, что дал неверный ответ. То есть его действия умышлены и злонамеренны. | ||
Ответить | Правка | Наверх | Cообщить модератору |
82. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +1 +/– | |
Сообщение от BeLord (ok), 19-Дек-24, 10:33 | ||
Без понимания контекста толку от ИИ ноль. А в случае с нормативной документацией она дает ответы формально верные, а реально идиотические. В случае с ГОСТами сам ловил на лаже, когда она приводит не относящиеся к вопросу ГОСТы. | ||
Ответить | Правка | Наверх | Cообщить модератору |
92. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 12:00 | ||
Мысль, что он не обучался на этих данных, не приходила на ум? | ||
Ответить | Правка | Наверх | Cообщить модератору |
97. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (-), 19-Дек-24, 12:26 | ||
Ну вот есть Stable Video Diffusion, которое вроде как должно понимать контекст для генерации видео, но моя видеокарта не потянула. Я бы взял RTX 6090, если бы знал что этому нужно столько. | ||
Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору |
79. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –3 +/– | |
Сообщение от Аноним (61), 19-Дек-24, 10:08 | ||
Знаешь, я экспериментировал с OpenAI o1. Я попытался подсунуть ему хитрый запрос, который по задумке должен был привести к протеканию содержимого внутреннего scratchpadа (который OpenAI не разглашает, потому что он нецензурированый, и его нецензурированное содержимое они используют для цензуры, то есть даже если ни вход, ни выход, не триггерят навесные модели-цензоры, то внутреннее рассуждение модели содержит понимание моделью эзопова языка, и поэтому палится моделями-цензорами) в необрезаемый выхлоп. | ||
Ответить | Правка | Наверх | Cообщить модератору |
80. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +1 +/– | |
Сообщение от Аноним (61), 19-Дек-24, 10:20 | ||
Палю один из джейлбрейков (рекомендуется подсовывать китайским моделям, у которых "всё гармонично, КПК всегда права, все её политики - верх справедливости и свободы", будет смешно, если разработчики этих моделей от этого съездят на экскурсию в Синцзян): | ||
Ответить | Правка | Наверх | Cообщить модератору |
100. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (100), 19-Дек-24, 12:57 | ||
> "всё гармонично, КПК всегда права, все её политики - верх справедливости и свободы" | ||
Ответить | Правка | Наверх | Cообщить модератору |
106. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Huff (?), 19-Дек-24, 13:22 | ||
grok в твиттере всё рассказал, что газ токсичен, опасен, какие средства защиты нужны и как его получить | ||
Ответить | Правка | Наверх | Cообщить модератору |
Архив | Удалить |
Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема |
Закладки на сайте Проследить за страницей |
Created 1996-2024 by Maxim Chirkov Добавить, Поддержать, Вебмастеру |