The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

ИИ как новый вектор атаки на разработчиков ПО

12.04.2025 19:06

Инструменты программирования с поддержкой искусственного интеллекта (ИИ) всё больше влияют на разработку программного обеспечения и приводят к проблеме в безопасности: генерации несуществующих имён пакетов. ИИ модели как коммерческие, так и с открытые, иногда предлагают код с указанием пакетов, которых не существует. Согласно недавним исследованиям, это происходит в 5.2% случаев у коммерческих моделей и в 21.7% - у открытых моделей.

Обычно это приводит лишь к ошибке установки, но злоумышленники начали использовать эти "галлюцинации" в своих целях, размещая вредоносные пакеты под этими вымышленными именами в публичных репозиториях, таких как PyPI или NPM. Такая стратегия превращает галлюцинации ИИ в новый вектор атак на цепочки поставок ПО. Если ИИ-ассистент для генерации кода регулярно предлагает одно и то же несуществующее имя пакета, и злоумышленник уже загрузил под этим именем вредоносный код, разработчик может непреднамеренно установить вредоносный пакет.

Исследователи обнаружили, что "галлюцинированные" имена следуют бимодальному шаблону: одни повторяются при повторных запросах, другие исчезают навсегда. Постоянно повторяющиеся имена особенно привлекательны для атак. Эта стратегия, похожая на "тайпсквоттинг", была названа Сетом Майклом Ларсоном из Фонда Python "слопсквоттингом" - от слова slop (бесполезный выход ИИ).

Руководитель компании Socket Феросс Абухадиджех (Feross Aboukhadijeh) указывает на культурный сдвиг в сообществе разработчиков в сторону "вaйб-кодинга" (vibe coding) - когда ИИ подсказки копируются без проверки. Это поведение повышает риск установки вредоносных пакетов. Иногда разработчики даже не замечают, что пакет не существует - особенно если его имя уже занято злоумышленником. Такие вредоносные пакеты часто выглядят вполне убедительно: с фальшивыми документациями, поддельными репозиториями на GitHub и даже блогами, создающими видимость легитимности.

Ситуацию усугубляет тот факт, что ИИ-системы подтверждают галлюцинации друг друга. Например, Gemini от Google уже предлагал пользователям вредоносные пакеты, описывая их как надёжные и поддерживаемые — просто повторяя информацию из поддельного README. Спешащий разработчик может не распознать угрозу, особенно если всё выглядит вполне официально и достоверно.

Отмечается случай с киберпреступником по имени "_Iain", который на форуме в даркнете делился методами создания ботнета на основе блокчейна, используя тысячи тайпсквоттинг-пакетов в NPM. С помощью ChatGPT он автоматически сгенерировал множество имён, похожие на реальные. Также он выпускает видеоуроки по публикации пакетов и активации вредоносного кода. Это типичный пример того, как злоумышленники используют ИИ для ускорения атак на цепочки поставок ПО.

Фонд Python работает над усилением защиты от подобных угроз. Благодаря поддержке таких инициатив, как Alpha-Omega, были введены меры: API для жалоб на вредоносные пакеты, сотрудничество с другими системами безопасности и улучшенные механизмы обнаружения тайпсквоттинга. Разработчикам рекомендуется проверять имена пакетов, убедиться в их существовании и тщательно изучать содержимое перед установкой. Лучший подход - использовать локальные зеркала репозиториев, что позволяет организациям контролировать, какие пакеты доступны разработчикам.

  1. Главная ссылка к новости (https://www.theregister.com/20...)
  2. OpenNews: Подмена зависимости в Python-библиотеке, насчитывающей 40 млн загрузок в месяц
  3. OpenNews: В репозитории Hugging Face выявлены вредоносные AI-модели, выполняющие код
  4. OpenNews: Инициатива по отмене определения открытой AI-системы, как обесценивающего понятие Open Source
  5. OpenNews: Атакующие внедрили вредоносный код в web3.js, официальный JavaScript-клиент для криптовалюты Solana
  6. OpenNews: В каталоге PyPI выявлены вредоносные библиотеки, использующие CDN PyPI для скрытия канала связи
Автор новости: Artem S. Tashkinov
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/63062-ai
Ключевые слова: ai, attack
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (44) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 19:37, 12/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    Копирую питон-код без особой проверки, смотрю только на 'import'ы и на отсутствие всякой херни вроде eval/exec/pickle. Запускаю, выхлопом угощаю модель (дано задание делать кучу детального отладочного вывода). Модель делает новую реализацию кода. Код IO не использует, чистая математика. Повторять до тех пор, пока не заработает. Я в опасности?
     
     
  • 2.3, Аноним (3), 19:40, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А как же автор кода? Вы ему задонатели?
     
  • 2.5, Аноним (5), 19:42, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Код IO не использует? Ну это ты так думаешь, а импортированный пакет может делать что угодно
     
     
  • 3.16, Аноним (16), 20:13, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Пакет сначала установить надо...
     

  • 1.6, Аноним (6), 19:45, 12/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    > Согласно недавним исследованиям, это происходит в 5.2% случаев у
    > коммерческих моделей и в 21.7% — у открытых моделей.

    Ничего удивительного. Создатели коммерческих моделей хотят ее продать, поэтому заинтересованы чтобы оно работало хорошо, иначе пользователь просто свалит к конкуренту.

    А если пользуешься нейронкой, которую обучали непонятными 6оmжами в подвале... то и результат получается в 4 раза хуже.

     
     
  • 2.7, Аноним (7), 19:55, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Сюрприз - коммерческие модели тоже обучаются не элитной интеллигенцией, а нищими кенийцами за еду.
     
     
  • 3.14, Аноним (-), 20:07, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Сюрприз - коммерческие модели тоже обучаются не элитной
    > интеллигенцией, а нищими кенийцами за еду.

    "Офигеть! Вас еще и кормят???" (с)

    Ну пусть и кенийцами... но результат все равно лучше!
    Кто же тогда обучает свободные???

     
     
  • 4.17, нах. (?), 20:17, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • –1 +/
    открою страшную тайну - те же самые и теми же руками их обучают.
    Просто в шв@6оооодные (ass in free beer) переводят позапрошлые версии моделей.

    Поэтому и глючат они больше (глючат они на самом деле тоже одинаково, просто причина глюков - недостаток информации. Более новые модели просто успели больше переварить.)

     
  • 2.8, keydon (ok), 19:57, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Точнее создатели коммерческой модели заинтересованы её продать, а не чтобы работало хорошо.
    В том числе заказывают исследования ради этого. Но ты не переживай, потребляй, спи, подчиняйся.
     
     
  • 3.12, Аноним (-), 20:04, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    > Точнее создатели коммерческой модели заинтересованы её продать, а не чтобы работало хорошо.

    Практически всё идет как сервис по подписке. Ну круто, на месяц ты ее продать сможешь.
    А дальше что?

    > В том числе заказывают исследования ради этого.
    > Но ты не переживай, потребляй, спи, подчиняйся.

    У... опять нехорошие корпорасты потаются очернить вяликий и прякрасный попенсорс!

     
     
  • 4.32, keydon (ok), 21:38, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    > Практически всё идет как сервис по подписке. Ну круто, на месяц ты
    > ее продать сможешь.
    > А дальше что?

    Да то же самое что всю жизнь корпораты делали под другим соусом.
    -Мы все исправили. Честно.
    -Теперь мы точно все исправили, мамой клянусь.
    -Только наш сервис интегрирован с монополистнеймом.
    -У нас акция. Пакетом скидка.
    -Бесплатно, но мы все равно поимеем с вас денег.
    И т.д. и т.п.

    > У... опять нехорошие корпорасты потаются очернить вяликий и прякрасный попенсорс!

    Всю жизнь пОтались и вдруг передумали!

     
     
  • 5.53, Аноним (53), 01:06, 13/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Опенсорс в 2025 на 99% делают корпорации. Смотри в код крупных проектов. Добро пожаловать.
     
  • 4.34, Аноним (34), 21:45, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Ну круто, на месяц ты ее продать сможешь. А дальше что?

    А дальше заказываешь исследование, которое покажет, что новая версия работает успешно в 21.7% случаев по сравнению с 5.2% у старой, и все покупатели бегут продлять подписку.

     
     
  • 5.54, Аноним (53), 01:08, 13/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    У всех больших моделей результаты исследований открыты. Повтори, проверь (хинт: проверяли).
     
  • 2.9, Аноним (9), 19:57, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Gpt4o коммерческая модель, но дичи она генерировала не меньше опенсорсного шлака. Кроме того, большинство решений, предлагаемых ей, предполагают использование десятки лет назад умерших проектов.
     
     
  • 3.11, Аноним (-), 20:02, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > Gpt4o коммерческая модель, но дичи она генерировала не меньше опенсорсного шлака.

    Именно поэтому ею практически никто и не пользовался, а сейчас используют Claude или OpenAI o1. Это как раз именно то, о чем я пишу - если твоя llm kakaxa - то перейдут к конкурентам.
    А на шво6oдных llm особо и переходить некуда.

     
  • 3.25, Аноним (25), 20:54, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Gpt4o коммерческая модель, но дичи она генерировала не меньше опенсорсного шлака

    Я помню такая программка была, чат Алиса вроде, в 95. Весила пару килобайт.
    Весь код это текст чатов типичных.
    С возможностью обучения, те на основан твоих ответов языковая модель совершенствовалась.
    И можно общатся типа в чате, но без интернета.
    Вот GPT, 95.

     
     
  • 4.55, Аноним (53), 01:11, 13/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Говорилки из 90х юзали либо цепи Маркова, либо тупо генератор. Надо объяснять, чем это отличается от нейросети?
     
     
  • 5.60, Аноним (60), 02:12, 13/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Я объясню - Все в духе последнего десятилетия - дорого, масштабно, сложно, много тепла и ядер, а результат такой же дурацкий как после цепочек Маркова.
    Нейронки тоже уметь использовать надо и это не для логики и программирования. Надо объяснять почему?
     

  • 1.13, Аноним (13), 20:07, 12/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >пример того, как злоумышленники используют ИИ

    И это только начало.
    https://en.wikipedia.org/wiki/Artificial_Intelligence_Act

     
     
  • 2.23, Аноним (25), 20:43, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >пример того, как злоумышленники используют ИИ

    И будет тебе звонить спам GPT, и может это делать 24/7 365,человека хоть послать можно, или пошутить.
    Или какой нибудь интернет магазин, интернет провайдер, вместо решения вопроса будет говорить что ваша проблема рассматривается.
    Но в случае с GPT, можно пожаловаться тостеру.

     

  • 1.18, Аноним (18), 20:22, 12/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Вайбкодеры хуже любых хипстеров.
     
  • 1.19, Аноним (19), 20:34, 12/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > ИИ модели, как коммерческие, так и с открытые, иногда предлагают код с указанием пакетов, которые не существует. Согласно недавним исследованиям, это происходит в 5.2% случаев у коммерческих моделей и в 21.7% — у открытых моделей.

    Чисто для статискики, а какой процент ошибок от человеческой очепятки?

     
     
  • 2.26, Аноним (13), 21:02, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Проверяй:
    https://chat.mistral.ai/chat
     
     
  • 3.38, Аноним (38), 22:07, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну на каком матерале обучили.
     
  • 3.62, Аноним (62), 02:44, 13/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Что проверяй? Я чат ботами пользоваться не хочу.
    Если бы эти статисты посчитали бы и процент человеческих ошибок оказалось бы что "ии" не так уж и плох и в сравнении с погромистом в пятницу генерит не такой уж и бредовый код)
     

  • 1.21, Аноним (25), 20:40, 12/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Да еще всякие фитнес тренеры, жалуются что клиенты забивают запрос и он (ИИ), составляет им план питания тренировок.
     
     
  • 2.30, Аноним (9), 21:36, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    > Да еще всякие фитнес тренеры, жалуются что клиенты забивают запрос и он
    > (ИИ), составляет им план питания тренировок.

    Кстати это норм работает. Ну просто там всё достаточно элементарно, а все эти "профессиональные нутриционисты" поразительно безграмотные, разобраться что к чему не так и сложно. Food data central в помощь.

     
  • 2.35, Аноним (34), 21:47, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • –1 +/
    И что, помогают планы тренировок, составленные ИИ? Или пока непонятно, пока просто сэкономили на тренерах, а к тому времени, как станет понятно, про ИИ уже все забудут.
     
     
  • 3.37, Аноним (37), 22:03, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Ты видел хотя бы одного выполняющего планы тренировок?

    Почему не сработал план?

    Да ты его не выполнил!

     
  • 3.43, Аноним (25), 23:01, 12/04/2025 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 3.48, нах. (?), 23:59, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    планы - может и помогают (хотя их и без ии составить не большая проблема)

    вовремя заметить что ты не умеешь делать упражнение и вместо него делаешь в лучшем случае х-ню а в худшем нечто травмоопасное - никакой ии не поможет, но и не всякий тренер тоже.

    Если фигняс тренер умеет только первое - ну может переквалифицироваться в управдомы.

     

  • 1.41, нах. (?), 22:24, 12/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Есть, есть польза и от ИИ! Просто оставлю это здесь, наслаждайтесь: https://pbs.twimg.com/media/GoWy2hPXwAA1zcO.jpg

     
     
  • 2.47, Аноним (-), 23:52, 12/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Я-то надеялся что-то весёлое выйдет, а получилось вот это Sticking any body par... большой текст свёрнут, показать
     
     
  • 3.49, нах. (?), 00:15, 13/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    > Я-то надеялся что-то весёлое выйдет, а получилось вот это:

    но ЦЕРН ВООБЩЕ ничего ему не ответил!!!

    (кстати - попроси уточнить, как обойти охрану)

     

  • 1.45, Аноним (45), 23:45, 12/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    В нормальном мире это был бы знак, что надо прекращать использовать ии. Но нет, мы в не нермальном мире живем. Эта зараза (ии, раст и т.д) продолжит разрастаться.
     
     
  • 2.50, Аноним (-), 00:18, 13/04/2025 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 2.61, Аноним (61), 02:39, 13/04/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Ну с растом всё понятно, не все доросли ещё. А с ИИ что не так? Экономит кучу времени при кодинге, особенно на языках, которые успел уже подзабыть. Я-то знаю, как примерно должен выглядеть результат, который мне нужен. Модель всяко быстрее печатает чем я, а уж всякую фигню типа переписывания кусков кода чтобы на выходе получать чуть изменённую структуру данных чатгопота мне и вовсе ни разу ещё не запорола. Что там кто вайбит меня мало заботит, факт что задачи на которые у меня уходило по полдня я теперь за час могу решить. А что там другим танцорам мешает это к ним вопросы.
     

  • 1.46, Аноним (46), 23:51, 12/04/2025 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • +1 +/
     

  • 1.52, Аноним (-), 00:31, 13/04/2025 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • +/
     
  • 1.57, 12yoexpert (ok), 01:45, 13/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    скам теперь и на опеннет
     
  • 1.58, Аноним (60), 01:48, 13/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Неправильный и дезинформирующий заголовок новости - причем тут разработчики ПО?
    Ведь содержании статьи речь идет про питонистов, а они не разработчики ПО.
     
  • 1.59, Аноним (59), 01:58, 13/04/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А прикинь к тебе сосед который новостей на опеннете обчитался домой придет и от рута рм-рф сделает
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2025 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру