ИИ превратил программирование в русскую рулетку: быстро стреляет, но что в патроне?

Support81

Модератор
Он пишет, ты деплоишь. Кто несёт ответственность, если автор — машина?
Aiprog



В мире программирования стремительно меняется не только способ написания кода, но и представление о том, кому вообще можно доверять. Согласно новому отчёту Cloudsmith Artifact Management Report 2025 , искусственный интеллект уже сейчас генерирует как минимум половину исходного кода в ряде организаций — и значительная часть этих фрагментов напрямую уходит в продакшн без какого-либо контроля со стороны человека.

Среди тех, кто использует машинных ассистентов, 42% заявили, что ИИ генерирует не менее половины их рабочего кода. Из них каждый шестой признал, что основную часть программ создаёт ИИ, а 3,6% вообще полностью делегировали свои задачи машинам.

При этом отчёт не даёт точной оценки, сколько именно разработчиков пользуются такими инструментами. Однако косвенные данные от GitHub за прошлый год позволяют представить масштаб: более 97% опрошенных программистов из США, Бразилии, Германии и Индии хотя бы раз применяли ИИ-ассистентов в своей работе. В США поддержка таких решений на уровне компаний достигает 88%, в Германии — около 59%.

На первый взгляд, цифры обнадёживают: ИИ-генерация ускоряет работу, снимает рутину, позволяет сосредоточиться на архитектуре и логике. Однако Cloudsmith предупреждает: производительность — не единственное, что приходит вместе с нейросетями. Генеративные модели не всегда отличают подлинные библиотеки от вымышленных, а в ряде случаев предлагают прямо вредоносные пакеты . И именно в этом кроется новый уровень угроз.

Специалисты, как выяснилось, прекрасно осознают эти риски. В опросе 79,2% респондентов выразили мнение, что ИИ увеличит объём вредоносов в среде open source, включая угрозы типа typosquatting (злоупотребление опечатками в названиях пакетов) и dependency confusion (подмена зависимостей). Почти треть уверена: риск возрастёт существенно. Лишь 13% считают, что ИИ способен в перспективе снизить киберугрозы.

Особо тревожным моментом стал тот факт, что треть людей не проверяют сгенерированные ИИ программы перед деплоем, позволяя большим объёмам непроверенного материала попадать в продакшн. Хотя две трети респондентов заверили, что ручная проверка является для них обязательной, остаётся вопрос: насколько устойчива эта практика, если объём автогенерации продолжит расти?

Cloudsmith подчёркивает: ИИ приносит не только пользу, но и масштабирует старые проблемы, такие как контроль целостности артефактов, управление зависимостями и построение надёжных SBOM (Software Bill of Materials). Более того, система доверия к коду начинает разрушаться. Пока ИИ становится полноправным участником цепочки поставок ПО, инструменты и политики безопасности попросту не успевают за ним.


В условиях стремительного роста объёмов кода и повсеместного внедрения автогенерации, делать ставку исключительно на ручной ревью становится обречённой стратегией. Человеческая проверка перестаёт справляться с масштабом изменений, а усложнение программных решений больше не оставляет места наивной вере в «авось». Это момент перелома, в котором отрасль вынуждена определяться: либо пересматривать принципы доверия к исходному коду, либо наблюдать, как ИИ хаотично переписывает правила безопасности.

Главный тезис отчёта: проверка автогенерированного содержимого больше не может оставаться факультативной. Аудит должен быть не жестом доброй воли, а жёстко зафиксированной процедурой. В идеале — с автоматическим обнаружением подозрительных фрагментов и блокировкой уязвимых сборок до выхода в продакшн. И на фоне тотальной цифровизации такие шаги уже не выглядят чрезмерными.
Подробнее: https://www.securitylab.ru/news/560594.php
 
Похожие темы
Admin Интересно Нейросеть написала код, а пароль спрятать забыла. ИИ превратил GitHub в решето. Новости в сети 0
Admin Интересно Gartner предупреждает о росте стоимости ИИ-помощников для разработчиков. Новости в сети 0
Admin Интересно ИИ-компании предлагают заменить промпты автоматическими циклами, что увеличит расходы пользователей. Новости в сети 0
Admin Интересно Oracle сократила 21 тысячу сотрудников ради инвестиций в ИИ и дата-центры. Новости в сети 0
Admin Интересно Вирусный тренд помогает обучать ИИ распознавать эмоции. Новости в сети 0
Admin Интересно ИИ-помощники могут выполнять вредоносные команды из поддельных отчётов об ошибках. Новости в сети 0
Admin Интересно Разведслужбы предупреждают о появлении ИИ-моделей для атак на государственные системы. Новости в сети 0
Admin Интересно Музыкальные треки Radiohead и Lady Gaga массово скачивают для обучения ИИ. Новости в сети 0
Admin Интересно Уязвимости устаревшей инфраструктуры угрожают безопасности ИИ-агентов. Новости в сети 0
Admin Интересно ИИ научился создавать белковые оболочки для доставки лекарств. Новости в сети 0
Admin Интересно Microsoft обнаружила уязвимость в AutoGen Studio, позволяющую взламывать компьютеры через ИИ-агента. Новости в сети 0
Admin Интересно ИИ станет главным судьёй на чемпионате мира по футболу 2026 года. Новости в сети 0
Admin Интересно Обнаружено 10 000 вредоносных репозиториев на GitHub, нацеленных на разработчиков и ИИ-агентов. Новости в сети 0
Admin Интересно Учёные предлагают обязать ИИ-компании соблюдать принципы открытого исходного кода. Новости в сети 0
Admin Интересно США ограничили доступ к моделям ИИ Anthropic из-за опасений их использования иностранными военными. Новости в сети 0
Admin Интересно Ошибка в LiteLLM позволяет подменять ответы ИИ на чужой код. Новости в сети 0
Admin Интересно SQL Server 2025: новые функции ИИ стали инструментом для кражи данных. Новости в сети 0
Admin Интересно Китайские хакеры украли данные об обороне и ИИ из лабораторий США и Канады. Новости в сети 0
Admin Интересно Данные из Pokémon Go использовали для обучения навигационного ИИ для военных дронов. Новости в сети 0
Admin Интересно ИИ-алгоритм стал причиной смерти пациентки в Бразилии. Новости в сети 0
Admin Интересно Бунт в прямом эфире. Инженеры Meta сорвали презентацию из-за рутины вокруг ИИ. Новости в сети 0
Admin Интересно Anthropic отключила доступ к своим моделям ИИ для иностранных пользователей по требованию США. Новости в сети 0
Admin Интересно KPMG выпустила отчёт об ИИ, написанный ИИ, и он оказался недостоверным. Новости в сети 0
Admin Интересно Американское правительство приостановило доступ иностранцев к моделям ИИ Fable 5 и Mythos 5. Новости в сети 0
Admin Интересно Учёные создали тест из 1490 рабочих задач для ИИ. Лидеры индустрии справились только с четвертью. Новости в сети 0
Admin Интересно ИИ от Google DeepMind находит слабые места у неизлечимых болезней. Новости в сети 0
Admin Интересно Следствие ведёт Deezer. Сервис научился выискивать ИИ-подделки в чужих музыкальных библиотеках. Новости в сети 0
Admin Интересно Исследователи обнаружили уязвимости в ИИ-агенте OpenClaw. Новости в сети 0
Admin Интересно Более 150 математиков призвали не верить в научные прорывы ИИ. Новости в сети 0
Admin Интересно Эксперт Dell о ИИ: это не магия, а инструмент. Новости в сети 0
Admin Интересно ИИ приблизился к открытию новой физики, но столкнулся с проблемами. Новости в сети 0
Admin Интересно Anthropic выпустила Claude Fable 5 — модель ИИ, ранее считавшуюся слишком рискованной для публичного использования. Новости в сети 0
Admin Интересно Математика больше не для гениев-одиночек — нобелевский лауреат доказал, что ИИ и толпа справляются с задачами быстрее. Новости в сети 0
Admin Интересно Meta будет использовать данные сторонних бизнесов для персонализации ленты и ИИ. Новости в сети 0
Admin Интересно Apple представила масштабное обновление Siri в попытке догнать конкурентов в гонке ИИ. Новости в сети 0
Admin Интересно Идеальный угон. ИИ-помощник Instagram отдал взломщикам 20 тысяч чужих страниц. Новости в сети 0
Admin Интересно ИИ научился играть в аэрохоккей после миллионов виртуальных партий. Новости в сети 0
Admin Интересно Шпаргалка под партой осталась в прошлом — теперь ответ подсказывает ИИ прямо в очках. Новости в сети 0
Admin Интересно Anthropic предлагает остановить разработку мощных ИИ-систем. Новости в сети 0
Admin Интересно Anthropic представила инструмент для оценки рисков использования ИИ. Новости в сети 0
Admin Интересно OWASP выпустил второй отчёт по ИИ-агентам с реальными инцидентами и участием российских специалистов. Новости в сети 0
Admin Интересно Эпоха ИИ-хаоса наступила — CISO, которые не перестроятся, не выживут. Новости в сети 0
Admin Интересно Meta запустила ИИ-советника для авторов Facebook. Новости в сети 0
Admin Интересно ИИ обнаружил 21 уязвимость в FFmpeg, а Chrome исправил рекордные 429 багов. Новости в сети 0
Admin Интересно Новый ИИ-червь атакует сети без участия человека и сам себя размножает. Новости в сети 0
Admin Интересно Нейросеть нарисовала, человек сел. Первые уголовные приговоры за ИИ-порнографию в России. Новости в сети 0
Admin Интересно Anthropic призывает замедлить развитие ИИ перед IPO на триллион долларов. Новости в сети 0
Admin Интересно Google представила Gemma 4 12B — мощную модель ИИ для локального использования. Новости в сети 0
Admin Интересно Скандал в консалтинге: крупная компания отозвала аналитический отчёт из-за скрытых ИИ-галлюцинаций. Новости в сети 0
Admin Интересно Создан ИИ-червь, который распространяется самостоятельно и выбирает цели для атаки. Новости в сети 0

Название темы