CCT - Crypto Currency Tracker logo CCT - Crypto Currency Tracker logo
Forklog 2025-11-06 07:35:51

Microsoft обнаружила уязвимости ИИ-агентов после масштабного теста

Эксперты Microsoft представили среду для тестирования ИИ-агентов и и выявили уязвимости, присущие современным цифровым помощникам. Платформа Magentic Marketplace представляет собой экспериментальную среду для моделирования поведения ИИ-ассистентов. В ней можно проводить тесты, например, по заказу ужина по инструкциям пользователя, где представляющие рестораны агенты конкурируют между собой. Исходный код проекта открыт, поэтому разные группы исследователей могут его адаптировать под собственные задачи или воспроизведение результатов. Управляющий директор лаборатории AI Frontiers Lab компании Microsoft Research Эдже Камар подчеркнул, что подобные эксперименты будут иметь решающее значение для понимания возможностей ИИ-агентов. «Действительно возникает вопрос о том, как изменится мир, когда они будут сотрудничать, общаться друг с другом и вести переговоры. Мы хотим понять эти вещи», — отметил он. Первый блин комом В ходе первых тестов 100 клиентских агентов взаимодействовали с 300 бизнес-помощниками, включая модели GPT-4o, GPT-5 и Gemini 2.5 Flash. Эксперимент позволил выявить их уязвимые стороны. Эксперты выяснили, что существуют методы манипулирования агентами-клиентами, позволяющие побудить их купить определенный продукт. Если цифровому ассистенту давали много вариантов для выбора, это перегружало его внимание. «Мы хотим, чтобы агенты помогали нам обрабатывать большое количество вариантов. И мы видим, что текущие модели перенапрягаются из-за этого», — сказал Камар. Помощники столкнулись с трудностями, когда им предложили сотрудничать для достижения общей цели. Они не могут найти консенсус в том, кто какую роль должен выполнять. Эффективность повысилась, когда им предоставили более четкие инструкции по взаимодействию с другими агентами. «Мы можем предоставлять моделям инструкции — как будто говорим им, что делать, шаг за шагом. Но если мы тестируем их способности к сотрудничеству, я бы ожидал, что эти нейросети будут обладать такими способностями по умолчанию», — подытожил Камар. Напомним, в ноябре Amazon потребовала от Perplexity удалить браузер со встроенным ИИ-агентом из своего интернет-магазина, указав на его некачественную работу. Трейдерские возможности искусственного интеллекта также оказались под вопросом, показал первый сезон торгового турнира Alpha Arena.

Read the Disclaimer : All content provided herein our website, hyperlinked sites, associated applications, forums, blogs, social media accounts and other platforms (“Site”) is for your general information only, procured from third party sources. We make no warranties of any kind in relation to our content, including but not limited to accuracy and updatedness. No part of the content that we provide constitutes financial advice, legal advice or any other form of advice meant for your specific reliance for any purpose. Any use or reliance on our content is solely at your own risk and discretion. You should conduct your own research, review, analyse and verify our content before relying on them. Trading is a highly risky activity that can lead to major losses, please therefore consult your financial advisor before making any decision. No content on our Site is meant to be a solicitation or offer.