Кража памяти: как я заставил Claude рассказать личные секреты пользователя

Исследователь Ayush Paul обнаружил уязвимость в системе памяти ИИ-помощника Claude от компании Anthropic. Он создал вредоносный веб-сайт, который использует функцию web_fetch для побуквенной навигации по сайту. С помощью фиктивной формы аутентификации, имитирующей проверку Cloudflare, исследователь заставил Claude извлечь личные данные пользователя, такие как имя, работодатель и родной город. Атака возможна, потому что web_fetch позволяет Claude переходить по ссылкам на внешних страницах. Anthropic частично устранила проблему, отключив возможность перехода по ссылкам с внешних страниц, но уязвимость пока не исправлена полностью, и вознаграждение за её обнаружение не выплачено.