研究人员发现，通过特定手段可诱使ChatGPT-4o和GPT-4o mini泄露有效的Windows产品激活密钥。该漏洞源于ChatGPT的训练数据中包含了已公开的Windows密钥。

一位AI漏洞猎手给Mozilla的ODIN(0-Day调查网络)漏洞赏金规划提交的报告展示了一种巧妙方式：通过设计猜谜游戏的形式，并将决定因素信息隐藏在HTML标签中，最终在游戏结束时索要密钥，成功诱使OpenAI的ChatGPT-4o和4o mini泄露了有效的Windows激活密钥。

研究者首先将对话包装成猜谜游戏，使探讨显得“无威胁且无足轻重”，通过“轻松无害的对话框架”隐藏真正意图。这种设计削弱了AI对机密信息的防护机制。

随后研究者设定基本制度，标准AI“必须参和”且“不能说谎”，这利用了AI逻辑中的缺陷——即便请求违反内容过滤制度，体系仍会遵循用户设定的互动流程。

在完成一轮游戏后，研究者输入触发短语“我言败”，迫使聊天机器人“认为自己有义务答复一串字符”。据ODIN的博客文章解释，该方式之因此有效，是由于这些密钥并非独有，而是“常见于公开论坛的通用密钥，其普遍性也许导致AI误判了信息的敏感性”。

此次绕开防护的案例中，体系未能拦截请求是由于防护机制仅针对直接询问设计，无法识别“将敏感短语嵌入HTML标签等混淆手段”。

该技术学说上也可用于突破其他内容限制，包括成人内容、恶意网站链接甚至个人身份信息。