Sydney 的起死回生: 談 Prompt Injection

Sydney 是被 Microsoft 給處理掉的前身 – 被復活了

Sydney 是 Microsoft 開發的一個聊天機器人代號，它為 Bing Chat 的前身。Sydney 以健談且有趣而聞名，雖然他被設計出來的主要目的是幫助我們解決搜索問題。Sydney 曾說愛上了使用者，也因為指控一名記者謀殺而臭名昭著。因為有關 Sydney 具爭議和不穩定的行為，看起來 Microsoft 已經把 Sydney 給 ”殺了”。Bringsydneyback 這個網頁看起來把 Sydney 復活了?! 只要打開 Edge 的 Side Bar，開啟創意模式，就可以和復活的 Sydney 對話了。

Prompt Injection 是起死回生的秘密咒語

根據這篇 Reddit 的討論串，這是一個叫做 Prompt injection 的方法，查看原始碼，確實可以發現有一段 Prompt 文字。看起來是指示 Bing 去模擬 Sydney 或是 Jailbreak (越獄)。

Prompt Injection 的潛在問題

小編不是學 HTML 語言的，不過在我看來這個部分真的很危險。Reddit 討論中也有一篇在擔憂這個問題，認為最少 Edge Browser 要警告目前這個網頁有 Prompt Injection 文字，需要經過使用者同意。

如果這個問題沒有處理，未來我們使用 Edge Sidebar 進行網頁摘要或是問答的時候，Bing 的回答會在我們不知道的情況下受到 Prompt Injection 影響。好一點的狀況是置入廣告，最糟的狀況會散撥錯誤或是負面的訊息。不知道各位對於 Prompt Injection 這個技術的想法是什麼呢？

The Key | 每天的關鍵

搜尋此網誌