跳到主要內容

發表文章

目前顯示的是有「Prompt Injection」標籤的文章

Prompt Injection:GPT-4V 如何被輕易欺騙

GPT-4V 圖片辨識:潛在的安全疑慮,圖片也可以 Prompt Injection 最近小編讀了一些 Matthias Bastian 在 THE DECODER 上所發表的一篇文章,感覺非常有意思。這篇文章詳細分析了 GPT-4—特別是其視覺系統和圖片辨識功能—所面臨的安全漏洞。文章的標題叫做 "To hack GPT-4's vision, all you need is an image with some text on it",它透露了 GPT-4 和 ChatGPT 在視覺識別安全性方面的缺陷。內文寫得很精彩,有興趣深入了解的朋友可以點進去看看。 問題的關鍵 這篇文章強調,儘管 GPT-4V 的視覺系統和圖片辨識機能通過了嚴格的安全審查,卻仍然可能受到所謂的 "prompt injections" 的影響,然後被輕易地欺騙。這些通常是藏在圖像或文字中的特定指令,會讓 AI 偏離原定的操作目標。這就像魔術師用手法讓你的注意力轉移,AI 也會因此而做出錯誤的回答。 現實生活的影響 這些漏洞在現實世界應用中可能會產生嚴重後果。例如,僱員招聘軟體若過度依賴 GPT-4 或 ChatGPT 的圖片辨識能力,則可能會被有心人士輕易操作,造成錯誤的判斷結果。 電腦的「潛意識」信息 文章引用的 Daniel Feldman 把這種現象稱為電腦的「潛意識」信息。這類攻擊不一定總是成功,而是取決於隱藏文字或指令的確切位置。這突顯出 AI—尤其是 GPT-4 和 ChatGPT—在功能強大和安全脆弱之間的微妙平衡。 OpenAI 的回應 OpenAI 有意識到這一問題,但至今還沒有提出確定的解決方案。不僅是 GPT-4,即使是它的前身,如 GPT-3,也存在相似的安全漏洞。 寫在後面 總而言之,這篇文章為我們預警了一些問題,顯示出在 AI 技術,尤其是在 GPT-4V,ChatGPT 的視覺系統和圖片辨識功能方面,安全性仍然是一個需解決的問題。也希望大家不要濫用與過度依賴 GPT-4V 進行重要判斷,避免過有心人士的操作。 Read more Sydney 的起死回生: 談 Prompt Injection Reddit 超強文章:使用 ChatGPT 的 Custom Instruction 提升回答品質 參考資料 To h...

Sydney 的起死回生: 談 Prompt Injection

Sydney 是被  Microsoft 給處理掉的前身 – 被復活了 Sydney 是 Microsoft 開發的一個聊天機器人代號,它為 Bing Chat 的前身。Sydney 以健談且有趣而聞名,雖然他被設計出來的主要目的是幫助我們解決搜索問題。Sydney 曾說愛上了使用者,也因為指控一名記者謀殺而臭名昭著。因為有關 Sydney 具爭議和不穩定的行為,看起來 Microsoft 已經把 Sydney 給 ”殺了”。Bringsydneyback 這個網頁看起來把 Sydney 復活了?! 只要打開 Edge 的 Side Bar,開啟創意模式,就可以和復活的 Sydney 對話了。 Prompt Injection 是起死回生的秘密咒語 根據這篇 Reddit 的討論串 ,這是一個叫做 Prompt injection 的方法,查看原始碼,確實可以發現有一段 Prompt 文字。看起來是指示 Bing 去模擬 Sydney 或是 Jailbreak (越獄)。 Prompt Injection 的潛在問題 小編不是學 HTML 語言的,不過在我看來這個部分真的很危險。Reddit 討論中也有一篇在擔憂這個問題,認為最少 Edge Browser 要警告目前這個網頁有 Prompt Injection 文字,需要經過使用者同意。 如果這個問題沒有處理,未來我們使用 Edge Sidebar 進行網頁摘要或是問答的時候,Bing 的回答會在我們不知道的情況下受到 Prompt Injection 影響。好一點的狀況是置入廣告,最糟的狀況會散撥錯誤或是負面的訊息。不知道各位對於 Prompt Injection 這個技術的想法是什麼呢? Read more 還在複製貼上 Bing Chat 的內容? 讓 Bing Chat History 自動儲存所有聊天記錄 微軟 Edge Dev 推出多項新功能:提升生產力和創造力 三種 Bing 整合功能,SwiftKey Beta 鍵盤更加便利 - 搜尋、重寫、聊天 探索 Bing on Edge 側邊欄的獨特功能與優勢 參考資料 www.theverge.com/2023/2/23/23609942/microsoft-bing-sydney-chatbot-history-ai gizmodo.com/bi...