跳到主要內容

發表文章

目前顯示的是有「大型語言模型」標籤的文章

RAG :AI 如何減少錯誤信息並提升用戶信任

檢索增強生成(Retrieval Augmented Generation,RAG)方法,結合了資訊檢索元件與生成模型,尤其是大型語言模型(Large Language Models,簡稱 LLMs),透過將相關數據融入提詞(prompts),來提升模型的表現,突破了基礎模型靜態知識的限制,能夠生成相對準確、與情境相關的回覆。在法律領域等對精確度和準確性要求極高的領域,RAG 的應用尤其重要。現階段 ChatGPT 的 my GPTs 使用的 knowledge base 也應該是屬於使用 RAG 方法的應用。 RAG 運作原理 RAG 透過將資訊檢索(或搜尋)功能整合進 LLM 文字生成過程中來運作。它利用用戶輸入的 prompt,從資料庫中找出未曾用於訓練 LLM 的外部“上下文”資訊,從而提升 LLM 在特定任務上的性能。任何 RAG 系統的出發點都是其原始數據,通常包含了大量的文件、網站或資料庫。這些數據作為知識庫,供檢索模型掃描以尋找相關資訊。 RAG 模型通過在用戶 prompt 中加入相關的檢索數據來進行增強,使其更具上下文連貫性。這一步驟運用了 prompt engineering 方法,以有效地與 LLM 進行溝通。增強後的 prompt 讓大型語言模型能夠對用戶查詢給出精準的答案。Perplixity AI 應也是使用此中方法加強回覆的即時性與精準度。 RAG 的優勢 RAG 帶來了多項優勢,包括: 存取外部知識 :RAG 提供了存取外部知識方法,讓 LLMs 保持更新和相關性。它們可以利用 RAG 將 LLM 直接連結至即時更新的社交媒體動態、新聞網站或其他資訊源。 降低幻覺風險 :LLMs 可能會產生錯誤的“幻覺”。檢索到的證據能夠使 LLMs 更加精準,減少錯誤資訊的產生。 提升用戶信任 :RAG 讓 LLM 能夠提供帶有來源出處的準確資訊。輸出可以包含對來源的引用或參考,增加用戶的信任感。 性能提升 :RAG 為保持 LLMs 的資訊更新和有效性提供了可靠的手段,使我們能夠應對現代 AI 應用的複雜性。 成本效益 :與其他針對特定領域數據定制 LLMs 的方法相比,RAG 更為簡單且成本效益高。組織可以部署 RAG 而無需對模型進行客製化。 RAG 的應用場景 RAG 在各行各業都有廣泛的應用。在法律和醫療領域,它能夠查閱龐大資料庫和法律...

用 ChatGPT 產出酷炫名稱,簡寫跟藏頭文章

ChatGPT 就是大型語言模型 大型語言模型(Large Language Model,簡稱LLM)是一種專注於理解、處理和生成人類語言的深度學習模型。LLM 由許多參數(通常有數十億或更多的)的類神經網路組成,並在大量的文字上進行自我學習。 LLM 是一種多功能的模型,擅長於各種任務,例如情感分析、問答系統、自動摘要、機器翻譯、文件分類和文字生成等。這些模型通過從大量的數據中學習,這些數據往往包括在長時間內網路上寫的幾乎所有東西。他們考慮大量的文字以更好地理解上下文並生成準確的結果。 簡單來說,LLM 就是自然語言專家,最擅長處理文字相關訊息,至於數學和太難的邏輯理解則很容易出現幻覺。 回歸語言專家:帥氣的命名 工作會發生的一個情境,需要幫助一個新技術命名,這時候 ChatGPT 就可以高速的產出多個命名出來。以下列一個新技術來說: A swing-wing machine that is propelled forward by thrust from a jet engine, propeller, or rocket engine, and it is designed to be operated by cats. 我們可以使用以下 Prompt: As a specialist in the field of naming new stuff, your expertise will be critical in this task. I will present you with a detailed description of specific stuff. Your responsibility is to generate a list of { 10 }{ professional }-sounding, { single }-word names that align well with this description. In case the provided information is not sufficient for you to accurately formulate these names, please don't hesitate to request additional details.  效果相當不錯...

Microsoft 研究提出的 Low-Code LLM,解決不斷修正詠唱的煩惱!

大型語言模型:好用,但還不夠完美 大型語言模型(LLM),例如 ChatGPT 和 GPT-4,表現出了驚人的能力,但說實話,它們還有些不足。舉個例子,我們可能需要不斷的修改 Prompt 才能得到我們想要的結果。所以出現了 AutoGPT 對應這個問題,現在 Microsoft 研究人員也提出了解決方案。 Low-Code LLM:新的解決方案 為了改善這個問題,Microsoft 的研究員提出了一種名為 Low-Code LLM 的新型互動模式,它受到免程式碼軟體如 scratch 等視覺化編碼開發系統的啟發。這個新方法能夠拉近 prompt 與回應之間的距離,讓我們在完成複雜任務時與 LLM 更加契合。 Low-Code LLM 的優勢,一箭雙鵰 相比傳統的人類與 LLM 互動模式,Low-Code LLM 有幾個顯著的優勢: 1. 生成內容受控制 :透過工作流程,用戶可以使用低程式碼操作來指揮 LLM 的表現,帶來更加符合預期的成果。 2. 簡易的操作 :透過圖形化介面,讓我們更容易理解並調整 LLM 的執行邏輯,省去了繁複的 prompt 設計煩惱。 3. 用途廣泛 :這個新的模式可以運用在各種不同領域的複雜任務,尤其是在人類判斷或偏好相當重要的情況下。 寫在後面 Low-Code LLM 為我們提供了一個更高效且簡易操作的方式來與大型語言模型互動,讓我們在複雜任務上與 LLM 達到更好溝通。這個新的方法有望改變我們與 AI 合作的方式,並提升 LLM 在各種應用場景中的實用性。 參考資料 Microsoft Researchers Propose Low-Code LLM: A Novel Human-LLM Interaction Pattern Photo by Mohammad Rahmani on Unsplash

ChatGPT 的幻覺:實用性的受限

根據 IEEE 網頁 上的一篇文章,討論到了幻覺(hallucination)。ChatGPT 因其令人印象深刻的知識深度和對各種問題的流利回答而備受著稱。但是,長期使用者其實會發現 ChatGPT 一本正經胡說八道的機率非常高,尤其當我們沒提供相關文件供其參考的的時候更嚴重。人們越來越擔心 ChatGPT 的幻覺傾向可能會削弱它的實用性。在這裡,“幻覺”一詞指的是生成文字中的錯誤,這些錯誤在語義上或語法上是合理的,但最終是不正確或無意義的。結果是,用戶不能信任 ChatGPT 的回應的準確性,這可能在醫學、教育和法律等領域產生嚴重後果。 OpenAI 正在採取行動 幸運的是,OpenAI 意識到這個問題並正在採取措施解決它。OpenAI 的首席科學家之一,也是 ChatGPT 的創造者之一的 Ilya Sutskever 表示,這個問題會隨著 LLMs 學會根據現實答話而消失。OpenAI 正在開創一種稱為強化學習與人類反饋(RLHF)的技術來塑造其模型的行為。 Reward predictor 為了幫助 ChatGPT 能更好地與人交談,製作這個程式的人使用了一種被稱為「Reward predictor」的東西。Reward predictor 就像是一位老師,根據 ChatGPT 的表現給它一個分數。如果 ChatGPT 表現得好,它就會得到高分。如果 ChatGPT 犯了一個錯誤,它就會得到較低的分數。 但 Reward predictor 並不完美,所以有時候真正的人類必須檢查 ChatGPT 的工作,以確保它做的事情是正確的。當這個人看到 ChatGPT 做得好時,他們會告訴 Reward predictor 給 ChatGPT 更高的分數,以此類推。當他們看到 ChatGPT 做得不太好時,他們會告訴 Reward predictor 給它更低的分數。 這有助於 ChatGPT 學習它應該做什麼,不應該做什麼。隨著時間的推移,製造 ChatGPT 的人認為它將能更好地與人交談,不會再犯那麼多錯誤了。 真的是這樣嗎? 然而,一些專家認為,ChatGPT 的幻覺可能是大型語言模型的固有缺陷。深度學習先驅 Yann LeCun 認為,模型可能擅長模仿人類的語言,但它們並不真正「理解」語言的含義或在現實世界中的運作方式。他認為,大部分人類知識都是非語言的,計算...

Google員工感到困惑:Bard與搜尋的關係不明確 (Bing ???)

根據 CNBC 的一篇報導指出,Google高層仍在努力應對AI引擎Bard發布後引起的爭議。Bard的失敗發布導致華爾街懲罰了Google母公司Alphabet的股價,因為投資者擔心公司的核心搜尋引擎可能受到 AI Chat bot 的威脅。