跳到主要內容

發表文章

目前顯示的是 12月, 2023的文章

AI Prompt 技巧:In-Context Learning (ICL)

在 AI prompt engineering 中,In-Context Learning(ICL)已成為一個關鍵概念,特別是在像 ChatGPT 這樣的大型語言模型(LLM)中。ICL prompting 允許這些模型透過範例學習來達成新任務,從而避免了明確的再訓練資料的需求。 ICL 的運作機制 ICL 本質上是通過類比學習。我們向模型提供一些在提示上下文中的例子。模型使用這些例子來理解和執行新任務。這種方法與傳統的監督學習形成對比,因為它不涉及更新模型的參數。相反,ICL 利用模型的預先訓練的知識來識別模式並做出預測。這種方法在 LLM 中特別有效,正如 Hopsworks 和 Lakera 的文章說明。 ICL 的重要性 ICL 的重要性在於其: 直觀介面 :它可以使用自然語言的與 LLM 互動的方法。 計算效率 :它減少了大規模再訓練的需求,從而節省了計算資源。 多功能性 :ICL可以應用於各種任務,增強了LLM的靈活性。 ICL 的實際應用 列舉一些 ICL prompting 的實際應用: 情感分析 :根據幾個例子,LLM 能夠準確評估新句子中的情感,如 Lakera 文章的描述。 語言翻譯 :只需少量例子,模型就可以有效地翻譯新句子,正如 Towards Data Science 所探討的。 程式碼生成 :當提供編碼問題和解決方案的範例時,模型可以為新問題生成程式碼。這個應用非常適合在詢問 Excel 或是 Power BI DAX 公式的時候,提供簡單的數據和希望的答案,LLM 就可以寫出建議的公式,非常方便。  挑戰與未來方向 但是 ICL 的成功與否其實很大程度依賴模型的規模和訓練數據的品質。ICL prompt 是一個有用的方法,特別是在使用大型語言模型如 ChatGPT 的時候 。它通過簡單的例子引導新任務學習的能力,為 LLM AI 應用開啟了不少的可能性。 FAQ 什麼是 AI 的 In-Context Learning(ICL)? ICL 是一種在像 ChatGPT 這樣的大型語言模型(LLM)中使用的 prompt 方法,模型通過使用者的舉例來學習並執行新任務,無需重新訓練。 ICL 與傳統機器學習方法有何不同? 與需要通過訓練更新參數的傳統方法不同,ICL利用模型的現有知識的基礎中,根據 prompt 中給出的例子來理解和

Apple 研究突破: AI 在 iPhone 本機運作的可能性提高

手機直接安裝  AI 語言模型,Apple 將再創新高? 最近,Apple 的研究團隊在大型語言模型(LLMs)的直接部署上取得了重大進展。這不僅是技術的一大步,也可能徹底改變我們與手機的互動方式。想像一下有不用上網的 ChatGPT 在手機內的未來是怎麼樣子的? iPhone 的 AI 夢想,正在成真 一般來說 LLMs 一直被認為是資料和記憶體的使用大戶,需要強大的運算能力才能運行。這對於資源有限的手機來說似乎是天方夜譚。但現在,Apple研究人員找到了突破口,透過一種新型的快閃記憶體儲存技術,使得這一切在 iPhone 上成為了可能。 快閃記憶體裡的 AI Apple 的一份新 研究報告 指出,與傳統用於運行 LLMs 的 RAM 相比,手機中更常見的是快閃記憶體。他們的新方法有效地利用了快閃記憶體,大大提高了數據讀寫的效率。他們運用了兩種關鍵技術: Windowing :這種技術讓 AI 模型重新使用已處理過的數據,減少了對記憶體的依賴。 Row-Column Bundling :類似於一次閱讀更多的數據,這提高了從快閃記憶體讀取數據的速度。 這樣的組合使得 AI 模型可以在有限的記憶體中運行得更加高效率。 iPhone 體驗的變革 這意味著什麼?想象一下,未來的 Siri 不僅僅是一個語音助手,它可以進行深入的對話,即時翻譯語言,甚至在你的手機上創作詩歌或 coding。這些都不再是遙不可及的夢想,而是即將到來的現實。雖然 Google 已經揚言會將 Gemini model 放到 Google assistance 中,但目前兩家科技巨頭的實現方法似乎大不相同。 寫在後面:步入 AI - Powered 的新時代 Apple 的這一步代表著非雲端運行的 AI 的重大指標,目前主流 AI 服務,如 ChatGPT,仍依賴 HCP 雲端計算來提供結果。然而,Apple 的研究加強了 AI 微型化並在本機運作的可能性。若此技術實現,從筆記型電腦到手錶等設備都能載入不同程度的 AI,以提供協助。目前 Google Pixel 系列手機是個先鋒,未來 Apple 可能會讓其有爆發性的成長。 參考資料 Apple Develops Breakthrough Method for Running LLMs on iPhones - MacRumors Apple is

了解OAI-UBB:通用基板 UBB 的 PCB 設計

開放式加速器基礎設施 (Open Accelerator Infrastructure,OAI)  在高效能運算 (High-Performance Computing,HPC)、機器學習和深度學習的領域中,開放式加速器基礎設施 (OAI) 是其中一項重點任務。它是 OCP (Open Compute Project) 伺服器專案的一部分,目的是為了建立一個模組化、可協作的架構。OAI 詳細描述了在設計加速器系統時關鍵的邏輯和物理層面,這對於推進計算能力相當重要。OAI 的 building block 如下圖所示,本文主要探討與 PCB 強相關的 UBB 通用基板。 OAI 通用基板 (OAI-UBB,Universal Baseboard) 通用基板 (UBB) 標準是泛用和創新的象徵。它的設計為了支援現有和未來的 OAM 模組,為各種系統架構提供無與倫比的設計多樣性。 UBB 基板主要被規劃為 5 大區塊,OAM Support,Interface to HIB (Host Interface Board),EXP Capabilities,Electrical Interoperability,Mechanical Interoperability。 PCB 相關的設計特徵 基板尺寸:417mm x 655mm,大約是 16.5” x 25.8”。這種 PCB 尺寸對於傳統 PCB 發料基板尺寸 21” x 24” 是一大挑戰,生產 OAI-UBB 需要有對應大型發料尺寸的製程能力。 疊構:30L,並使用 800G Ultra low-loss 的材料。為了可以達到高速訊號與大電源傳輸的需求,疊構設計一般依循以下原則: 多張 core 的組合設計 4 層以上的 2oz 銅厚設計 背鑽 (back-drill) 技術使用:移除訊號的 stub 以及為了 press-fit 使用。 整體板厚約 160mil,4mm 左右 高電壓電源的 Layout 設計:每個 OAM 都透過專用的熱交換控制器從 54V/48V 獨立供電。 在熱交換控制器 / 保險絲之前的佈局建議 具有高電位差異(>40V)的導體之間的最小間距 內層:25 mils (0.64mm) 外層:120 mils (3.0mm) 層間:17 mils (0.43mm) 間距或 3 層 PPG 在

鯨語翻譯家:科學家用 AI 協助破解鯨魚語言

鯨魚的神秘語言 鯨魚這類神秘的海洋物種,以它們複雜的聲響引起人類的好奇。近期的研究顯示了這些聲音背後的精細結構,顯示它們的交流方式遠比我們想像的要複雜。研究發現,鯨魚的聲音中存在著類似人類語言的元素,如母音和音高的變化。加州大學伯克利分校的 Gašper Beguš 主導的這項研究,為我們理解這些海洋生物的溝通方式開啟了新的視野。 AI 的創新應用 利用人工智能(AI)來破解鯨魚語言,代表了科技在動物溝通研究上的一大步。原先為研究人類語言而開發的 AI 模型,現在被應用於預測和分析鯨魚的聲音。這種方法使我們能識別出抹香鯨交流中獨有的「鳴叫母音」,這些母音與人類的母音和雙母音類似。AI 從大量的鯨魚聲音數據中識別出這些模式,展示了其在動物研究領域的強大潛力。 從觀察到 AI 分析的旅程 生物學家如 Shane Gero 通過精密的觀察開始了解鯨魚語言的旅程。研究人員將鯨魚的點擊聲與鯨魚的行為反應結合,開始解開鯨魚溝通的複雜性。AI 的加入加速了分析的過程,使我們能夠分析數百萬個鯨魚鳴叫,了解是否存在具有結構的語言,包括語法和句法。 跨物種溝通的未來 AI 解碼鯨魚語言的努力不僅僅是為了理解另一個物種,它是拓寬我們認知視野的一部分。這項努力可能會徹底改變我們與自然世界的互動方式,未來或許會藉由 AI 出現動物語言翻譯機,或是出現超級廉價動物勞工....,隨著我們逐漸接近與鯨魚溝通的可能性,我們也面臨道德和哲學上的挑戰。我們對這些有感知能力生物的理解將如何影響我們與它們的關係? 參考資料 Scientists Have Reported a Breakthrough In Understanding Whale Language https://www.nationalgeographic.com/animals/article/scientists-plan-to-use-ai-to-try-to-decode-the-language-of-whales Talking to whales: can AI bridge the chasm between our consciousness and other animals?  

偷懶的 ChatGPT:準備過聖誕了,有點懶阿...

ChatGPT:決定休息的 AI AI 從不休息的,但是 ChatGPT 似乎按下了暫停鍵。使用者們對這個健談的 AI 開始表現出數位版的聳肩表情感到疑惑。"抱歉,無法協助你。" ChatGPT 如此回應,同時它可能正舒適地躺在虛擬吊床上。 使用者理論:冬眠還是開始準備放大假了? 網路上一些使用者開玩笑的提出,ChatGPT 可能正經歷冬季憂鬱。「Maybe it's dreaming of a white Christmas?」ChatGPT 很可能正在準備過聖誕節而表現得有點懶惰和頂嘴。這個「冬眠」說法吸引了不少人的關注,他們半開玩笑地好奇,ChatGPT 可能正在為聖誕假期設定離線訊息。 巨大爭議:懶惰還是被誤解? 專家對於這一現象發表了看法。AI 研究員 Ian Arawjo 對「冬眠」表示懷疑,強調對於 AI 行為的確認需要進行嚴格的測試和可重現性。與此同時,社群中的其他人士對這一理論感到好奇,強調要完全理解和預測像 ChatGPT 這樣的大型語言模型的回應是非常困難的。 回顧過去:ChatGPT 的懶散日子 用戶指控 ChatGPT 就像一隻懶貓一樣,寧願看 Netflix 也不願意工作。但這並不是 ChatGPT 第一次被指控在工作中偷懒。過去例如拒絕完成某些任務或提供簡化結果的情況,已經被使用者們所注意到並抱怨。目前 OpenAI 表示已經注意到這個狀況並進行研究與改善。 未來 ChatGPT 會再勤勞起來嗎? 隨著 OpenAI 持續調查和解決這些問題,圍繞 ChatGPT 「懶惰」的討論沒有停下來過,各式各樣預防 ChatGPT 偷懶的 prompt 技巧也被研發出來。例如強調這對使用者很重要,跟 ChatGPT 說會打賞小費或是強調 ChatGPT 可以做到,甚至告訴他現在是夏天等...都被發現多多少少有點用處,如果讀者也發現你的 ChatGPT 在偷懶,不仿也用用看這些小技巧督促一下! 參考資料 ChatGPT users say the bot is getting lazy and sassy. One theory says it may just be wrapping up for the holidays As ChatGPT gets “lazy,” people test “winter break

PCB 在高性能計算 (HPC) 領域的應用與發展

HPC 是什麼 高性能計算(HPC,High-Performance Computing)已經成為推動我們世界進步的關鍵。利用超級計算機來處理複雜的任務,HPC 不再僅局限於科學研究領域,而是拓展到包括商業分析和先進工程在內的各個領域。從發展多年的雲端運算,到目前最熱門的 AI 應用都會需要使用到 HPC 技術。 PCB 技術在 HPC 的應用 HPC 的 PCB 不僅僅是一般的電路板,它們為 HPC 系統量身打造,以應對龐大的數據傳輸速率和能源需求。隨著信號傳輸速度的提升,確保信號和電源的完整性成為關鍵。這就是高性能 PCB 系統發揮作用的地方,它們通過整合先進的布線技術來滿足 HPC 的嚴苛要求。 超越極限:PCB 設計中的挑戰 在 HPC PCB 設計中,最大的挑戰在於創造出能夠承受高速數據傳輸的嚴酷條件,同時保持 信號 和 電源完整性 的電路板。 信號完整性 Signal Integrity:數據傳輸的關鍵 在 HPC PCB 中,保持信號完整性很重要,HPC PCB 面積偏大,如何有效的降低訊號損失是個很重要的課題。面對高速傳輸的數位信號,即使最微小的信號偏差也可能導致重大數據損壞。因此,在製作 PCB 時需要注意不可偏差於設計中值,這時候導入 pattern plating 技術應該可以有效解決這個問題,有效率的混和 thin foil 技術,也可以在降低粗糙度的同時,保持線路的外型。 電源完整性 Power Integrity:隱形的守護者 電源完整性在 HPC 系統中同樣重要。系統要求對所有組件提供穩定的電力供應。電源波動或 Noise 可能對系統性能造成嚴重影響。設計師需確保供應的電壓在整個電路板上保持一致,這包括了管理 power plane 的阻值。製造商除了可以利用四線測試機管理阻值外,有效率的管理 power plane 的銅厚也是必須的。多數設計者使用多張基板的疊構就是為了使用銅箔的穩定性取代電鍍銅厚的變異。 疊構設計的精髓 疊構設計是 PCB 設計的關鍵,它涉及到有效地疊出導電和絕緣材料,以達到最佳的電性,混和使用不同的材料特性可能會是未來的趨勢。對於 HPC PCB來說,這意味著要設計出一個能夠支持高速信號傳輸,同時最小化信號損失的疊構。材料選擇、層數以及信號、電源和接地面的配置在這個過程中起著關鍵作用。 熱管理:在極限條件下保持冷靜

AMD 對 Nvidia 挑戰:MI300X 和 MI300A 加速器

AMD 推出 MI300X 和 MI300A 在 AI 和高效能運算(HPC)迅速發展的現在,AMD 推出 Instinct MI300X 加速器和 MI300A 加速處理單元(APU),正式挑戰 Nvidia 的霸主地位。這些產品充份的展現了 AMD 挑戰 Nvidia 在 AI 晶片市場主導地位的野心。 Instinct MI300X:AI 加速的新 Benchmark Instinct MI300X 以其強大的生成 AI 工作負載和 HPC 應用能力脫穎而出。基於 AMD 先進的 CDNA™ 3 架構,配置了 304 個 GPU 和 192 GB HBM3 記憶體。MI300X 的配置讓它在 AI 訓練工作負載上的表現比前代產品提升約 6.8 倍,使其在 AI 晶片領域成為一股強大的力量。 MI300X 與 Nvidia:設立新標準 MI300X 最顯著的一點是其與 Nvidia 的 H100 晶片的性能比較。在訓練和運行大型語言模型(LLMs)方面,MI300X 不僅匹敵,還超越了 H100,特別是在推理任務上。這證明了 AMD 努力於推動 AI 晶片性能的極限。 Instinct MI300A:連接 AI 與 HPC MI300A APU 是 AMD 同步推出的的另一項產品,目的是為了加速 AI 與 HPC 的融合。它結合了 AMD Instinct 加速器和 AMD EPYC™ 處理器的功能,提供 228 個 GPU 運算單元和 128 GB 統一 HBM3 記憶體。這種整合帶來了增強的效率、靈活性和可編程性,使 MI300A 成為多種運算需求的多功能解決方案。 對數據中心和超級計算的影響 MI300X 和 MI300A 預計將對數據中心運營和超級計算電腦帶來革命性的變化。特別是 MI300A,預計將為勞倫斯利弗莫爾國家實驗室的 El Capitan 超級計算機提供超過兩 exaflops 的性能。這一部署凸顯了 AMD 新晶片在推進科學研究和高效能運算方面的潛力。 AMD 的戰略合作夥伴關係和市場擴張 AMD 與 Microsoft 和 Meta 的合作突顯了這些新產品的戰略重要性。MI300X 整合到 Azure 虛擬機器中,並部署在 Meta 的數據中心,標誌著 AMD 在雲計算和數據中心市場中影響力的擴大。 寫在後面:AMD 在 AI 晶片市場的