跳到主要內容

發表文章

目前顯示的是有「技術創新」標籤的文章

超越 NVIDIA?Groq 的 LPU 晶片展現超高速的處理能力

Groq:新創 AI 晶片商異軍突起 Groq,不是 Elon Musk 的 Grok 最近引起了不小注意。在高性能 AI 晶片市場中,Groq 這家由前 Google 員工創立的新創公司,正以其獨特的處理器架構引人注意。Groq 致力於處理人工智慧(AI)、機器學習(ML)以及高性能計算(HPC)的高負荷處理,特別專注於 AI 推理領域,即利用訓練過的 AI 模型進行預測或決策的過程。 創立宗旨與遠景 2016 年,Jonathan Ross 率先創立 Groq,並擔任 CEO。Groq 的宗旨在於讓 AI 技術普及,進而將計算成本降至最低。公司努力突破現有 GPU 和 CPU 系統的限制,釋放 AI 的無限潛能。 技術革新:語言處理單元(LPU) Groq 推出了全球首創的語言處理單元(LPU,Language Processing Unit),這是一款專門針對 AI 推理設計的晶片。LPU 的設計目的是為了提供超快速度的推理能力,特別是針對大型語言模型(LLM),這對於聊天機器人、翻譯服務以及其他消費者級 AI 應用相當重要,畢竟時間就是金錢,以現在 GTP-4 的處理速度,也是讓很多使用者不滿意的一點。 LPU 採用 Groq 的 Tensor Streaming Processor(TSP)架構,這一架構免除了複雜的調度硬體需求,使得處理過程更加簡化。這種設計讓 Groq 的晶片能夠展現出出色的性能:高產出與低延遲。 性能表現與市場影響 Groq 的 LPU 在性能上展現了驚人的成績,與 NVIDIA、AMD 和 Intel 等 AI 晶片市場的重量級廠商相媲美。LPU 在一個龐大的 AI 模型上達到了每秒 100 個 token 的記錄速度,並在最近進一步突破,達到每秒超過 240 個 token。這種性能效率的表現,使 Groq 成為業界潛在的新星,很可能衝擊 NVIDIA 的占比。 Groq 已成功籌集顯著的融資,包括一輪由 Tiger Global Management 和 D1 Capital 共同領投的 3 億美元 C 輪融資。公司到目前為止總融資額達到 3.67 億美元,展現了投資者對其技術和市場潛力的高度期待。 應用範疇與實際案例 Groq 的 LPU 適用於各種需要快速且高效 AI 推理的應用場景,包括消費者級生成 AI 應用、自動駕駛汽...

Boximator:ByteDance 推出新 AI 影片工具

TikTok 的母公司 ByteDance 最近推出了一項名為 Boximator 的 AI 工具,這項技術為了提升 AI 生成影片中的動作控制精準度而設計,預計將為影片創作領域帶來不小變化。 Boximator 的獨特功能 Boximator 不僅讓用戶能夠將圖像動畫化,還能在影片中精確控制物體的運動,其關鍵功能包括: 精準的動作控制 :透過 Hard box 與 Soft box 的設計,用戶能夠精確定位物體,並靈活地規劃其在影片中的運動路徑。 直觀的操作介面 :Boximator 的介面設計人性化,即使是沒有豐富技術背景的創作者也能輕鬆上手,自由創作動畫。 無縫整合能力 :作為現有影片生成模型的插件,Boximator 能夠輕鬆整合進現有系統,同時保留基礎模型的原有功能。 卓越的性能表現 :透過自我追蹤機制,Boximator 簡化了訓練過程,提升了對物體運動的理解,達到了業界領先的影片品質和運動控制能力。 技術細節 Boximator 透過讓用戶在參考圖像中選擇物體,並使用盒子和線條來定義它們在連續框架中的運動,從而實現其功能。 Box Constraints :透過 Hard box 和 Soft box 的設計,Boximator 精確控制物體的位置和運動範圍。 自監督預訓練 :採用自監督預訓練方法,模型能夠在每個框架中生成並最終移除物體周圍的可見邊界盒,從而培養出空間-時間推理的能力。 實證驗證 :經過 Boximator 增強的模型不僅保持了原始影片的品質,還通過 Fréchet Video Distance (FVD) 分數證明了其精確的運動控制能力,顯著提升了基礎模型的性能。 寫在後面 Boximator 目前仍處於研究階段,未完全商業化,但其對內容創作的潛力不容小覷,有望為創作者提供全新的表達工具,將創意和夢想轉化為生動的故事。隨著技術的不斷成熟,Boximator 預計將 Tiktok 短影片造成不小影響。 參考資料 TikTok Releases Boximator for Fine-Grained Motion Control in AI-Generated Videos   Beyond the Feed: TikTok’s ByteDance Launches Boximator for Unmatched Video Cre...

OpenAI 商標註冊失敗:美國專利和商標管理局拒絕 "GPT" 申請

OpenAI 近日 (2/8) 在將 "GPT" 這個詞註冊為商標的努力中遭遇挫折。美國專利和商標局(USPTO,United States Patent and Trademark Office)拒絕了這個申請,理由是 "GPT" 這一詞僅僅對 OpenAI 的服務進行了描述,而不足以作為品牌名稱或產品標識。 美國專利和商標管理局的判斷依據 美國專利和商標管理局的決定主要基於一個觀點,即 "GPT"(Generative Pre-trained Transformer)這一詞是對 OpenAI 提供的 AI 服務的功能、特性或特徵的一種通用描述。審查官指出,消費者會立刻將 "GPT" 與該公司提供的服務聯繫起來,比如用於機器學習和自然語言處理與生成的軟體。 對 OpenAI 及 AI 產業的影響 商標申請遭拒對  OpenAI 以及整個 AI 產業都產生了一定的影響。如果 OpenAI 成功註冊了 "GPT" 商標,將有助於該公司防止潛在的混淆和未經授權的使用。然而,這也可能限制競爭對手和 AI 領域的其他企業開發基於 "GPT" 的技術或服務,進而抑制創新。 OpenAI 的先前成功與未來選項 值得一提的是,OpenAI 成功註冊了 "GPT-3" 的商標,並未遭遇拒絕。這一成功案例表明,OpenAI 或許還有機會為 "GPT" 這一更廣描述的詞獲得商標保護。OpenAI 可以選擇在三個月內請求美國專利和商標管理局重新審查,或者通過支付額外費用延長回應期限。他們還可以向上訴委員會提出上訴。 "GPT" 和 AI 商標法的未來展望 OpenAI 對 "GPT" 商標申請的結果將對 AI 和新興技術領域中類似詞彙的處理方式產生先例效應。隨著 AI 技術的不斷發展,規範其開發和傳播的框架也必須相應進化。未來幾個月內做出的決策將對 AI 創新和競爭的未來產生深遠的影響。 總之,美國專利和商標管理局拒絕給 OpenAI "GPT" 商標,這一決定可能會後續影響 AI 創新和競爭的未來走向。OpenAI 仍保留其專有 AI 模型和技術的其他知識產權,大家將會...

Apple 研究突破: AI 在 iPhone 本機運作的可能性提高

手機直接安裝  AI 語言模型,Apple 將再創新高? 最近,Apple 的研究團隊在大型語言模型(LLMs)的直接部署上取得了重大進展。這不僅是技術的一大步,也可能徹底改變我們與手機的互動方式。想像一下有不用上網的 ChatGPT 在手機內的未來是怎麼樣子的? iPhone 的 AI 夢想,正在成真 一般來說 LLMs 一直被認為是資料和記憶體的使用大戶,需要強大的運算能力才能運行。這對於資源有限的手機來說似乎是天方夜譚。但現在,Apple研究人員找到了突破口,透過一種新型的快閃記憶體儲存技術,使得這一切在 iPhone 上成為了可能。 快閃記憶體裡的 AI Apple 的一份新 研究報告 指出,與傳統用於運行 LLMs 的 RAM 相比,手機中更常見的是快閃記憶體。他們的新方法有效地利用了快閃記憶體,大大提高了數據讀寫的效率。他們運用了兩種關鍵技術: Windowing :這種技術讓 AI 模型重新使用已處理過的數據,減少了對記憶體的依賴。 Row-Column Bundling :類似於一次閱讀更多的數據,這提高了從快閃記憶體讀取數據的速度。 這樣的組合使得 AI 模型可以在有限的記憶體中運行得更加高效率。 iPhone 體驗的變革 這意味著什麼?想象一下,未來的 Siri 不僅僅是一個語音助手,它可以進行深入的對話,即時翻譯語言,甚至在你的手機上創作詩歌或 coding。這些都不再是遙不可及的夢想,而是即將到來的現實。雖然 Google 已經揚言會將 Gemini model 放到 Google assistance 中,但目前兩家科技巨頭的實現方法似乎大不相同。 寫在後面:步入 AI - Powered 的新時代 Apple 的這一步代表著非雲端運行的 AI 的重大指標,目前主流 AI 服務,如 ChatGPT,仍依賴 HCP 雲端計算來提供結果。然而,Apple 的研究加強了 AI 微型化並在本機運作的可能性。若此技術實現,從筆記型電腦到手錶等設備都能載入不同程度的 AI,以提供協助。目前 Google Pixel 系列手機是個先鋒,未來 Apple 可能會讓其有爆發性的成長。 參考資料 Apple Develops Breakthrough Method for Running LLMs on iPhones - MacRumors Appl...

神秘的 Q*:OpenAI 即將孵化出 AGI ?!

什麼是 Q-Star,Q* OpenAI 最近話題不斷。其中一項傳聞便是由 OpenAI 推出的 Q-Star 專案,簡稱 Q*。此專案的亮點在於其解決非訓練範圍內數學問題的能力,這在 AI 領域中屬於少見的成就,我們以前嘲笑 LLM 的數學是國文老師教的,可能將會被這個專案的研究成果打破。 理解 AGI 及 Q-Star 的角色 人工通用智能(AGI,Artificial general intelligence)代表了一類接近甚至是超越人類智力水平的 AI 系統。Q-Star 能夠獨立解決未經訓練的數學問題,暗示著我們可能正向著實現 AGI 邁進。這一重大進展由 OpenAI 的首席科學家 Ilya Sutskever 開啟,並得到 Jakub Pachocki 和 Szymon Sidor 等研究人員的進一步發展,為 AI 朝向 天網上線 AGI 更進一步,。 爭議與影響 Q-Star 的出現引起了不小的爭議,甚至可能與 OpenAI 的 CEO Sam Altman 被董事會的開除有所關連。在他被開除之前,有研究團隊向董事會警告一項可能對人類構成風險的 AI 發現,即是 Q-Star。董事會認為 Sam Altman 在開發進度上沒有如實報告,進而開除 Sam Altman。更不用談如果開發成功 Q* 或是 AGI 可能造成的倫理問題了。 神秘的 Q* Q-Star 的具體能力和可能帶來的風險處一個神秘的狀態,因為有關細節與成果根本尚未公開。這種神秘感增加了我們對 Q-Star 的好奇,加上 OpenAI 也明確說明 GPT-5 正在開發中,使我們對其全部潛力和可能後果充滿了好奇。 寫在後面:跨入未來 Q-Star 如果真的如預期的開發成功,將會代表著 AI 進入一個新篇章。它解決超越訓練知識範圍的問題的能力,顯示了 AI 的強大未來性。然而,它也提醒我們,在邁向 AGI 的路途中,我們必須要注意可能風險並提早預防,負責任的創新與開發是非常重要的。 Read more Sydney 的起死回生: 談 Prompt Injection   60分鐘專訪:Google CEO 呼籲大眾關注 AI 風險 參考資料 https://the-decoder.com/openai-researchers-reportedly-warned-internally...

Kobo 全球政經書展:探索數位地緣政治與 AI 未來

未來科技的閱讀啟示錄:Kobo 全球政經書展精選 85 折 「 Kobo 全球政經書展 」到 11/30 前有 85 折的優惠,其中的 數位地緣政治 Digital Geopolitics 有很多有興趣的內容,趁這個機會先挑一下書單,可以多多了解這個世界對 AI 的不同面向思考。 探索AI的深層次意義 《 AI背後的暗知識:機器如何學習、認知與改造我們的未來世界 》透過深入淺出的方式,介紹了 AI 如何揭露那些人類難以察覺的隱藏知識。這本書預期能讓小編更好地理解AI技術背後的原理,並思考它如何創新地改變我們的工作和生活方式。 AI在日常生活的應用 《 AI無所不在的未來 》深入介紹了AI在日常生活中的應用。期待在閱讀後能更有效地運用 AI 技術,無論是在工作還是在個人生活中,並能更全面地理解其對社會的影響。 認識 AI 造假的風險 《 深度造假:比真實還真的AI合成技術,如何奪走人類的判斷力,釀成資訊末日危機? 》分析了 AI 造假技術對信息真實性的影響。讀完這本書後,期望能更加警覺於AI技術的濫用,並能更明智地辨別真假信息。 理解AI在社會中的角色 《 二十一世紀機器人新律:如何打造有AI參與的理想社會? 》提供了對AI在法律和社會結構中的角色的想法。閱讀這本書後,預期將能更全面地理解如何在保護個人隱私和促進技術創新之間找到平衡。