可少買82%輝達H20晶片!阿里雲提方案解決GPU浪費
AI模型發展過程不光仰賴算力增長,算力浪費問題也日益突出。大陸科技巨頭阿里巴巴旗下阿里雲提出計算池化解決方案「Aegaeon」,成功入選頂級學術會議SOSP 2025。該方案可解決AI模型服務中普遍存在的GPU資源浪費問題,大幅提升GPU資源利用率,目前其核心技術已應用在阿里雲百鍊平台。換算下來,可幫助廠商少採購82%的輝達H20晶片。
SOSP(操作系統原理研討會)由ACM SIGOPS主辦,被譽為計算機操作系統界的「奧斯卡」,為計算機系統領域頂級學術會議,平均每年收錄的論文數量僅有數十篇,本屆SOSP大會上,系統軟體與AI大模型技術的融合成為新的趨勢。
科創板日報報導,數據顯示,在阿里雲模型市場為期逾三個月的Beta測試中,Aegaeon系統在服務數十個參數量高達720億的大模型時,所需的輝達H20 GPU數量從1,192個減至213個,削減比例高達82%。GPU用量削減82%代表企業硬體採購成本將顯著降低,這對於動輒須使用成千上萬顆GPU的大型模型服務商而言至關重要。
少數熱門模型(如阿里的Qwen)承載了絕大多數用戶請求,而大量不常被調用的「長尾」模型卻各自獨佔著GPU資源。數據顯示,在阿里雲模型市場中,曾有17.7%的GPU算力僅用於處理1.35%的請求,資源閒置嚴重。而Aegaeon系統通過GPU資源池化,打破了「一個模型綁定一個GPU」的低效模式。
報導稱,未來AI的發展將不僅依賴於硬體算力的單純增長,更需要通過系統級的軟體創新來深度挖掘現有硬體的潛力。
百度智能雲AI計算部負責人王雁鵬在去年9月曾表示,2024年大模型市場發展迅速,很多企業加大了在大模型領域的投入,在大模型訓練時遇到了一個共性問題,那就是算力利用率很低。他說,有50%算力被浪費的說法一點都不誇張,如何提升算力的有效利用率,正在成為業界共同的努力方向。
更多udn報導
台男新加坡遭竊7萬!飯店「要他翻垃圾桶」 警竟搜出1物
失蹤逾2年…陸前外長秦剛疑現身!北京活動亮相「微發福」
54歲存款百萬簡單生活 她遇1事驚覺:什麼都沒有最可怕
改走夢幻風?火辣女星穿「蕾絲透視禮服」翻車 網:糟透了
其他人也在看
黃仁勳傳赴APEC 談HBM合作
輝達執行長黃仁勳傳將出席月底在韓國舉行的亞太經濟合作會議(APEC)企業領袖峰會,與全球領袖及韓國主要企業高層會面,聚焦與SK海力士及三星電子的高頻寬記憶體(HBM)合作動向。OpenAI執行長奧特曼、蘋果執行長庫克、谷歌執行長皮查伊等美國科技巨頭,也將出席此次APEC企業領袖峰會。
工商時報 ・ 16 小時前匯率期貨趨勢專欄-日相選舉 日圓風向球
日本現任首相石破茂於9月7日宣布辭去執政自民總裁一職,等同卸任首相,在位僅約1年便準備下台。高市早苗4日於自民內選舉勝出,擔任新任自民總裁,且即將於21日(本周二)舉行的臨時國會中,角逐下任日本首相。
工商時報 ・ 16 小時前
大盤短線漲多、美股回跌,驅使資金轉向...台股中小型基金 利基不變
台股新高行情轉趨震盪,投信法人表示,大盤短線漲多、美股回跌,上檔空間受壓抑,驅使資金轉向較不占權值、具成長潛力的業績題材中小型股,增添台股中小型基金利基及表現機會。
工商時報 ・ 16 小時前權證市場焦點-萬海 中美緊張運價漲
在中美貿易壁壘重新開戰下,SCFI指數大漲,萬海(2615)等貨櫃三雄股價再度上揚。萬海將於10月底與長榮、陽明共同開通「華北—印尼直航線」,進一步擴大東南亞市場。
工商時報 ・ 16 小時前
台積電開始量產輝達 Blackwell 晶片 美國AZ廠內部首曝光
財經中心/陳妍霖 莊柏驊 台北報導台積電宣布,輝達的''Blackwell'' AI晶片在美國AZ廠開始量產,現在美國廠內部的畫面,也在脆上瘋傳,被網友大讚說,「可以窺見美國台積電的內部,還有台灣半導體實力的強大」,還說,簡直就像科幻電影。台積電官方發布的美國亞利桑那州廠,廠內畫面首度曝光,台積電美國AZ廠技術員指出,「它們上下左右飛快移動,到工具那裡,然後把它放下,我每天都用它們運送數千片晶圓,到任何地方。」台積電開始量產輝達''Blackwell'' 晶片 美國AZ廠內部首曝光(圖/翻攝自''TSMC'' YouTube)「它只是上下加速,左右竄動,到處去,到工具那裡,放下它,我每天都用它們運送數千片晶圓,到任何地方!」運送晶圓盒的''天車'',在銀色軌道上,自動化高速穿梭,展現驚人效率,有夠震撼,最先進的晶片如何製造?製程也公開。有如科幻片,充滿魔法,有夠壯觀,還大秀''極紫外光''先進技術,影片這兩天在Threads上瘋傳,[[tga]]被網友大讚,「可以窺見美國台積電的內部,還有台灣半導體實力的強大」,但,這也讓各界擔心,美國廠已經在量產輝達AI晶片,最先進製程還會在台灣嗎?台積電開始量產輝達''Blackwell'' 晶片 美國AZ廠內部首曝光(圖/翻攝自''TSMC'' YouTube)雲報政經產業研究院副社長柴煥欣分析指出,「目前亞利桑那州的一廠就是4奈米,二廠的話將會是3奈米,三廠跟四廠則會在2奈米甚至是1.6奈米製程的這樣子一個部分,但是目前的整個的一個建廠進度,也只不過是一廠完工而且進入量產,二廠其實還在興建當中,三廠、四廠的話應該要等到2028到2030年左右,大概才會看到完工,整個的一個建廠進度的話,再搭配到台積電的一個技術藍圖,台積電的大概在1.6奈米的話,應該會在明年開始導入量產,然後2028年的話才會是1.4奈米製程進入量產的一個狀況,但是那個時候的話,其實亞利桑那州的三廠、四廠應該都還沒有正式落成的一個狀況,所以說台積電依然還是可以維持一個N-1的一個世代,落在美國的部分,而台灣還是擁有所謂先進製程的優勢。」柴煥欣進一步分析說,「再次一個世代的話,也就是應該會是1奈米製程的話,台積電規劃應該可能會在2030年才會導入量產,但是那個時候五廠跟六廠應該還沒有正式開始進入建廠的階段,所以說最起碼在1奈米製程的這樣子的一個製程規劃上面的話,台灣還是可以擁有N-1世代的一個製程領先的優勢。」畢竟最大產能在台灣,台灣產線最賺錢,就算川普再怎麼強調''美國製造'',但對台積電來說,最先進製程,還是台灣最有優勢。原文出處:台積電開始量產輝達 Blackwell 晶片 美國AZ廠內部首曝光 更多民視新聞報導台股創新板制度放寬 亞洲創新籌資平台21日啟動子瑜不再怕黃安舉報!出道10年霸氣喊:我來自台灣00940股價慘!專家曝到1時機才會漲:連10元都難
民視財經網影音 ・ 23 小時前
輝達進駐倒數 新壽盼三方會談
距輝達的「最後通牒」倒數計時,北士科T17、T18土地卡關,據了解很多私人地主願意提供土地予輝達開發。新壽則認為,北市府、輝達與新壽應盡快坐上談判桌,談出皆大歡喜的商業協議,只要北市府、新壽有共識,補償金由輝達承擔,歧見應已拉近。但是北市府表示,輝達希望的對口是北市府,唯一的解方是新壽與市府合意終止契約,市府再設定專案地上權給輝達。
中時新聞網 ・ 16 小時前為最高院敗訴預作準備?川普鬆綁對等關稅、擴大豁免品項
美國總統川普近幾週已豁免數十項產品的對等關稅,並宣布其他國家若與美國達成貿易協議,可再享有農產品與飛機零件等數百項商品免關稅待遇。顯示川普政府悄悄調整貿易政策,為最高法院關稅官司可能敗訴預作準備。
中時財經即時 ・ 1 天前
輝達不等了? 傳總部將設T12 李四川駁斥
輝達進駐北士科T17、T18卡關,有媒體報導,輝達將轉移到T12,不過台北市副市長李四川駁斥,沒有這件事情。也傳出新壽願意讓步,但前提是北市府讓新壽跟輝達自己談解約金,李四川說,唯一的解方是新壽與市府合意終止契約、市府再設定專案地上權給輝達。
TVBS新聞網 ・ 20 小時前黃仁勳10/28出席APEC工商峰會,擬與三星、SK會談HBM供應與AI合作
【財訊快報/陳孟朔】外電報導,AI晶片一哥--輝達(Nvidia)執行長黃仁勳將於10月28日至31日出席在韓國慶州舉行的亞太經濟合作會議(APEC)工商領導人峰會。此次行程除發表演說外,市場聚焦他在訪韓期間的雙邊會談與供應鏈布局訊號。黃仁勳預計分享輝達在人工智慧(AI)、機器人技術、數位孿生(Digital Twin)、自動駕駛等領域的最新願景與應用路線圖。外界關注其對AI算力需求曲線、能源效率與成本結構的觀點,及對企業級導入與產業數位化的推進節奏。峰會期間,黃仁勳規劃與三星集團會長李在鎔、SK集團會長崔泰源等韓國晶片龍頭會面,討論高頻寬記憶體(HBM)供應與AI相關合作方案;亦傳出可能參觀三星電子與SK海力士的半導體廠房,以掌握先進製程、先進封裝與記憶體產能擴充進度。在AI伺服器快速擴張下,HBM已成為瓶頸資源;此次會談若能就產能規劃、良率優化、能效與散熱協同設計取得共識,可望提升供應彈性、縮短交期並穩定後續平台產品推出節奏。對於輝達而言,多元化的HBM與先進封裝供應體系,亦有助分散風險、強化產品組合競爭力。除半導體供應鏈外,這次峰會亦集結國際科企領袖,包含OpenAI執行長阿爾特
財訊快報 ・ 14 小時前
《美債》銀行授信暴雷疑慮減緩 殖利率全面上揚
MoneyDJ新聞 2025-10-20 06:16:15 李彥瑾 發佈近期美國銀行業放款品質惡化,接連傳出巨額呆帳損失,凸顯景氣下行風險未除。但因市場普遍認為美國經濟仍具成長力道,對債市形成賣壓,10月17日美國公債殖利率全面上揚。 根據CNBC報價,紐約債市17日尾盤時,對聯準會(Fed)貨幣政策較為敏感的2年期公債殖利率上漲逾3個基點至3.462%;10年期公債殖利率攀升3個基點至4.005%;30年期公債殖利率略漲近2個基點至4.60%。(註:公債價格與殖利率呈現反向走勢。 美國兩家銀行日前分別傳出「授信踩雷」的消息,錫安銀行(Zions Bancorporation)15日驚傳踩到地雷,曝險金額高達5,000萬美元,西方聯盟(Western Alliance)16日亦公告遭詐貸。消息一出,市場對美國銀行業面臨結構性授信風險的疑慮升溫,銀行股應聲暴跌。 不過,隨著投資人逐步消化相關風險,並評估上述暴雷案屬個別事件且可控,市場避險情緒在17日明顯降溫,部分資金撤出美債,帶動殖利率走高。 此外,市場亦持續關注已延宕逾三週的美國政府關門危機。由於民主、共和兩預算協商僵持不下,遲未通
Moneydj理財網 ・ 14 小時前
國際盤勢/美擺脫信貸陰霾!三大指數齊揚 日股重挫韓股周線三連紅
美國股市周五(17)日收漲,投資人消化美國與中國貿易談判語氣轉趨緩和的消息,同時拋開地區銀行信貸疑慮的陰影,道瓊指數上漲238.37點或0.52%,收46,190.61點;標普500指數漲34.94點或0.53%,收6,664.01點;那斯達克指數升117.44點或0.52%,收22,679.98點,成功終結跌勢。費城半導體指數微跌0.32%至6,777.98點,反映晶片股漲跌互見的現況。
三立新聞網 setn.com ・ 13 小時前
《美股》市場擔憂有所緩解 道瓊指數上漲0.52%
MoneyDJ新聞 2025-10-20 06:16:11 黃文章 發佈美股三大指數週五上漲,因市場對信貸風險以及中美貿易緊張的擔憂有所緩解。川普表示,他所提議對中國商品徵收的100%關稅將「不可持續」,但他將當前貿易談判陷入僵局的責任歸咎於北京,原因是中國當局加強了對稀土出口的管控。 道瓊工業平均指數10月17日終場上漲0.52%(238.37點)、收46,190.61點。標準普爾500指數上漲0.53%(34.94點)、收6,664.01點。那斯達克指數上漲0.52%(117.44點)、收22,679.97點。費城半導體指數下跌0.32%(22.04點)、收6,777.98點。上週,三大指數分別上漲1.7%、1.7%、2.2%。 道瓊指數前5大權重股當中,高盛(權重10.14%)下跌0.97%,開拓重工(權重7.24%)下跌2.57%,微軟(權重6.84%)上漲0.39%,家得寶(權重5.18%)上漲1.16%,聯合健康集團 (權重4.77%)下跌0.02%。 美國財政部長貝森特表示,他將於週五晚間與中國貿易官員舉行會談;美國總統川普亦在白宮確認,月底中美兩國元首的會晤「仍有望如期
Moneydj理財網 ・ 14 小時前
迪士尼門票飆七千!馬斯克億賠踢走推特CEO
想去世界上最快樂的地方找米奇嗎?你現在要付更多的錢了。迪士尼最近宣布全面調漲票價,一張門票甚至飆破台幣七千塊,而且不只門票,連停車費和快速通關票,通通都要變貴了。迪士尼要我們多花錢的同時,世界首富馬斯克卻是反過來付錢,用上億美元和被資遣的前推特高層和解,甚至推出平價版的特斯拉。兩大巨頭,一個喊漲、一個付錢,背後究竟打得是什麼算盤?
TVBS新聞網 ・ 17 小時前
《歐股》美地區銀行踩雷引發疑慮 歐股下挫
MoneyDJ新聞 2025-10-20 06:15:19 黃智勤 發佈受美國地區銀行信貸風波影響,歐洲股市上週五(10月17日)走低,銀行類股跌幅尤深,資金湧入黃金等避險資產。 泛歐STOXX 600指數10月17日下挫0.95%(5.42點)、收566.24點,當週仍微幅上漲0.4%。產業方面,銀行類股重挫2.5%。 歐洲主要指數17日全線下跌,德國DAX指數下挫1.82%(441.20點)、收23,830.99點;英國FTSE指數下挫0.86%(81.52點),收9,354.57點;法國CAC指數下挫0.18%(14.39點)、收8,174.20點。 由於美國政府持續停擺導致關鍵經濟數據延遲發佈,加上中美緊張局勢加劇和科技業估值過高等疑慮,上週股市行情受到壓抑。 美國次級汽車貸款機構Tricolor和零件製造商First Brands近期聲請破產保護,美國投資銀行Jefferies、錫安銀行(Zions Bancorporation)和西聯銀行(Western Alliance)揭露信貸損失,引發市場不安。歐洲金融股18日普遍下跌,避險情緒轉濃,也推升金價升至歷史新高。 法國興業
Moneydj理財網 ・ 14 小時前傳新壽願合意解約 不拿北市府補償金直接與輝達協商
據傳輝達已同意「棄T17、18改設於T12」,不過台北市副市長李四川今(19)日時表示「沒有這回事」,而新壽今晚則傳出願與北市府合意解約,不向北市府提出解約補償金,而希望直接和輝達協商。
中時財經即時 ・ 23 小時前
NVIDIA強化美國在地供應鏈,黃仁勳親自展示台積電亞利桑那州廠生產的首片Blackwell晶圓
NVIDIA稍早宣布一項極具象徵意義的重大里程碑,執行長黃仁勳在一場慶祝活動上親自揭示首片於「美國本土」製造的Blackwell晶圓。這片晶圓是NVIDIA下一代AI晶片的核心基礎,而其生產地點,正是合作夥伴台積電 (TSMC)位於亞利桑那州鳳凰城的先進半導體製造設施 (Fab 21)。
Mashdigi ・ 21 小時前川普鬆手 關稅豁免大放水
美國總統川普近幾周已豁免數十項產品的對等關稅,並宣布其他國家若與美國達成貿易協議,可再享有農產品與飛機零件等數百項商品免關稅待遇。顯示川普政府悄悄調整貿易政策,為最高法院關稅官司可能敗訴預作準備。
工商時報 ・ 16 小時前
輝達總部改選T12?北市府否認曝新壽期限 傳有「秘密基地」進行場勘
由於T17、18地上權開發案陷僵局,外傳輝達已經同意北市府建議,選用北士科T12設點,作為新總部替代方案,但遭到台北市副市長李四川否認。據悉,輝達態度確實鬆動了,不侷限於北士科T17、18,並已啟動場勘祕密基地備案。
三立新聞網 setn.com ・ 15 小時前《獨家》輝達棄T17、18改設T12?北市府否認 傳有祕密基地備案進行場勘
據傳,輝達已同意「台灣企業總部棄T17、18,改設於T12」,對此,台北市副市長李四川今(19)日已加以否認,表示「沒有這回事」。據悉,由於T17、18三方仍陷僵局,輝達的確態度鬆動,不侷限企業總部非北士科T17、18不可,且已啟動祕密基地備案的場勘,一旦到24日新壽仍不提合意解約條件,台北市府恐就會啟動備案程序。
中時財經即時 ・ 22 小時前防對等關稅敗訴 川普提前鬆綁
美國最高法院於11月初將就「對等關稅」舉行聽證會,最近幾周,美國總統川普已將數十種產品從對等關稅中豁免,另外,在美國和他國達成的貿易協議中,也豁免了數百種產品的關稅,範圍從農產品到飛機零件等。《華爾街日報》指,此舉旨在對沖最高法院可能否決「對等關稅」所帶來的法律風險,因為一旦最高法院判決政府敗訴,白宮可能被迫退還大量已徵收的關稅。
中時新聞網 ・ 16 小時前