南亞科轉投資客製化記憶體補丁科技上興櫃,AI推理時代不同於GPU+HBM的新選擇

文/連于慧

南亞科轉投資與持股逾30%的補丁科技將於9月16日以每股 740 元參考價登錄興櫃,GPU+HBM是AI訓練時代的主流,但進入AI推理後,各種新型態記憶體的興起,對於延遲和功耗有多要求。

 

 

南亞科總經理李培瑛分析近期CPU/GPU與DRAM記憶體之間的搭配比重。

 

他指出,分析邏輯和DRAM使用的silicon area面積,以CPU為例,CPU搭配的DRAM記憶體是LPDDR5X,其邏輯和DRAM比例約是1:13~1:26,當是1:13情況是指DRAM使用量降規; 再來看GPU中的邏輯和DRAM,其silicon area面積比例是1:5 ~1:8,但GPU使用的記憶體並非傳統DRAM,而是高頻寬記憶體HBM,對於DRAM的產能消耗量更是2~3倍,近期台積電不段擴充CPU和GPU產能,可以想見未來DRAM需求量會更大。

 

 

補丁成立於2006年,董事長丁達剛,早年在鈺創與南亞科工作。丁達剛將《莊子》的庖丁解牛精神與《老子》「損有餘而補不足」融入半導體3D堆疊修補技術中,指出補丁科技旨在解決AI時代記憶體頻寬不足的痛點。公司員工90人,資本額約6億元,業務範圍除了北美是direct account之外,其他國家和地區都有代理商。

 

補丁總經理李曉雯提到與南亞科的合作起源,2010年雙方簽訂投資協議,當時南亞科對補丁持股超過50%,直到2017年雙方協議書結束後,仍維持晶圓代工與客戶的關係,一直到2025年AI崛起,客製化記憶體需求大增,南亞科決定再度投資補丁,目前持股約35%是最大股東。

 

補丁強調與南亞科的合作關係超越一般foundry供應商和客戶,雙方延伸至專案合作且共同技術開發。前三大記憶體廠全力追逐HBM/DDR5等主流產品,客製化記憶體對他們而言不合乎成本效益,相較之下,南亞科有技術且非常願意投資產品性高的公司,現在的南亞科也已經成為全世界要做客製化記憶體產品的首選合作夥伴。

 

過去30年CPU/GPU發展每兩年成長3倍,但是DRAM每兩年只成長1.6倍,久而久之形成「記憶體牆」,也就是記憶體腳步跟不上運算晶片,因為CPU/GPU永遠都在等待DRAM回傳資料。尤其在AI模型廣泛發展後,「記憶體牆」的問題成為AI產業往前進的瓶頸,而補丁科技的角色就是要解決此問題,公司也提出「一片補丁,十倍頻寬」口號。

 

 

現在讀AI訓練是以HBM為主,其中一個原因也是AI訓練對於延遲容忍度也較高。但進入AI推理時代,即時反饋的速度變得很重要,特別重視低延遲和低功耗,因此HBM未必具有最大優勢,反而是新型態的記憶體架構,像是補丁這樣的客製化記憶體,更適合成為AI推理領域的最佳化記憶體解決方案。

 

 

李曉雯也介紹了補丁的3D Stacked Near Memory解決方案概念,目前Nvidia為首的主流架構是GPU+HBM,透過2.5D/CoWoS方式將兩者連結,而補丁提出的3D Stacked Near Memory概念是以3D Stacking和Hybrid Bonding將 Memory Stack 與 PU整合,縮短資料傳輸的距離,還達到低延遲且功耗更低的目標。

 

另外,Nvidia也買下Groq採用SRAM解決方案,看中的就是進入AI推理之後可以補上HBM不足之處,但SRAM的缺點是天生cell size太大無法做到高容量,加上成本較高,補丁提出3D Stack DRAM才會是AI推理時代的最佳解決方案。

 

李曉雯也解釋,3D Wafer-on-Wafer 與 Hybrid Bonding技術並非是補丁獨有,真正差異在於完成 AI Near Memory 專案至少四方的深度合作,包括具資本與技術實力的AI客戶、可提供先進邏輯製程的Foundry廠、可提供客製化AI記憶體製程的DRAM Foundry廠,以及協同設計特殊記憶體架構的補丁。

 

TOP