數位關鍵字171.從臺大到矽谷：他如何打造讓AI訓練效率翻倍的開源神器？

近年來ChatGPT等大型語言模型蓬勃發展，但訓練這些AI模型需要耗費大量運算資源與開發成本。本集數位時代創新長黃亮崢James邀請到Liger Kernel專案創辦人徐秉倫Byron，分享如何透過開源方案讓AI訓練更有效率。

他提到：

1.AI模型訓練的硬體需求：以目前最受歡迎的開源模型LLaMA為例，需要數十台甚至上百台AI Server的頂級顯示卡，同時運算的GPU可能破千甚至上萬片。

2.Liger Kernel的優化成果：透過底層最佳化，讓訓練速度提升20%、記憶體使用減少60%。以OpenAI訓練GPT-4的一億美金成本來計算，這樣的優化可為企業節省約兩千萬美金。

3.開源專案的三大優勢： 
・建立社群讓全球專家免費協助開發
・獲得不同專業領域的技術支援
・有助於人才招募並建立企業形象

4.GPU軟硬整合的發展方向：Byron建議臺灣可以投入HPC（High Performance Computing）領域，特別是在GPU kernel層級的最佳化，以及終端推理、小型模型等特殊晶片的應用開發。

Byron分享了他從在臺大電機系到Berkeley深造，最後在LinkedIn工作的經歷。他強調，開源專案不僅能幫助工程師展現實力，更可能成為前往國際企業工作的跳板。透過開源貢獻，臺灣工程師有機會被國際企業看見，獲得更好的工作機會。

對於未來發展，Byron指出AI正從預訓練階段進入後訓練時代，如何讓模型在特定領域達到更好的效能將成為關鍵。他建議臺灣可以善用在硬體領域的優勢，投入GPU運算優化與推理引擎的開發，在全球AI產業鏈中扮演重要角色。

Powered by Firstory Hosting