字節向英偉達訂購超10億美元的GPU,阿里曾采購上萬塊
今年春節后,擁有云計算業務的中國各互聯網大公司都向英偉達下了大單,其中字節今年向英偉達訂購了超過 10 億美元的 GPU,還有另一家大公司的訂單也至少超過 10 億元人民幣。
一位接近英偉達的人士稱,字節跳動目前已經到貨和沒到貨的 A100 與 H800 加速卡總計有 10 萬塊。其中 H800 今年 3 月才開始投產。據晚點透露,僅字節跳動一家公司今年的訂單可能已接近英偉達去年在中國銷售的商用 GPU 總和。
一名字節人士透露,字節在 2020 年 6 月 GPT-3 發布后曾借助 V100 計算卡訓練過一個數十億參數的生成式語言大模型,但由于參數規模有限,這個模型生成能力一般,字節當時看不到它的商業化可能性故不了了之。
另一位阿里云人士表示阿里也曾在 2018-2019 年積極采購 GPU,當時阿里的采購量至少達到上萬塊規模,包括 V100 和 T4 計算卡,其中約十分之一送到了達摩院用作 AI 技術研發,這也用在了 2021 年發布的萬億參數大模型 M6 中。
消息人士提到,字節、阿里等大公司主要是和英偉達直接談采購,因為代理商和二手市場難以滿足其龐大需求,而英偉達會按目錄價,根據采購規模給出一定的折扣。