Video Player is loading.
8
views •
June 29, 2024
健康生活情報站 Transformer專用AI晶片 比晶NVIDIA H100快20倍
![健康生活](https://www.youmaker.com/ymk/image/20210428/526394df0e34fa9dbc896f60804f167e4de27b0a_1619649084822.jpeg)
健康生活
0 Followed
2024年6月26日
據媒體報導,美國新興的晶片創業公司Etched發布其首款AI晶片:Sohu。
這款晶片在運行大型模型時展現出了驚人的性能,其速度超越了行業巨頭NVIDIA的H100高達20倍,即便是與今年3月才面世的頂尖晶片B200相比,Sohu也展現出超過10倍的優越性能。
Sohu晶片的最大突破在於它直接將Transformer架構嵌入晶片內部。據Etched公司負責人Uberti透露,Sohu採用了台積電的先進4奈米工藝製造,不僅在推理性能上遠超GPU和其他通用人工智慧晶片,更在能耗控制上達到了新的高度。
對於Transformer技術而言,Sohu無疑是目前市場上最快的晶片,其性能與其他產品之間存在顯著的量級差異。值得一提的是,當前主流的AI產品如ChatGPT、Claude、Gemini和Sora等,均基於Transformer架構驅動。
作為世界上首款Transformer ASIC(應用型專用集成電路)晶片,Sohu的集成應用更是令人矚目。據測試,一台配備8塊Sohu晶片的服務器,其性能足以媲美160塊H100 GPU的集群。
具體而言,集成8塊Sohu晶片的服務器每秒能夠處理高達50萬的Llama 7B tokens,這一數據在業界堪稱前所未有。
而打造這款傑出晶片的Etched公司,位於美國加州的庫比蒂諾,盡管成立僅兩年,團隊規模也僅有35人,但其創始人-哈佛輟學生Gavin Uberti(前OctoML和前Xnor.ai員工)和Chris Zhu,與資深技術專家Robert Wachen和前賽普拉斯半導體公司首席技術官Mark Ross共同領導,已經成功研發出這款專為大模型AI設計的晶片,展現了其強大的技術實力和無限潛力。
更多其他精彩話題內容:
https://www.notion.so/7023b7b2cd5d4f5082c4aa7fb0fdcd1a?v=d4926f105c56473cbc55a3abe991aeac&pvs=4
https://scalloped-capybara-acc.notion.site/Health-Today-718e21949e6245e9b2e4d0acc93ed0e4
Show All ![](https://www.youmaker.com/images/icon/extend.svg)
Comment 0