セレブラス
 | |
種類 | 非公開 |
|---|---|
| 業種 | |
| 設立 | 2015年 |
| 創業者 |
|
| 本社 |
、 アメリカ合衆国 |
主要人物 | Andrew Feldman (CEO) |
| 製品 | ウェハ・スケール・エンジン |
| ウェブサイト |
www |
セレブラス︵英: Cerebras、旧: Cerebras Systems︶は、サニーベールとサンディエゴ、トロント、東京[1]、インドのバンガロールにオフィスを構えるアメリカの人工知能企業である[2][3]。セレブラスは、複雑な深層学習AIアプリケーション用のコンピュータシステムを構築している[4]。
歴史[編集]
セレブラスは2015年に、Andrew Feldman、Gary Lauterbach、Michael James、Sean Lie、Jean-Philippe Frickerによって設立された[5]。これら5人の創設者は、FeldmanとLauterbachによって2007年に設立されその後2012年に3億3,400万ドルでAMDに売却されたw:SeaMicroで協働した[6][7]。 2016年5月、セレブラスはw:Benchmark、w:Foundation Capital、Eclipse Venturesが主導するシリーズAラウンドで2,700万ドルを確保した[8][5]。 2016年12月にはw:Coatueが主導してシリーズBラウンドが行われ、続いて2017年1月にはVY Capitalが主導してシリーズCラウンドが行われた[5]。 2018年11月、セレブラスはシリーズDラウンドを8,800万ドルで終了し、同社はユニコーンとなった。 このラウンドの投資家にはw:Altimeter、VY Capital、Coatue、Foundation Capital、Benchmark、Eclipse が含まれていた[9][10]。 2019年8月19日、セレブラスはウェハ=スケール・エンジン︵WSE︶を発表した[11][12][13]。 2019年11月、セレブラスはシリーズEラウンドを2億7,000万ドル以上、評価額24億ドルで終了した[14]。 2020年、同社は日本支社の開設と東京エレクトロンデバイスとの提携を発表した[15]。 2021年4月、セレブラスは850,000コアを備えた同社のウェハ=スケール・エンジン2︵WSE-2︶をベースとしたCS-2を発表した[1]。2021年8月、同社は120兆を超える接続を持つニューラルネットワークを実行できる脳スケール技術を発表した[16]。 2021年11月、セレブラスはシリーズF資金でさらに2億5000万ドルを調達し、同社の評価額は40億ドルを超えたと発表した。 シリーズFの資金調達ラウンドは、Alpha Wave Venturesとアブダビ成長基金︵ADG︶によって主導された[17]。現在までに同社は7億2,000万ドルの資金を調達している[17][18]。 2022年8月、セレブラスはカリフォルニア州マウンテンビューのコンピューター歴史博物館から表彰された。同博物館は常設コレクションに加え、集積部品としてのトランジスタ製造史における﹁画期的な﹂成果をもたらした —これまでに作られた最大のコンピューターチップ— WSE-2をフィーチャーした新しい展示物を公開した[19][20]。 2022年8月、セレブラスはインドのバンガロールに新しいオフィスを開設すると発表した[2][3]。技術[編集]
セレブラス ウェハ=スケール・エンジン︵WSE︶は、コンピュート、メモリ、インターコネクト・ファブリックを含む単一のウェハ=スケール・インテグレーション・プロセッサである。WSE-1はセレブラスの第1世代AIコンピュータであるセレブラス CS-1を駆動する[21]。これはデータセンタでのAIトレーニングと推論ワークロード向けに設計された19インチラック=マウント型アプライアンスである[12]。CS-1には400,000個の処理コアを備えた単一のWSEプライマリ・プロセッサと、同様にデータの送受信のための12個の100ギガビット・イーサネット接続が含まれている[22][12]。WSE-1には、1.2兆個のトランジスタ、400,000個の計算コア、および18ギガバイトのメモリが搭載されている[11][12][13]。 2021年4月、セレブラスは、TSMCの7nmプロセスで製造された、第2世代ウェハ=スケール・エンジン︵WSE-2︶をベースとしたCS-2 AIシステムを発表した[1]。高さは26インチで標準的なデータセンタ・ラックの3分の1のサイズに収まる[23][1]。セレブラス WSE-2には850,000個のコアと2.6兆個のトランジスタが搭載されている[23][24]。WSE-2は、オン=チップSRAMを40ギガバイト、メモリ帯域幅を20ペタバイト/秒、合計ファブリック帯域幅を220ペタビット/秒に拡張した[25][26]。 2021年8月、同社は複数の︵一般的に﹁チップ﹂と呼ばれる︶集積回路を多数の接続経路でニューラルネットワークに接続するシステムを発表した[16]。これにより単一システムで120兆パラメータを超えるAIモデルをサポートできるようになる[27]。 2022年6月、セレブラスは単一デバイス上でトレーニングされたAIモデルとしては過去最大の記録を樹立した[28]。セレブラスは、史上初めて、1枚のセレブラス・ウェハを備えた単一のCS-2システムで最大200億パラメータのモデルをトレーニングできると述べた[29]。セレブラス・CS-2システムは、ソフトウェアの複雑さとインフラストラクチャを軽減してGPT-3XL 13億、GPT-J 60億、GPT-3 130億、GPT-NeoX 200億モデルなどを含む、数十〜千億パラメータの自然言語処理︵NLP︶モデルをトレーニングできる[29][28]。 2022年8月、セレブラスは特に製薬と生命科学分野の自然言語処理︵NLP︶におけるブレークスルーをもたらすものとして期待される、従来のコンピュータ・ハードウェアを使用した場合に比べて20倍長いシーケンスでTransformerスタイルの自然言語AIモデルを顧客がトレーニングできるようになったと発表した[30]。 2022年9月、セレブラスは自社のチップをつなぎ合わせてAIコンピューティング用クラスタ史上最大のコンピューティング・クラスタを構築できると発表した[31]。ウェハ=スケール・クラスタは最大192台のCS-2 AIシステムをクラスタに接続でき、16台のCS-2 AIシステム・クラスタは、自然言語処理用に1,360万コアを備えたコンピューティング・システムを作成できる[31]。新しいセレブラス・ウェハ=スケール・クラスタの鍵は、すべてのAI作業で好れるアプローチである、トレーニングにデータ並列処理を排他的に使用することにある[32]。 2022年11月、セレブラスは、1,350万個のAIに最適化されたコアを備えたWSE-2チップ16個を1つのクラスタに組み合わせ、最大1エクサフロップス、または少なくとも1秒あたり1京︵10の18乗︶回のAIコンピューティング馬力を実現する最新のスーパーコンピュータAndromedaを発表した[33][34]。システム全体の消費電力は500キロワットだが、これは同等のGPUで高速化されたスーパーコンピュータよりも大幅に低い電力量である[33]。 2022年11月、セレブラスは自身のセレブラス・AIモデル・スタジオ に定額制料金の﹁モデルごとに支払う︵"pay-per-model"、ペイパービュー方式︶﹂計算時間︵料金プラン︶を提供するために、w:Cirrascale Cloud Servicesとの提携を発表した。価格帯は、﹁10時間でGPT-3の13億パラメータ・モデル﹂をトレーニングする場合の2,500ドルから、﹁85日間で700億のパラメータ・バージョン﹂をトレーニングする場合の250万ドルまである。このサービスは市場の同様のクラウド・サービスと比較してコストを半減し、速度を最大8倍高速化すると述べられている[35]。配備[編集]
顧客は製薬、ライフサイエンス、そしてエネルギー分野でセレブラス社の技術を使用していると報告されている[36][37]。 2020年、グラクソ・スミスクライン︵GSK︶は、遺伝子およびゲノム研究を加速し創薬にかかる時間を短縮するためのニューラルネットワーク・モデルについて、ロンドンのAIハブでセレブラスCS-1・AIシステムの使用を開始した[38]。GSKの研究チームは、トレーニング時間を短縮しながら、彼らが生成︵に使用︶するであろうエンコーダー・モデルの複雑性を高めることを可能にした[39]。他の製薬業界の顧客には、GPUクラスタで2週間かかっていたところからセレブラスCS-1システムを使って2日間までにトレーニング時間を短縮することができた、アストラゼネカが含まれる[40]。GSKとセレブラスは最近、エピゲノム言語モデルに関する研究を2021年12月に共同発表した。 アルゴンヌ国立研究所は2020年以来、世界最大規模の癌治療データベースに基づいて、新型コロナウイルス感染症研究とがん腫瘍研究においてCS-1を使用している[41]。腫瘍に対する抗がん剤の反応を予測するためにCS-1上で実行される一連のモデルは、同研究所のGPUベースラインと比較してCS-1上で数百倍の高速化を達成した[36]。 セレブラスと国立エネルギー技術研究所︵NETL︶は、2020年11月に科学計算ワークロードにおけるセレブラスのCS-1システムの記録破りのパフォーマンスを実証した。CS-1は、流体力学計算の主要なワークロードにおいて、Jouleスーパーコンピュータよりも200倍高速であった[42]。 ローレンス・リバモア国立研究所のLassenスーパーコンピュータは、物理シミュレーションの機密分野と非機密分野の両方にCS-1を組み込んだ[43]。ピッツバーグ・スーパーコンピューティング・センター︵PSC︶も、デュアルHPCおよびAIワークロードのためにNeocortexスーパーコンピュータにCS-1を組み込んでいる[44]。EPCC︵エディンバラ大学のスーパーコンピューティング・センター︶も、AIベースの研究のためにCS-1システムを導入している[45]。 2021年8月、セレブラスはペプチド治療用AI開発におけるPeptilogicsとの提携を発表した[46]。 2022年3月、セレブラスはエネルギー分野で最初に公表された顧客である、トタルエナジーズのヒューストン施設に同社のCS-2システムを導入したと発表した[37]。セレブラスはまた、自然言語処理を使用して大量の生医学データを分析するスタートアップ企業であるnferenceにCS-2システムを導入したことも発表した。CS-2は、医師に新鮮な洞察を提供と患者の回復と治療を改善するために非構造化医療データの山から情報を処理するように設計された、Transformerモデルをトレーニングするために使用される[47]。 2022年5月、セレブラスは米国立スーパーコンピュータ応用研究所︵NCSA︶が同センターのHOLL-Iスーパーコンピュータに自社のCS-2システムを導入したと発表した[48]。また、ドイツのライプニッツ・スーパーコンピューティング・センター︵LRZ︶が、HPE Superdome FlexサーバーとともにCS-2システムを搭載した新しいスーパーコンピュータを導入する計画であることも発表した[49]。新しいスーパーコンピューティング・システムは、今夏にLRZに納入される予定である。これはヨーロッパ初のCS-2システムの配備となる[49]。 2022年10月、米国国家核安全保障局が核備蓄管理コンピューティングにおけるセレブラスCS-2の使用を精査する研究を後援すると発表された[50][51]。複数年契約はサンディア国立研究所、ローレンス・リバモア国立研究所、ロスアラモス国立研究所を通じて締結される[50]。 2022年11月、セレブラスと国立エネルギー技術研究所︵NETL︶は、場の方程式の形成と解決という科学計算ワークロードで記録破りのパフォーマンスを達成した。セレブラスは、同社のCS-2システムが場の方程式モデリングにおいてNETLのJouleスーパーコンピュータよりも470倍も高速であることを実証した[52]。 2022年の︵ハイパフォーマンス・コンピューティングの利用を通じてCOVID-19パンデミックの理解に向けた優れた研究成果を表彰する︶HPCベースのCOVID-19研究におけるゴードン・ベル特別賞受賞者は、COVID-19の変異種を分析するために大規模言語モデルを変身させた、この受賞研究を実施するためにセレブラスのCS-2システムを使用した。この論文は、アルゴンヌ国立研究所、カリフォルニア工科大学、ハーバード大学、ノーザン・イリノイ大学、ミュンヘン工科大学、シカゴ大学、イリノイ大学シカゴ校、エヌビディア、セレブラスの34人からなるチームによって執筆された。ANL︵アルゴンヌ国立研究所︶はCS-2ウェハ=スケール・エンジン・クラスタを使用することで、チームがSARS-CoV-2の全ゲノムをトレーニングする際に1日以内に︵トレーニングの︶収束を達成できたと指摘した[53][54]。関連項目[編集]
脚注[編集]
(一)^ abcd“Cerebras launches new AI supercomputing processor with 2.6 trillion transistors” (英語). VentureBeat (2021年4月20日). 2021年4月30日閲覧。
(二)^ ab“Cerebras Systems Accelerates Global Growth with New India Office” (英語). finance.yahoo.com. 2022年8月30日閲覧。
(三)^ abJolly, Andrew. “Cerebras Systems Opens New India Office” (英語). HPCwire. 2022年8月30日閲覧。
(四)^ “Cerebras Systems deploys the 'world's fastest AI computer' at Argonne National Lab” (英語). VentureBeat (2019年11月19日). 2021年4月30日閲覧。
(五)^ abcTilley, Aaron. “AI Chip Boom: This Stealthy AI Hardware Startup Is Worth Almost A Billion” (英語). Forbes. 2021年4月30日閲覧。
(六)^ Hardy, Quentin (2012年2月29日). “A.M.D. Buying SeaMicro for $334 Million” (英語). Bits Blog. 2021年4月30日閲覧。
(七)^ “How Google Spawned The 384-Chip Server” (英語). Wired. ISSN 1059-1028 2021年4月30日閲覧。.
(八)^ “A stealthy startup called Cerebras raised around $25 million to build deep learning hardware” (英語). TechCrunch. 2021年4月30日閲覧。
(九)^ Martin, Dylan (2019年11月27日). “AI Chip Startup Cerebras Reveals 'World's Fastest AI Supercomputer'”. CRN. 2021年4月30日閲覧。
(十)^ Strategy, Moor Insights and. “Cerebras Unveils AI Supercomputer-On-A-Chip” (英語). Forbes. 2021年4月30日閲覧。
(11)^ abMetz, Cade (2019年8月19日). “To Power A.I., Start-Up Creates a Giant Computer Chip” (英語). The New York Times. ISSN 0362-4331 2021年4月30日閲覧。
(12)^ abcd“The Cerebras CS-1 computes deep learning AI problems by being bigger, bigger, and bigger than any other chip” (英語). TechCrunch. 2021年4月30日閲覧。
(13)^ ab“Full Page Reload” (英語). IEEE Spectrum: Technology, Engineering, and Science News. 2021年4月30日閲覧。
(14)^ “Cerebras Crams More Compute Into Second-Gen 'Dinner Plate Sized' Chip”. EE Times 2021年5月12日閲覧。
(15)^ Cerebras Systems. “Cerebras Systems Expands Global Footprint with New Offices in Tokyo, Japan, and Toronto, Canada” (英語). Press Release. 2021年8月13日閲覧。
(16)^ ab“Cerebras' Tech Trains "Brain-Scale" AIs” (英語). IEEE Spectrum (2021年8月24日). 2021年9月22日閲覧。
(17)^ ab“Cerebras Systems Raises $250M in Funding for Over $4B Valuation to Advance the Future of AI Compute” (英語). HPCwire. 2021年11月10日閲覧。
(18)^ “AI chip startup Cerebras Systems raises $250 million in funding” (英語). Reuters. (2021年11月10日) 2021年11月10日閲覧。
(19)^ “AI startup Cerebras celebrated for chip triumph where others tried and failed” (英語). ZDNet. 2022年8月4日閲覧。
(20)^ “The Biggest Chip In the World” (英語). CHM (2022年8月3日). 2022年8月4日閲覧。
(21)^ “Full Page Reload” (英語). IEEE Spectrum: Technology, Engineering, and Science News. 2021年4月30日閲覧。
(22)^ “Neocortex Will Be First-of-Its-Kind 800,000-Core AI Supercomputer” (英語). HPCwire (2020年6月9日). 2021年4月30日閲覧。
(23)^ abRay, Tiernan (2021年4月20日). “Cerebras continues 'absolute domination' of high-end compute, it says, with world's hugest chip two-dot-oh” (英語). ZDNet. 2021年8月13日閲覧。
(24)^ Knight, Will (August 24, 2021). “A New Chip Cluster Will Make Massive AI Models Possible” (英語). Wired. ISSN 1059-1028 2021年8月25日閲覧。.
(25)^ “Cerebras Systems Smashes the 2.5 Trillion Transistor Mark with New Second Generation Wafer Scale Engine”. Bloomberg 2021年6月2日閲覧。
(26)^ Cutress, Dr Ian. “Cerebras Unveils Wafer Scale Engine Two (WSE2): 2.6 Trillion Transistors, 100% Yield”. www.anandtech.com. 2021年6月3日閲覧。
(27)^ August 2021, Joel Khalili 25 (2021年8月25日). “The world's largest chip is creating AI networks larger than the human brain” (英語). TechRadar. 2021年9月22日閲覧。
(28)^ ab“Cerebras Slays GPUs, Breaks Record for Largest AI Models Trained on a Single Device” (英語). Tom's Hardware (2022年6月22日). 2022年6月22日閲覧。
(29)^ ab“Cerebras Systems sets record for largest AI models ever trained on one device” (英語). VentureBeat (2022年6月22日). 2022年6月22日閲覧。
(30)^ Jolly, Andrew. “Cerebras Announces New Capability for Training NLP Models” (英語). HPCwire. 2022年9月1日閲覧。
(31)^ abShah, Agam (2022年9月14日). “Cerebras Proposes AI Megacluster with Billions of AI Compute Cores” (英語). HPCwire. 2022年9月14日閲覧。
(32)^ Freund, Karl. “New Cerebras Wafer-Scale Cluster Eliminates Months Of Painstaking Work To Build Massive Intelligence” (英語). Forbes. 2022年9月15日閲覧。
(33)^ ab“Cerebras Reveals Andromeda, a 13.5 Million Core AI Supercomputer” (英語). Tom's Hardware (2022年11月14日). 2022年11月18日閲覧。
(34)^ Lee, Jane Lanhee (2022年11月14日). “Silicon Valley chip startup Cerebras unveils AI supercomputer” (英語). Reuters 2022年11月18日閲覧。
(35)^ Ray, Tiernan (2022年11月29日). “AI challenger Cerebras unveils 'pay-per-model' AI cloud service with Cirrascale, Jasper”. ZDNet. Template:Cite webの呼び出しエラー‥引数 accessdate は必須です。
(36)^ ab“LLNL, ANL and GSK Provide Early Glimpse into Cerebras AI System Performance” (英語). HPCwire (2020年10月13日). 2021年6月3日閲覧。
(37)^ ab“Cerebras Systems Supplies 2nd-Gen AI System to TotalEnergies” (英語). EnterpriseAI (2022年3月3日). 2022年3月4日閲覧。
(38)^ Ray, Tiernan (2020年9月5日). “Glaxo's biology research with novel Cerebras machine shows hardware may change how AI is done” (英語). ZDNet. 2021年8月13日閲覧。
(39)^ “Cerebras debuts new 2.6 trillion transistor wafer scale chip for AI” (英語). www.datacenterdynamics.com. 2021年6月17日閲覧。
(40)^ Hansen, Lars Lynne (2021年4月26日). “Accelerating Drug Discovery Research with New AI Models: a look at the AstraZeneca Cerebras…” (英語). Medium. 2021年6月3日閲覧。
(41)^ Shah, Agam (2020年5月6日). “National Lab Taps AI Machine With Massive Chip to Fight Coronavirus” (英語). Wall Street Journal. ISSN 0099-9660 2021年6月3日閲覧。
(42)^ “Cerebras Systems and NETL Set New Compute Milestone” (英語). HPCwire. 2022年3月4日閲覧。
(43)^ “Cerebras puts 'world's largest computer chip' in Lassen supercomputer” (英語). VentureBeat (2020年8月19日). 2021年6月3日閲覧。
(44)^ Hemsoth, Nicole (2021年3月30日). “Neocortex Supercomputer to Put Cerebras CS-1 to the Test” (英語). The Next Platform. 2022年3月4日閲覧。
(45)^ Comment, Dan Swinhoe. “EPCC chooses Cerebras' massive chip for new supercomputer” (英語). www.datacenterdynamics.com. 2022年3月4日閲覧。
(46)^ “Peptilogics and Cerebras Systems Partner on AI Solutions to Advance Peptide Therapeutics” (英語). HPCwire. 2021年9月22日閲覧。
(47)^ “Cerebras brings CS-2 system to data analysis biz nference” (英語). www.theregister.com. 2022年3月15日閲覧。
(48)^ “NCSA Deploys Cerebras CS-2 in New HOLL-I Supercomputer for Large-Scale AI” (英語). HPCwire. 2022年6月3日閲覧。
(49)^ abComment, Sebastian Moss. “Leibniz Supercomputing Centre to deploy HPE-Cerebras supercomputer” (英語). www.datacenterdynamics.com. 2022年6月3日閲覧。
(50)^ ab“NNSA Taps 3 Federal Labs to Research Applications of Cerebras Systems Tech - ExecutiveBiz” (英語). blog.executivebiz.com (2022年10月18日). 2022年11月18日閲覧。
(51)^ Mann, Tobias. “DoE to trial Cerebras AI compute in nuclear weapon sims” (英語). www.theregister.com. 2022年11月18日閲覧。
(52)^ “Cerebras and National Energy Tech Lab Set New Milestones for High-Performance, Energy-Efficient Field Equation Modeling Using Simple Python Interface” (英語). HPCwire. 2022年11月18日閲覧。
(53)^ Peckham, Oliver (2022年11月17日). “Gordon Bell Nominee Used LLMs, HPC, Cerebras CS-2 to Predict Covid Variants” (英語). HPCwire. 2022年11月23日閲覧。
(54)^ Peckham, Oliver (2022年11月17日). “Gordon Bell Special Prize Goes to LLM-Based Covid Variant Prediction” (英語). HPCwire. 2022年11月23日閲覧。
外部リンク[編集]
- 公式ウェブサイト
- Cerebras' presentation at Hot Chips 34 (2022)
- GIGAZINE
- 1兆2000億個ものトランジスタを搭載した史上最大のコンピューターチップが開発される – 2019年8月20日
- 1兆2000億のトランジスタ数を誇る世界最大のチップ「Wafer Scale Engine」によるシミュレーションは物理法則を超えるほど爆速 – 2020年11月27日
- 2.6兆個ものトランジスタを搭載した大型チップ「Wafer Scale Engine 2」をCerebrasが開発 – 2021年4月26日
- 1億6300万のコアで120兆個のAIパラメーターをトレーニング可能なモンスターマシン「Cerebras CS-2」が発表される – 2021年8月25日
- 4兆個のトランジスタを搭載した世界最速のAIチップ「WSE-3」をCerebrasが発表 – 2024年3月14日12時24分
- Celebras、4兆トランジスタ搭載のAIチップ「WSE-3」 – PC Watch, 17時16分
- ASCII.jp
- データフロー方式で成功したCerebras SystemsのWSE AIプロセッサーの昨今 – 2020年07月20日
