加州理工学院的电脑科学家兼数学家巴巴克·哈西比（Babak Hassibi）领导的一个研究团队表示，他们已经创建了一款大语言模型，可以在不影响性能的情况下大幅压缩模型大小。

　　这家名为PrismML的公司周二结束隐身模式，并将其1-bit技术模型开源，供他人使用。

　　哈西比表示，PrismML开发了一种极致的压缩技术，既能让AI在手机、笔记本电脑和其他设备上本地运行，也能助力数据中心的建设，使其能用更少的资源完成更多任务，并避免能源成本的急剧膨胀。

　　该公司的首席执行官哈西比说：“我们花费了数年时间来发展压缩神经网络而不损失其推理能力所需的数学理论。”他还说：“我们正在为AI创造一种新的范式：一种能够适应不同硬件环境，并在每单位计算和能源下提供最大智能的范式。”

　　其他同样来自加州理工学院的联合创始人包括萨欣·拉莱（Sahin Lale）、奥米德·普拉赞迪（Omead Pooladzandi）和雷扎·萨德里（Reza Sadri），后者同时也是公司战略副总裁。

　　哈西比说，该知识产权归加州理工学院所有，PrismML是唯一的独家被许可方。

　　该公司在SAFE和种子轮融资中筹集了1625万美元，投资者包括Khosla Ventures、Cerberus Capital和加州理工学院。SAFE即未来股权简单协议（Simple Agreement for Future Equity），指投资者向初创公司提供资金，以换取未来获得股权的权利。

　　投资人维诺德·科斯拉（Vinod Khosla）认为，AI的未来不由谁能建起最大的数据中心来定义，而是由谁能在每单位能源和成本下提供最大的智能来决定。科斯拉说：“所以这并非一次小小的迭代，而是一项重大的技术突破。这是一项数学上的突破，而不仅仅是又一个小模型。”

　　科斯拉说，PrismML满足了市场对快速、小巧但高性能模型的需求，这些模型可服务于从语音对话到金融某些领域的广泛应用。

　　PrismML开发的模型旨在智能手机和笔记本电脑等消费设备以及工业边缘设备上运行。该公司表示，其理念是让机器人、可穿戴设备和个人计算等领域的应用成为可能，而这些应用在以前是不切实际的。

　　科斯拉说：“你可以在手机上装下一个好得多的模型。这一点意义重大。当然，在手机或移动设备上，能耗是一个非常、非常重要的问题。”

　　PrismML表示，同样的效率提升不仅能实现本地部署，还能让数据中心更有效地运行。

　　哈西比称，尽管更广泛的科技行业在激烈辩论AI的未来在于Transformer、扩散模型还是更新的概念，但PrismML的数学框架可以应用于其中任何一种。

　　运作原理

　　描述AI模型的一种方式是使用“比特”（bit），它指的是用计算机语言“1”和“0”来表示一个数值所需的代码量。大多数AI模型以16-bit的精度编写，不过也有些方法采用4-bit或更低精度。据哈西比称，PrismML取得了一项数学突破，实现了1-bit模型，且不影响全精度模型的推理、编码和通用知识能力。哈西比表示，虽然相关数学原理是专有技术，但其效果很像在不损失视觉保真度的情况下压缩数码照片。

　　在运行AI模型时，被称为“延迟”的延时和能耗都与内存中数据的移入移出有关。哈西比说，通过将数据单位（即模型权重）减少到用+1或-1表示的单个比特，PrismML的旗舰1-bit模型Bonsai 8B的处理速度可比16-bit模型提高多达八倍。哈西比还说，在现有硬件平台上，该模型还能将能耗降低最多75%至80%。他表示，如果未来的硬件专为1-bit模型设计，将完全无需进行复杂的数学乘法运算。哈西比认为，届时硬件将只需执行简单的加减法，这将进一步降低能耗和延迟。

　　Cerberus Capital Management的高级董事总经理阿米尔·萨莱克（Amir Salek）表示，他确信PrismML取得了一项重大的数学突破，有望改善AI的经济效益。

　　PrismML称，采用1-bit架构后，一个2TB的模型会瞬间变成150GB。萨莱克说：“你的带宽需求会大幅下降，内存大小会大幅下降，移动数据所消耗的能量……也会大幅减少。”他曾是谷歌技术基础设施和Google Cloud业务的创始人兼芯片负责人。在此之前，他还是英伟达片上系统（System-on-a-Chip）设计部门的创始人和负责人。

　　开发者、研究人员和其他用户可以免费下载PrismML开源的1-bit模型Bonsai 8B。

　　Bonsai 8B是一款80亿参数的大语言模型，使用谷歌v4 TPU进行训练。

　　据PrismML称，该模型实现了可与16-bit模型相媲美的高保真推理和语言理解能力，但内存占用仅为1GB，而后者为16GB。高保真推理是指成功执行复杂推理的能力。

　　该公司表示，还将发布1-bit的Bonsai 40亿参数模型和17亿参数模型，其内存占用分别为0.5GB和0.24GB，且智能密度更高。