开云·kaiyun「中国」体育官方网站 登录入口

　　据好意思国科学促进会旗下网站19日报说念开yun体育网，好意思国普林斯顿大学和斯坦福大学团队开荒出一种新压缩算法CALDERA，能精简大型言语模子（LLM）的海量数据，为LLM“瘦身”。这项算法不仅有助保护数据隐讳、从简动力、缩短老本，还能鞭策LLM在手机和札记本电脑上高效使用。

　　团队例如称，当东说念主们使用ChatGPT时，央求会被发送到OpenAI公司的后端行状器进行措置。这仍是过不仅老本昂贵、能耗广泛，频繁还很慢。若是用户思要使用糜费级图形措置单位脱手LLM，就需要对这些LLM进行压缩。

　　CALDERA算法通过减少LLM冗余并缩短信息层的精度来施展作用。“瘦身”后的LLM愈加精简，可在手机或札记本电脑等配置上存储和访谒，同期提供了与未压缩版块险些相通准确而机要的性能。

　　天然CALDERA并非首个压缩LLM的算法，但其独有之处在于兼具“低精度”和“低排序”两种特点。其中，“低精度”减少了比特数，加速了数据存储和措置速率。而“低排序”则缩短了LLM数据中的冗余。

　　团队暗意，使用CALDERA压缩的LLM可能适用于那些对精度条目不是最高的场景。此外，用户可在智高手机或札记本电脑等配置上对压缩后的LLM进行微调，这使其能左证特定需求退换模子来增强隐讳，而无需与第三方分享敏锐数据。

　　不外团队也教导说念开yun体育网，在智高手机或札记本电脑上脱手LLM，可能会占用配置内存。