AMD-135小模子附庸于Llama眷属，共有两个版块。

快科技10月1日音尘大桥未久种子，AMD发布了我方的首个小话语模子(SLM)，名为“AMD-135M”。

比较于越来越宽广的废话语模子(LLM)，它体积工致，愈加天真，更有针对性，至极合适奥秘性、专科性很强的企业部署。

AMD-135小模子附庸于Llama眷属，有两个版块：

一是基础型“AMD-Llama-135M”，领有多达6700亿个token，在八块Instinct MIM250 64GB加快器上历练了六天。

二是蔓延型“AMD-Llama-135M-code”，脱落增多了有益针对编程的200亿个token，雷同硬件历练了四天。

创建与部署进程

它使用了一种名为“算计解码”(speculative decoding)的环节，通过较小的草稿模子，在单次前向传播中生成多个候选token，然后发送给更大的、更精准的蓄意模子，进行考证或矫正。

这种环节不错同期生成多个token，不会影响性能，还不错镌汰内存占用，但因为数据来回更多，功耗也会增多。

AMD还使用AMD-Llama-135M-code看成CodeLlama-7b的草案模子，测试了算计解码使用与否的性能。

比如在MI250加快器上，性能可升迁最多约2.8倍，锐龙AI CPU上可升迁最多约3.88倍，锐龙AI NPU上可升迁最多约2.98倍。

免费成人电影

算计解码

AMD-135M小模子的历练代码、数据集等资源齐还是开源，除名Apache 2.0。

按照AMD的说法，它的性能与其他开源小模子基本荒谬或略有率先，比如Hellaswag、SciQ、ARC-Easy等任务跳跃Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本近似GTP2-124MN、OPT-125M。