标签:Dense-MoE 架构

NArctic 大开源模型再刷爆纪录4800亿参数MoE击败Llama 3、Mixtral

最大开源模型,再次刷爆纪录!Snowflake的Arctic,以128位专家和4800亿参数,成为迄今最大的开源模型。它的特点,是又大又稀疏