AI时代来临后,表面上是中美对决,实际上是全球南方和美国争夺新一轮科技革命和产业变革主导权,最底层是意识形态交锋。
意识形态的交锋并不是大家刻板影响中那种政治叙事和哲学辩论,而是深入到社会文化层面对个体行为特别是AI前沿领军人物的思想浸润和行为塑造。
比如AI时代的开源运动,中国接过来了LLM、AI infra各个层面的开源大旗,搅动AI+风起云涌,世界科技格局发生深刻变革。
最新的一则消息是UC Berkeley和MIT发布开源的Free Token,让消费级显卡单卡跑起SOTA级满血大模型,实测有笔记本 RTX 4060 跑 Qwen 3.6-35B达到39.3Token/s,桌面 RTX 5090 跑 DeepSeek-V4Flash 同等表现。
这一套边缘端推理系统的论文标题是《FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution》,两位一作分别是杨硕(Shuo Yang)、范晓泽(Xiaoze Fan),两人本科均毕业于上海交通大学,其他作者有 Ion Stoica、Matei Zaharia、Kurt Keutzer、韩松等顶尖学者。
Free Token证明现有软件技术可以 MoE大模型在单卡消费级硬件实现商业可用部署,而不是必须依赖数据中心集群。
这篇论文开启了大模型推理部署的新纪元,除了在端侧推理部署意义重大,更大的潜力在于这个技术同样可以用于云端算力集群中。 FreeToken思想应用在云端,“用便宜的CPU算力和高速网络带宽,去置换昂贵的GPU算力和HBM容量”,一场计算资源的系统性重组,粗略估计可以将推理成本再往下打60%-80%,反而凸显“国模国芯”在推理端的成本优势。
全世界AI精英联合起来,新的开源运动一起干闭源大模型们,也就是美国AI公司。
天下大势,浩浩荡荡,顺之者昌 逆之者亡 广州·广州文华东方酒店