发布时间:2024-11-23 已有: 位 网友关注
随着scaling law撞墙新闻爆出,全球科技圈、资本市场关于大模型发展触及天花板的讨论愈演愈烈。那么,AI发展是否放缓?后续又将如何发展?商业模式如何突破?
针对一系列焦点问题,人工智能领域最具影响力的论文的联合
他认为,LLM发展已进入平台期,而推理能力将成为未来突破口,并将带来新的商业模式和市场机遇。同时,他也提醒投资者警惕模型价格倾销,关注 AGI 发展趋势。
对于scaling law放缓的问题,Gomez认为,简单扩大模型规模带来的边际效益正在递减。以绘画为例,Gomez指出 LLM 的发展初期如同用大笔触快速完成基础构图,但随着模型需要处理更精细的任务,如同绘画需要越来越细的笔触来完善细节,模型改进需要的数据也越来越精细,这导致获取高质量数据的成本越来越高,最终模型的规模化发展将受限于人类知识的边界和专家数据的获取难度。
推理能力方面,Gomez表示,推理能力可以让 LLM 不仅简单地记忆输入输出对,还可以像人类一样进行多步骤的思考和推理,解决更复杂的问题。而这,这带来了一个革命性的变化——企业不必再为提升AI能力投入巨额固定成本,而是可以通过增加推理时间来实现。用通俗的话说,就是从买更大的算力变成了多给AI一点思考时间。
Gomez还认为,推理时间计算量的增加还将对芯片层和数据中心建设产生影响,未来需要开发更适合处理推理任务的芯片,以及建设更适合分布式计算的数据中心。
LLM发展进入平台期,推理能力将成未来突破口
问:LLM 发展是否已经进入平台期?未来的突破口在哪里?
[2, 6] 简单地扩大模型规模带来的性能提升有限,就像油画创作从大笔触的构图阶段进入到需要用越来越细的笔触来完善细节的阶段。
LLM 在处理简单、常见的任务时可以快速提升,但在处理更专业、敏感的领域时,性能提升的难度越来越大,因为需要更精细、专业的数据来训练模型。
[3, 5] 推理能力可以让 LLM 不仅简单地记忆输入输出对,还可以像人类一样进行多步骤的思考和推理,解决更复杂的问题,例如多项式求解。