评论: 什么是AI蒸馏：为何成为美中科技竞争的新战场
只有登录用户才能发表评论，
点击此处
登录
返回新闻帖
hy518_2339
发表评论于 2026-05-05 11:26:44
Headwater 发表评论于 2026-05-05 09:02:36大语言模型本身就是在蒸馏人类书籍，社交平台言论，科技期刊内容开始的，由于这些蒸馏样本太过于庞大，很多普通人接触不到的甚至不对外开放的知识库，被蒸馏了也没法举证溯源
************************************
你根本没懂，蒸馏是要有源大模型的，书籍你怎么蒸馏？大模型靠的强算力和算法去提取所以可以达到网络内容，包括垃圾和有毒（toxic）数据，然后要清洗，提炼， 这个是最耗时的。 蒸馏是跳过了这一步，直接学习大模型，来开发小模型去做实际应用的。
Headwater
发表评论于 2026-05-05 09:02:36
大语言模型本身就是在蒸馏人类书籍，社交平台言论，科技期刊内容开始的，由于这些蒸馏样本太过于庞大，很多普通人接触不到的甚至不对外开放的知识库，被蒸馏了也没法举证溯源
sofunny10000
发表评论于 2026-05-05 08:37:19
独裁体制下， 如果科研走对了方向也 可以有很大的发展的。
比如前苏联的飞机气动和导弹设计
thinredline
发表评论于 2026-05-05 06:48:49
窃书不算偷
页次：
1
/1
每页
50
条记录， 本页显示
1
到
4
， 共
4
分页： [
1
]
************************************
你根本没懂，蒸馏是要有源大模型的，书籍你怎么蒸馏？大模型靠的强算力和算法去提取所以可以达到网络内容，包括垃圾和有毒（toxic）数据，然后要清洗，提炼， 这个是最耗时的。 蒸馏是跳过了这一步，直接学习大模型，来开发小模型去做实际应用的。