今年,GPT-3这个大型语言模型能够理解文本、回答问题和生成新的写作例子,已经受到了国际上的关注媒体关注。由Openai释放的模型是一个基于加利福尼亚的非营利组织,建立通用人工智能系统,具有令人印象深刻的模仿人类写作的能力,但值得注意的是它的大规模。为了建立它,研究人员收集了1750亿参数(一种计算单元)和来自普通爬行,红线,维基百科和其他来源的超过45岁的文本,然后在占用数百小时的过程中培训了这一过程。

GPT-3演示了一个更广泛的趋势在人工智能。深度学习近年来,这成为创造新AIS的主导技术巨大的数据和计算能力燃料复杂,准确的模型。这些资源对于大型公司和精英大学的研究人员来说更易于访问。因此,西方大学的一项研究表明,有一个AI中的“除民主化”:能够为尖端开发做出贡献的研究人员的数量正在萎缩。这缩小了能够为这种关键技术定义的研究方向的人群体,这具有社会影响。它甚至可能有助于AI发展面临的一些道德挑战,包括隐私入侵,偏见和偏见大型模型的环境影响

为了解决这些问题,研究人员正试图找出如何用更少的钱做更多的事。最近的一项进展被称为“少于一次”的学习(LO-shot学习),由滑铁卢大学的Ilia Sucholutsky和Matthias Schonlau。[office1][RK2]LO-shot学习背后的原则是,人工智能应该能够在不接受任何例子的情况下了解世界中的物体。这是当代人工智能系统的一个主要障碍,通常需要数千个例子来学习区分物体。另一方面,人类往往能够从现有的例子中抽象化,以识别新的从未见过的项目。例如,当展示不同的形状时,孩子能够很容易地区分这些例子,并识别出它们与新形状之间的关系。

该团队首先通过一个名为的过程介绍了这种学习柔软的蒸馏。由国家标准和技术研究所维护的图像数据库称为MNIST,其中包含从0到9的写入数字60,000个写入数字的示例,蒸馏到五个图像,其中混合各种数字的特征。在仅显示这五个例子之后,Waterloo系统大学能够准确地对数据库中的92%进行分类。

在他们最新的论文中,该团队扩展了这一原理,表明从理论上讲,低分辨率拍摄技术可以让人工智能学习区分数千个物体,只要给出一个很小的数据集,甚至两个例子。这是对传统深度学习系统的一个很大的改进,在传统深度学习系统中,对数据的需求随着区分更多对象的需求呈指数级增长。目前,需要精心设计LO-shot的小数据集,以提取各种类型的对象的特征。但是Sucholutsky正试图通过观察在现有小数据集中已经捕获的对象之间的关系来进一步发展这项工作。

由于几个原因,允许AIS以相当较少的数据学习很重要。首先,它更好地封装了通过迫使系统概括到它尚未见过的类的实际学习过程。通过在抽象中构建捕获对象之间的关系的抽象,这种技术也降低了偏差的可能性。目前,深度学习系统成为偏见的牺牲品从他们用来训练的数据中产生无关的功能。一个众所周知的这个问题的例子是ai把狗归类为狼当显示雪环境中的狗的图像 - 因为大多数狼的图像都在雪附近。能够归零有关图像的各个方面有助于防止这些错误。因此,降低数据需求使这些系统不太容易达到这种偏差。

接下来,越少的数据需要使用,对人们构建更好的算法存在较少的激励措施。例如,软蒸馏技术已经影响了医疗AI研究,其使用敏感的健康信息列举其模型。18新利官网多久了在一个最近的论文,研究人员使用基于小型隐私保留数据集的诊断X射线图像中的软蒸馏。

最后,允许人工智能在数据较少的情况下学习有助于人工智能领域的民主化。有了较小的人工智能,学术界可以保持相关性,并避免教授被行业挖走的风险。LO-shot学习不仅通过降低培训成本和降低数据要求降低了进入门槛,而且还为用户创建新数据集和试验新方法提供了更大的灵活性。通过减少花费在数据和建筑工程上的时间,希望利用人工智能的研究人员可以把更多时间花在他们想要解决的实际问题上。