本字幕由TME AI技术生成
二
辛顿与人工智能的第一次寒冬
旧的想法也是新的
二十世纪八十年代中期的一个下午
大约二十名学者聚集在波士顿郊外的一个古老的法国庄园式建筑里
这里是麻省理工学院教授和学生的进修所
马文
明斯基在这所大学仍然统治着国际人工智能研究员群体
这些学者坐在房间中央的一张大木桌旁
杰夫
辛顿绕着桌子桌布
递给现场每个人一份长长的
夸张的
满是数学公式的学术论文
其中描述了一个他称之为波尔曼基的东西
这个以奥地利著名物理学家和哲学家名字命名的东西
是一种新的神经网络
他克服了明斯基十五年前指出的感知机的缺陷
明斯基取掉订书钉
在面前的桌子上
把论文打印件一页一页依次展开
低头看着这一长串的论文页
辛顿走到房间的前面
发表了一场房短的演讲
解释他最新的数学创造
明斯基没有说话
只是看了看
然后当演讲结束时
他站起身来
走出房间
留下那些论文页整齐的排列在桌子上
尽管神经网络的概念在明斯基的感知机一书中失宠
但在匹兹堡卡内基梅隆大学担任计算机科学教授的辛顿仍坚持这一信念
他与巴尔顿摩约汉斯霍普金斯大学的神经科学家特里谢诺夫斯基harrysnnofsky合作开发出了波尔兹曼季
他们是后来被当代人称为地下神经网络的一部分
人工智能运动的其余部分都集中在符号方法上
包括在德克萨斯州奥斯汀正在进行的塞克项目
相比之下
辛顿和谢诺夫斯基认为人工智能的未来仍然在于能够自主学习的系统
这场波士顿会议让他们有机会与更广泛的学术界分享他们的最新研究
对辛顿来说
明斯基的反应是他的典型风格
辛顿第一次见到这位麻省理工学院的教授是在五年前
在他看来
这位教授非常好奇且富有创造力
但同时也有着奇怪的童真
而且有点不负责任
辛顿经常讲述明斯基
教他如何制作完美的黑色
一种完全没有颜色的颜色
明斯基解释说
用颜料不可能做出完美的黑色
因为颜料总是会反射光线
但是你可以用排列成v型的几层剃须刀片来实现
这样光线就会进入v型结构
在刀片之间无休止的反射
永远不会逃脱出来
明斯基实际上并没有演示过这个技巧
辛顿也从未尝试过
这就是经典的明斯基的风格
引人入胜
发人深省
但看似随意且未经验证
这表明他并非一直说那些自己相信的事情
当然
当谈到神经网络时
明斯基可能会抨击其严重不足之处
并且写了一本书
很多人认为这本书证明了神经网络是一条死胡同
但他的真实立场不一定如此明确
辛顿认为明斯基是一名失落的神经网络追随者
这种人曾经认同机器的行为向大脑中的神经元网络
但当这个想法没有达到他的期望时
他的幻想破灭了
但他仍然至少会对他实现预期抱有一些希望
在明斯基离开波士顿的那场演讲后
辛顿将他放置在桌子上的论文页收了起来
并把他们邮寄到明斯基的办公室
辛顿还留下了一个简短的便条
上面写着
尼可能是不小心把这些东西落下的
杰夫
辛顿出生于第二次世界大战刚结束时的英国温布尔登
他是十九世纪英国数学家和哲学家乔治
布尔georgeboool一核十九世技术
写美国历史的外科医生詹姆斯
辛顿jameshinton二的玄孙
前者提出德布尔逻辑
卫美一台现代计算机提供了数学基础
他的曾祖父是数学家兼奇幻作家查尔斯
霍华德
辛顿charleshowhinton三
他提出的第四维度的概念
包括他所谓的宇宙魔方贯穿随后一百三十年的流行科幻小说
并在二十一世纪的第一个十年的漫威超级英雄电影中达到了流行文化的顶峰
他的叔祖父塞巴斯蒂安
辛顿sebastianhinton四发明了攀爬架
他的父亲和物理学家琼安
辛顿johnhinton武世曼哈顿计画中为数不多的女性成员之一
在伦敦和后来的布里斯托
伴随他一起长大的是三个兄弟姐妹
一只猫幼
十几只中国龟
还有生活在车库后面土坑里的两条毒蛇
他的父亲是英国皇家家学会会员
昆虫学家霍华德
埃弗勒斯
辛顿howardericehinton六
他对野生动物电性去超越了昆虫的范畴
和他的父亲一样
他的中间名也源于另一位亲戚乔治
埃弗勒斯爵士surgeyy
jefferst七
一位印度特策会总长
其名字取自世界最高的山峰
大家都期望有一天
杰夫
辛顿会跟随父亲的脚步进入学术界
尽管不太清楚他将来会研究什么
他想研究大脑他经常说
他的兴趣是在十几岁的时候被激发出来的
当时一位朋友告诉他
大脑像全息图一样工作
通过神经元网络存储记忆的片段
就像全息图在一段胶片上存储三维图像的片段一样
这是一个简单的类比
但这个想法吸引了他
作为剑桥大学国王学院的本科生
他想要更好的了解大脑
他很快就意识到
问题在于
没有人对大脑的了解比他多多少
科学家了解大脑的某些部分
但他们对所有这些部分如何结合在一起
并最终提供视觉
听觉 记忆
学习和思考的能力知之甚少
辛顿尝试去研究生理学和化学
物理学和心理学
但没有人能提供他想要的答案
他攻读了物理学学位
但辍学了
因为他认为自己的数学能力不够强
于是他转而去攻读哲学
之后
他放弃了哲学
选择了实验心理学
最终
尽管承担着继续学业的压力
或者可能是来自父亲的压力
但辛顿完全离开了学术界
当他还是个孩子的时候
他就认为自己的父亲是一位不妥协的知识分子
一位一个力量巨大的人
一位英国皇家学会的会员
能用一只胳膊做引体向上
只要工作的足够努力
也许当你的年纪是我现在年龄的两倍时
你就能实现我一半的成就了
他的父亲经常对他这么说
但没有讽刺的意味
从剑桥大学毕业后
辛顿心中总是萦绕着父亲的看法
那是他搬到了伦敦
成了一名木匠
他说
我不是做一些花哨的木工活儿
而是以木工为生
那一年
他读了加拿大心理学家唐纳德
赫布donaldtab也行为组织theorganizationofbehavior一书
这本书解释了让大脑进行学习的基本生物过程
巴赫布认为
学习是沿着一系列神经元发射微小电信号的结果
这些电信号引起了物理变化
以一种新的方式将这些神经元连接在一起
正如他的追随者所说的那样
神经元一起发射并连接在一起
这一理论被称为赫布定律
他激发了弗兰克
罗森
布拉特等科学家在二十世纪五十年代开发出了人工神经网络九也激发了杰夫
辛顿 每周六
辛顿都会带着一个笔记本去伦敦北部伊斯灵顿的公共图书馆
用一上午的时间
在赫布提出的想法的基础上
将自己关于大脑应该如何工作的想法写在笔记本上
他在周六上午记录下来的这些潦草的内容
除了对他自己有意义之外
对谁都没有意义
但他们最终将他带回了学术界
这些内容恰好与英国政府对人工智能的第一波大投资和爱丁堡大学研究生项目的兴起相吻合
在这些年里
一个冰冷的现实是
神经科学家和心理学家对大脑的工作原理知之甚少
而计算机科学家根本无法模仿大脑的行为
但就像辛顿之前的弗兰克
罗森
布拉特一样
辛顿开始相信生物和人工双方都可以帮助对方前进
他将人工智能视为测试他所提出的关于大脑如何工作的理论的一种方式
并希望最终理解其奥秘
他如果能理解这些奥秘
就能反过来打造更为强大的人工智能
在伦敦做了一年木匠之后
他在父亲任教的布里斯托大学接受了一份心理学方面的短期工作
并以此为跳板进入爱丁堡大学的人工智能项目
几年后
一位同事在一次学术会议上介绍他时
说他物理不及格
还从心理学专业退学
然后进入了一个完全没有标准的领域人工智能
这是辛顿常常重复讲述的一个故事
但有一个附加说明
他会说
我并非物理不及格
也不是从心理学专业退学
我是心理学不及格
从物理专业退学
这样讲更有利于维护生誉
在爱丁堡大学
他在一间实验室里赢得了一个学习机会
这间实验室由研究员克里斯托弗
朗吉特
希金斯christopher
longweettagens负责
朗吉特
希金斯曾是剑桥大学的理论化学家
也是该领域的后起之秀
但在二十世纪六十年代末
他被人工智能的理念吸引了
是因此
他离开剑桥前往爱丁堡
并接受了一种与支撑感知机的方法相同的人工智能
他提出的连接主义方法与辛顿在伊斯灵顿图书馆记录在笔记本中的理论相吻合
但这种知识上的和谐转瞬即逝
在辛顿接受实验室的职位
但还未到岗时
朗吉特
希金斯又改变了主意
他阅读了明斯基和佩珀特关于感知机的书
以及明斯基在在麻省理工学院的一名学生关于自然语言系统的一篇论文之后
他放弃了类似大脑的架构
并转向了符号人工智能
这也是整个领域发生转变的体现
这意味着辛顿在研究生期间的研究领域不仅被他的同事忽视
也被他自己的导师忽视
辛顿说
我们每周见一次面
有时会以一场大喊大叫的争论结束
辛顿在计算机科学方面几乎没有经验
他对数学也不感兴趣
宝括驱动神经网络的线性代数
他有时会实践自己所谓的基于信仰的差异话
他会想出一个创意
包括支撑的微分方程
并直接假设数学相关的部分是正确的
而让其他人去辛苦完成所需的计算
以确保他确实是正确的
或者在绝对必要的时候自己来求解方程
但是对于大脑如何工作
以及机器如何模仿大脑
他有着明确的信念
当他告诉这个领域的任何人
他正在研究神经网络时
他们不可避免的会提到明斯基和佩珀特
神经网络已经被证明是错误的
他们会说
你应该做点别的研究
但是
尽管明斯基和佩珀特的书将大多数研究人员推离了连接主义
但他拉近了连接主义与辛顿的距离
他在爱丁堡大学的第一年就读了那本书
他觉得明斯基和佩珀特描述的感知机几乎是对罗森
布拉特工作的讽刺漫画
他们从未完全认识到罗森
布拉特
在技术中也看到了他们所看到的缺陷
而他们描述这些不足的诀窍是罗森
布拉特所缺少的
也许正因为如此
他才不知道如何解决这些问题
他不会因为无法证明自己的理论而放慢漫画
辛顿认为
对于具有超越罗森
布拉特的复杂性的神经网络
通过精确定位其局限性
明斯基和佩珀特最终使解决这些问题变得更加容易
但这还需要十年的时间
辛顿进入爱丁堡大学的那一年及一九七一年
国政府进行了一项关于人工智能进展的研究
十一
事实证明这非常糟糕
大多数人工智能研究和相关领域的工作人员承认
他们对过去二十五年取得的成就感到非常失望
报告称
迄今为止
在该领域的任何地方取得的成果都没有实现他当初承诺的重大影响时而因此
政府对该领域的资金投入被削减
该领域迎来了研究人员后来所说的人工智能的寒冬
此时
建立在高姿态人工智能概念背后的大肆宣传与该领域有限的技术进步之间产生了冲突
这导致相关政府官员开始缩减额外投资
进一步放缓了研究的进展
可以与此类比的是核冬天及核战之后
趁覆盖天空
连续多年阻挡阳光
到辛顿完成其论文时
他的研究已经处于一个不断缩小的领域的边缘
后来
他的父亲去世了
这个老家伙在我取得成功之前就死了
辛顿说
不仅如此
他还得了一种具有高度遗传性的癌症
他做的最后一件事情就是增加我的死亡概率
完成论文之后
随着人工智能的寒冬越来越冷
辛顿艰难的寻找工作
只有一所大学给他提供了面试机会
他别无选择
只能放眼国外
包括美国
美国的人工智能研究也在减少
因为美国的政府机构也得出了与英国相同的结论
减少了对大型大学的资助
但是在加利福尼亚州的南部
令他非常惊讶的是
他发现了一小群与他相信同样想法的人
他们被称为PDP小组
PDP士兵行分部
试处理paralleldistributedprocessing的所写
是感知机
神经网络或连接主义的另一种说法
这也算是一个双关语
在二十世纪七十年代末的那些年
PDP是一种计算机芯片
被用在一些产业上最强大的机器上
但是PDP小组的学者不是计算机科学家
他们甚至不认为自己是人工智能研究人员
这个小组里有加州大学圣迭戈分校心理学系的几位学者
以及至少一位神经科学家
来自街对面的生物研究中心索尔克研究所的弗朗西斯
克里克franciscick
再将注意力转向大脑
之前克里克因为发现了DNA脱氧核糖核酸分子结构而获得了诺贝尔奖
一九七九年秋天
他在科学美国人杂志上发表了一篇呼吁文章
杰利建议更大范围的科学界至少应该尝试理解大脑是如何工作的
十三
辛顿当时正在大学从事博士后研究
他经历了一种学术文化冲击
在英国
学术界秉持一种知识上的单一文化
在美国
学术界的格局足够丰富
可以容纳一些不同意见
这里的学术界可能会有不同的观点
辛顿说
但这些观点都可以存在在这里
如果他告诉其他研究人员
他正在研究神经网络
他们会听
从弗兰克
罗森 布拉特
到南加州正在进行的研究
这两者之间有一条直线
二十世纪六十年代
罗森布拉特和其他科学家希望开发一种新的神经网络
一个跨越多层神经元的系统
在二十世纪八十年代初
这也是加州大学圣迭戈分校的希望
感知机是一个单层网络
这意味着在网络接收的东西
在纸板上方格内的大写字母的图像和输出的东西如在图像中找到的a之间
只有一层神经元
但是罗森
布拉特认为
如果研究人员能够建立一个多层的网络
每一层都向下一层提供信息
这个系统就可以学习感知机无法学习的复杂图形
换句话说
一个更像大脑的系统就会出现
当感知机分析印有字母a的卡片时
每个神经元检查卡片上的一个点
并判断这个特定的点是否属于定义字母a的三条黑线的典型组成部分
但是对多层网络来说
这只是一个起点
给这个更复杂的系统一张照片
比如一只小狗的照片
随后它会开启一个更为复杂的分析过程
第一层神经元会检查每个像素
它是黑色还是白色
棕色还是黄色
然后第一层会把学到的东西输入第二层
这一层的另一组神经元将在这些像素中寻找图形
比如一小条直线或一小条弧线
第三层将在图形中寻找图像
他可能会把几条线拼在一起
找到一只耳朵或一颗牙齿的图像
或者把这些微小的弧线组合起来
找到一只眼睛或一个鼻孔的图像
最终
这个多层的网络可以拼出一只小狗的图像
这至少是个想法
实际上
当时还没有人实现
他们在圣碟哥正在为此努力
