从当年乔布斯游说收购Siri团队，到现在每年收购20~30家公司，苹果早已将AI植入产品骨髓
智东西 编译｜十四 海中天 智东西推荐语： 关于苹果公司在人工智能、机器学习方面的布局，美国媒体Backchannel的采访进行了深入挖掘，很明显，这也是苹果公司自己敞开大门迎接媒体的探访，安排了好几位VP级别的高管进行解读
从中我们也看到以Siri为代表应用的苹果人工智能布局已经很深远，从当年乔布斯亲自出马游说收购Siri前身所属的公司，到最近每年20～30家小团队的收购，都看得出在海外科技巨头中，苹果开始把人工智能作为提升产品体验的主要推动力之一，本文即剖开了这个“苹果iBrain”的逻辑
以下为全文： 2014年7月30日，Siri开始进行“脑部移植”
3年前，苹果率先将智能助手Siri整合到操作系统中
2010年，苹果收购了一个独立APP，开发团队也一起加盟苹果，后来APP变成了Siri
最开始时评价很好，但在随后的几个月和几年里，用户对Siri的缺陷失去了耐心
许多时候Siri都会错误执行命令，微微调整根本无法解决问题
随后，苹果将Siri语音识别系统移植到基于神经网络的系统中，并于2014年7月末提供给美国用户使用，2014年8月15日向全球用户开放
一些早期技术仍然有用，比如隐马尔可夫模型（Markov models），但是现在系统使用的是机器学习技术，包括深度神经网络（DNN），卷积神经网络、长短记忆单元、封闭复发性单位(gated recurrent units)和n-grams
用户升级之后，Siri看起来并没有什么变化，但是机器学习让它更强大
如果企业对底层技术进行改进，一般不会透露自己的思考，免得被竞争对手知道，正因如此，苹果没有公布Siri的进展
如果我们问用户注意到了什么，那就是错误更少了
事实上，苹果声称准确度的提升相当惊人
苹果互联网软件及服务部高级副总裁埃迪·库（Eddy Cue）表示：“这一次改进相当明显，以至于你必须重新测算，确保小数点的位置没有放错位置
” · · · 低调的苹果 Siri转变的故事还是第一次披露，它可能会让人工智能领域的专家们皱起眉头，不是因为系统神经网络性能的提升，而是苹果对自己的所作所为如此低调
直到最近一段时间，苹果才开始在AI领域大规模招聘，发起一些引人注目的收购，尽管如此，观察者仍然认为苹果在AI竞争中落后
企业们彼此竞争，试图挖掘AI工具的最大潜力
苹果喜欢对自己的计划保持沉默，即使是AI专家也不清楚苹果在机器学习领域的动向
杰瑞·卡普兰在斯坦福教人工智能历史课，他认为：“苹果不是AI社区的一份子，它相当于AI产业的NSA（国家安全局）
”一般人认为，如果苹果在AI上付出的心血和谷歌、Facebook一样多，那么它的举动应该会被外界知晓
艾伦AI研究所的埃齐奥尼（Oren Etzioni）表示：“在谷歌、Facebook和微软，我们看以看到机器学习的顶尖人才
没错，苹果的确招聘了一些人，但是机器学习的5大领袖有谁为苹果工作？苹果的确拥有语音识别技术，但是我们根本不知道它是否用到了机器学习技术
请告诉我，你的产品中哪些地方用到了机器学习
” 本月初，苹果的确展示了机器学习的用途，向我展示
当天，我在苹果库比提诺飞船总部大楼耗了大半天时间，在苹果顶级高管的陪同下，我了解了苹果AI、机器学习的核心机密
陪同我的有埃迪·库、副总裁兼市场营销主管菲尔·席勒（Phil Schiller）、软件主管兼高级副总裁克雷格·费德里吉（Craig Federighi），还有两名关键Siri科学家
当我们就坐之后，他们向我展示了两张纸，上面密密麻麻写满了使用机器学习的苹果产品和服务，有些已经发布，有些即将发布
当苹果使用机器学习和神经网络技术之后，这些功能才有可能实现，或者更加强大
· · · Apple Brain 没错，这就是所谓的“Apple Brain”，它已经植入到iPhone中
一位知情人士说：“机器学习现在已经广泛应用在苹果产品和服务中
”在苹果程序店中，它用机器学习来识别欺骗行为，测试软件时苹果也会用机器学习技术来筛选反馈意见，找到最有价值的内容
在苹果News应用中，机器学习技术被用来挑选新闻
机器学习可以判断Apple Watch用户是在做锻炼还是在闲逛，可以识别照片中的人脸和位置
如果Wi-Fi信号比较弱，机器学习技术会建议用户使用蜂窝网络，因为更省电
机器学习能够分辨出用户所拍视频的好环，点击一下按钮，我们就可以将相关视频集合在一起
竞争对手也做得很不错，苹果高管宣称，它们是唯一一家在隐私、用户体验上取得良好平衡的企业
其实，在苹果机器学习并不新鲜
上世纪90年代，苹果推出牛顿(Newton)平板，当时的触控笔就用到了AI，它可以识别用户输入的字符
到了今天，该系统仍然还在使用，它就是Apple Watch中文字符识别系统，即使用户输入的字符很潦草它也能识别
“在过去5年里，AI在苹果的应用领域越来越多范围越来越广
” 菲尔·席勒表示：“我们的产品以更快的速度向智能化迈进，尤其值得称道的是我们设计的A系列芯片
后端越来越智能，越来越快，我们所做的一切终于可以连接起来了
这样一来机器学习技术的应用就会越来越广泛，因为有许多的东西需要学习，我们可以做到
” · · · “拥抱”机器学习很谨慎 虽然苹果对机器学习孜孜以求，但是高管们对于“拥抱”机器学习很谨慎，从某种意义上讲，苹果希望业务照常运营
库比提诺的天才们认为，机器学习只是突破性技术的最新进步
没错，它是变革性的技术，但是并不比其它技术进步更加强大，比如触摸屏、平板、面向对象编程
在苹果看来，机器学习并不是最终前沿，但是其它公司却这样认为
埃迪·库说：“以前就有技术改变了人与设备的交互方式，机器学习与这些技术并无本质区别
”在AI领域有一些让人毛骨悚然的猜测，苹果无意参与这种讨论
苹果没有确认自己是否在开发汽车，也不告诉大家自己是否在开发类似Netflix的服务，但是有一点却是苹果所确认的：它没有开发类似“天网”的东西
“我们要用这些技术来做一直想做的事，将事情做得更好
” 席勒说，“我们还要用技术来做一些之前做不到的事
最终，技术会以苹果独有的方式在公司内部演进，以苹果方式应用于产品
” “Apple Brain”到底有多大？有多少iPhone动态缓存可以供机器学习使用？当我问苹果时，他们给出的信息让人吃惊：平均200Mb，根据存储的个人数据大小而不同
苹果iPhone会不断删除旧数据
这些信息包括了APP使用情况、与其它人的交互数据、神经网络处理、自然语言事件模型
神经网络还可以用一些数据来识别目标、识别人脸、给场景分类
苹果解释称，个人参数、个人爱好、旅行信息都是私人的，苹果会对私人信息保密
Eddy Cue 在AI方面，苹果并没有详细解释自己的努力，但是我还是搞清了机器学习技术在苹果内部的分配情况
在整个苹果公司，机器学术人才是共享的，产品团队可以借用机器学术人才解决问题，也可以为单个产品开发功能
克雷格·费德里吉说：“在苹果内部并没有一个单一的核心机器学习组织
有些团队需要用机器学习技术来提供更好的用户体验，我们努力确保机器学习人才与这些团队紧密联系在一起
” 在苹果，到底有多人从事机器学习工作？费德里吉表示：“很多
”有趣的是，苹果机器学习团队的员工在加入苹果之前并没有受过专门的训练
费德里吉称：“我们招募的员工在基础领域相当厉害，比如数学、统计学、程序设计语言、密码学等
事实证明，这些人才可以完全转化为机器学习专家
今天，我们虽然也会招募大量的机器学习人才，但是同时还会寻找拥有核心资质、才华横溢的人
” 虽然费德里吉没有说，但是这一选择似乎不可避免
苹果偏爱保密，而与之竞争的企业恰恰相反，它们鼓励计算机科学家共享研究成果，在竞争之时苹果处在不利位置
费德里吉解释称：“我们的实践偏向于‘自然选择’，一种人喜欢参与到团队中去，一起开发好产品，还有一种人的主要动机则是发表研究成果
”如果科学家既能改进苹果产品又能在某些领域取得突破，那当然是再好不过的事，但是埃迪·库表示：“我们对最终结果充满期待，这种期待推动我们前进
” · · · 收购人才 在机器学习方面，苹果的一些人才是收购而来的
埃迪·库说：“一年之内我们收购了20-30家公司，它们的规模相对较小，收购的真正目的是为了人才
”费德里吉称：“当苹果收购AI公司，它肯定会有大量的机器学习研究员，我们并非纯粹为了扩充数量
我们真正需要的是专注于提供绝佳体验的人才
” 最近，苹果收购了Turi，这是一家位于西雅图的企业，苹果花了2亿美元买下它
Turi开发了一套机器学习工具，人们将它与谷歌TensorFlow类比，有人于是猜测，苹果的目的可能和谷歌是一样的，它会将工具用于企业内部，也会给开发者使用
苹果高管既没有肯定，也没有否定
埃迪·库只是说：“可以肯定的是从技术角度和个人角度看Turi与苹果很匹配
”再过1年或者2年我们就许就能看见成果了
不管人才来自何处，苹果的AI技术都可以帮助公司开发以前开发不了的产品和功能
AI还改变了公司的产品蓝图
席勒说：“目前的苹果超酷创意层出不穷，有些创意放在几年前我们只能驳回，现在有了机器学习就可以通过了
当我们决定接下来应该做什么产品时，机器学习会成为决策的依据
” 搭配 iPad Pro销售的Apple Pencil就是一个好例子
苹果希望打造一支高科技手写笔，要达成目标必须解决一个难题：当用户在设备上书写时，手掌底部难免会碰到屏幕，导致一些数字功能失常
苹果开发了一个“防手掌误触”机器学习模型，让它自动识别滑动、触摸、手写笔输入的差异，从而提高精准度
费德里吉说：“如果手写笔不够完美，我们就不能将iPad当成可以流畅书写的纸，Pencil也不会成为一款好产品
”如果你喜欢Pencil，应该感谢机器学习
最开始时，Siri只是DARPA的一个智能助手项目，后来独立成一家小公司，它用相同的技术开发了一款应用
2010年，乔布斯亲自出马，说服企业创始人卖身苹果，然后将Siri与操作系统整合
2011年10月，苹果发布iPhone 4S，Siri成为主打技术
最开始时，用户可以长按Home键唤醒Siri，也可以对着手机说“Hey Siri”激活功能
现在Siri已经进化，它已经融入到Apple Brain，即使没有说话时也在收集信息
作为一款核心产品，埃迪·库认为Siri有四大组成部分：语音识别，理解用户何时与产品对话；理解自然语言，抓住说话的意思；执行，满足一系列的查询；回应，用语音回复
埃迪·库称：“机器学习对四大方面造成了重要影响
” · · · Siri向神经网络进化 苹果收购Siri之后，汤姆·格鲁伯（Tom Gruber）也随同原公司一起加入了苹果，他现在担任Siri高级研发部门主管
格鲁伯认为，在苹果将神经网络应用于Siri之前，大量用户已经生成了海量数据，这些数据对于后来训练神经网络作用巨大
格鲁伯表示：“乔布斯认为，不需要测试，一夜之间应用就可以从试点项目发展到拥有数百万用户的服务
突然之间就会有这么多的用户，这些人会告诉你人们是如何与应用互动的
这是第一轮变革，接下来就轮到神经网络了
” Siri向前进化，用神经网络处理语音识别，在演进的过程中一些新的AI专家参与进来，包括语音组主管亚历克斯·阿塞罗（Alex Acero）
90年代初，阿塞罗曾在苹果开发语音识别技术，后来又在微软研究院工作多年
阿塞罗说：“我喜欢这项工作，发表了许多论文
看到Siri，我意识到它可以让深度学习变成现实，可以让几百万人使用它，不是几百人
”换句话说，阿塞罗正是苹果要寻找的科学家：他认为产品比发表论文更重要
3年前，阿塞罗加入了苹果，当时Siri使用的语音技术基本来自第三方授权，苹果希望能改变这一现状
费德里吉意识到苹果在一种模式中不断重复
他说：“随着时间的推移，我们发现某项技术对核心产品的开发越来越重要，于是我们就会在内部自己开发，以求提升体验
要开发伟大的产品，我们希望能在内部创新
语音识别是一个好例子
” 随后，苹果团队开始训练神经网络，用它替代Siri旧技术
阿塞罗说：“我们拥有庞大的GPU集群，它们不停运转
我们输入了大量数据
”2014年苹果发布了产品，努力没有白费
阿塞罗说：“在所有的语言类别中，错误率降低了一倍或者两倍，在许多情况下更高
之所以会有如此大的进步，主要归功于深度学习以及我们优化技术的方式，不只是算法，还包括开发产品的整个过程
” 在识音识别应用中，苹果不是第一家采用深度神经网络技术的企业，但是苹果告诉我们：控制整个传输系统可以形成优势
阿塞罗称，因为芯片是苹果自己设计的，他可以与芯片设计团队、与编写固件（为设备编写）的工程师携手合作，将神经网络的性能提升到最大水平
Siri团队的需求甚至还影响了iPhone的设计
费德里吉说：“不仅仅与芯片有关，还与设备中安装的麦克风数量有关，与安装的位置有关
调整硬件、处理音频的软件栈，这些全都有关
有的企业开发完软件，对接下来的事情无法控制，我们的模式相比而言优势巨大
” 这样做还有另一个优势：当苹果神经网络在一款产品上可以运行，它就可以变成核心技术为另一个目的服务
例如，帮助Siri提高理解能力的机器学习算法可以成为“引擎”，用来处理口述信息，避开手写输入
埃迪·库还说到，Siri的第二个重要部分就是“理解自然语言”
2014年11月，Siri开始用机器学习理解用户意图
在苹果看来，如果没有Siri技术就不会开发出新版Apple TV，后者也支持语音控制功能
早期的Siri要求用户说话时表述必须清楚，后来推出的强化版Siri聪明多了
IOS 10将于今年秋天发布，Siri的语音成为第四个需要被机器学习转变的组成部分
这一次，深度神经网络上位，原来的授权技术退位
Siri的声音来自一个语音中心收集的数据库，每一句话都是语音段拼接的
机器学习技术让语音平滑流畅，让听觉效果更接近真人
虽然只是小细节，但更真实的声音能让Siri变得大不相同
格鲁伯认为：“声音质量提高了，用户会更加信任Siri
更好的语音更加吸引人，用户使用频率也会提高
” 有些人评论说，苹果Siri的合作伙伴只有两位数，外部开发者帮助亚马逊Alexa开发了1000多项技术
苹果认为将两者对比并没有意义，亚马逊用户要用特定指令获得各种功能，苹果Siri与服务结合时更加自然
· · · 保护用户隐私 事实上，苹果采用机器学习最大的阻力在于，如何让公司成功守住保护用户隐私的原则
不论是员工，还是苹果的律师，任何人都不能获取用户的私人信息，就是拿了搜查令的FBI都不行
这可以说是苹果的一大卖点，他们为了谄媚广告公司，搜集和出售用户的私人信息
虽然，尊重隐私这个原则非常令人敬佩，由于在这一问题上的严谨性，苹果似乎很难吸引到AI人才帮助公司发展
一位苹果的前雇员表示：“机器学习专家需要的是数据，但由于苹果尊重隐私的立场，苹果在这场竞争中，可以说是把一只手绑在后背战斗
你可能觉得这么做不合理，但这也为苹果赢得了铁杆粉的赞誉
”而这位大约喜欢看功夫片的苹果前雇员，现在在一家主攻AI的公司供职
事实上，这一观点遭到了苹果公司高层的强烈质疑
他们认为，完全可以不采用用户云端存储的内容，或实时监测用户信息，就可以获得足够的数据来实现可靠的机器学习
费德里吉表示：“这事儿不对，不应该进行这样的取舍
我们尊重用户隐私，这样的行为是伟大的
此外，为了让我们的用户遍布各地，我们很愿意为行业竞争者们展示一条新的通往机器学习的航线
” 机器学习涉及两件很重要的事情：首先，就是基于机器学习的系统中的个人信息的问题，在了解到用户行为之后，神经网络会自发的决定如何对这些信息进行处理；其次，这也关乎相关信息的搜集对神经网络识别行为的训练方式
现在问题来了，你要怎么在不收集用户个人信息的前提下完成这两件事？ 苹果称，它已经有了答案
埃迪·库表示：“很多人坚信没有数据，我们就不能做AI，但是我们已经找到了办法，技能保持隐私保护原则，又能进行数据获取
这是底线
” 针对第一个问题，也就是保护个人喜好和信息的神经网络识别，苹果采用了软、硬件分别独立控制的方法
简单的说，几乎所有的个人信息都将存储在私人配备的苹果之脑（Apple Brain）
费德里吉表示：“对于最敏感的内容，我们会把这部分涉及的机器学习算法嵌入到本地设备
”费德里吉举了个案例，一个针对app的建议：当你向右滑状态栏是出现的图标
理想的状态下，他们是想让你打开想要打开的一个app，但这需要基于一系列的因素，涉及大量用户行为，无关别人，是很个性化的
费德里吉表示，有90%的情况系统能为人们推荐他们想要的app，这都是在个人的手机端完成的
苹果在设备存储的其他信息，还包括苹果认为可能最为私人的一些数据：使用标准的iPhone QuickType键盘键入的文字
神经网路训练体系将在你打字的时候检测相关事件和项目，比如航班信息、联系人、约会等，但这些内容都将只保留在你的手机上
即便是苹果云端保存的备份文件，都不会显示详细内容
费德里吉表示：“我们不想让苹果服务器存储这些信息，这只是一个公司，不需要知道你有什么习惯，或者你要到什么地方去
” 此外，苹果还打算尽量减少信息存储量
费德里吉提到一个例子，当你正在聊天，或者正在进行潜在的关键词搜索，别的公司可能需要所有的相关内容和项目，来进行标识，但苹果公司只需要检测个人设备端的数据就可以了（而这只需要依赖于那个200兆字节的“大脑”）
费德里吉表示：“这是一个紧凑，但是全面的信息库，包括数以万计的定位和内容
我们对它进行本地化，因为我们知道你在哪里
这个信息库将被用于所有的苹果app，包括Spotlight search、Maps和Safari等
它帮助我们进行自我修正，并在后台持续运行
” Craig Federighi和Alex Acero · · · 用网上信息训练神经网络 现在来谈第二个问题
苹果想进机器学习的圈子，还面临着另一阻碍：由于隐私保护原则，无法获取足够庞大的数据库，来进行训练，提高机器学习算法的准确性
如果苹果不抽取它所有的用户群信息，它应该如何建立庞大的数据库？办法跟别的公司一样：利用网上公开的信息，比如利用公开相片进行图像识别训练
真正的问题在于，当苹果需要更有针对性的算法训练时，它需要获取最近的，更具体的用户信息，这只能来自于它的用户群
苹果目前的做法是，匿名获取信息，随机标定数字ID
从iOS 10开始，苹果还将聘请相对新的技术，Differential Privacy，针对用户信息来源不明确的情况，用于更新流行语，进行相关答案检索，推荐热门表情等
费德里吉表示：“现在行业里普遍采用的方式是，当你键入字符，数据就会被传送到服务器上，然后通过网络检索相关或有趣的内容，再传回个人设备；而我们打算做的是，将这个功能做成一个大规模应用的东西，扩展到10亿用户群
” 费德里吉称：“我们是几年前开始这项工作的，即实际规模化
这很疯狂，而且还很私人
苹果做了很重要的工作，对整个世界都很有价值
它正让科学家们的论文变成现实
”费德里吉还描述了一个系统，涉及虚拟抛硬币和加密协议
大体上，它是对一些数据加入数学噪声，因此，苹果公司可以检测使用模式，而不识别个人用户
显然，机器学习正在改变着苹果的产品，虽然我们还不知道它会不会改变苹果的“本心”
从某种意义上来说，机器学习似乎本来就跟苹果是一条路子的
苹果一直很小心的关注用户体验，擅长各种传感，预先设计，精确编码
而工程师设计机器学习的时候，想做的是让它自己进行修正，发现解决方案
这样看来，不停吸收反馈，进行产品调整的苹果公司似乎就是一个机器学习体系
费德里吉称：“这也涉及一个主要的内部争议
我们习惯于想的多，想周到这样的经验，我们控制系统与用户交流的维度
然而当你训练一个面向人类行为，基于大型数据库的系统，你不知道它最终会走向什么
我们无法控制结果，一切来源于数据
” Tom Gruber和Alex Acero 席勒表示，苹果不会回头
“虽然这些技术会影响到你的设计过程，但终有一天，我们都将使用它们，因为它们能够提供高质量的产品
” 关键的是，苹果可能并不会声明自己把全部身家押在机器学习上，但公司将尽可能用其来改善自己产品
手机里面那个“脑子”就是最好的证明
席勒还说：“典型客户正在体验日常级别的深度学习，这表达了他们对苹果产品的热爱
令人激动的是，一开始你没什么感觉，当你第三次看到它运行的时候，你会讶异于，这是怎么办到的
” 每日一头条 趋势·深度·犀利·干货，最专业的行业解读 深喉爆料、投稿：guoren@zhidx.com 智东西招新 在这里与下一个BAT创造者交朋友！ 五大智能领域记者/编辑/实习生 欢迎自荐/推荐,简历至HR@zhidx.com
