機器學習就是在巨量數(shù)據(jù)上執(zhí)行某類復雜運算，并且效率越來越來高，成功的案例也越來越多。現(xiàn)在，機器學習已經(jīng)從一個相對晦澀的計算機科學概念快速發(fā)展成了一種可靠的方法，并且已經(jīng)被應用在了從人臉識別技術到自動駕駛汽車等各種應用中。

機器學習可以應用于每一種企業(yè)職能，并且會影響到經(jīng)濟體中每個部分的公司。所以無怪乎資金正在大量涌入這一行業(yè)。麥肯錫公司的一項調(diào)查表明：在2013年到2016年之間，對人工智能（AI）開發(fā)的總投資額增長了2倍，達到了200億到300億美元。其中大多數(shù)都來自科技巨頭。這些公司預計機器學習及其衍生的其它AI模型將成為它們未來客戶發(fā)展的關鍵，就像現(xiàn)在的移動性和網(wǎng)絡化一樣。

機器學習技術為何如此吸引人？因為機器學習和其它形式的AI技術可以在很多領域得到廣泛的應用，同時仍然還能產(chǎn)出顯著的利益。Gartner預計到2020年，AI技術將會在新的業(yè)務軟件中實現(xiàn)普及，并且將成為30%的CIO的前五大投資優(yōu)先選擇之一。

事實上，這一市場的主要發(fā)展推動力來自那些已經(jīng)站穩(wěn)腳跟的公司，它們可以將它們的進展應用到其它領域，比如：

英偉達已經(jīng)成為了GPU領域的主導者，而GPU正是機器學習訓練階段的最主要平臺。到目前為止，大多數(shù)已經(jīng)實現(xiàn)的機器學習開發(fā)成果都基于GPU。

英特爾已經(jīng)推出的Nervana神經(jīng)處理器（NeuralProcessor），這是一種低延遲、高內(nèi)存帶寬的芯片，據(jù)說是專為深度學習設計打造的。（英特爾在2016年收購了Nervana。）

谷歌的張量處理單元（TPU/TensorProcessingUnit）已經(jīng)占據(jù)了機器學習加速器的部分市場。其第二個版本是CloudTPU，這是一種更加高性能的TPU集群。CloudTPU是為機器學習的訓練階段設計的，可與英偉達的GPU平臺競爭；而谷歌第一個版本的TPU則是該公司為了在自己的服務器上加速語音轉(zhuǎn)文本應用的推理而開發(fā)的一款ASIC。

機器學習分為兩個階段：訓練階段和推理階段。其中大部分開發(fā)工作都集中在第一個階段：訓練階段。這篇文章主要限于數(shù)據(jù)中心和云計算方面，而且這本身就是一個巨大的市場。LinleyGroup的首席分析師LinleyGwennap預計數(shù)據(jù)中心方向的AI加速器市場將在2022年達到120億美元。

Gwennap說：“在接下來的一兩年時間里，我們將開始看到將會出現(xiàn)遠遠更多針對數(shù)據(jù)中心和其它設備的選擇。所以世界各地的谷歌和Facebook這樣的公司所面臨的問題是：‘我應該繼續(xù)設計自己的芯片嗎？或者，如果我能從公開市場獲得同樣好的芯片，我還應該自己設計嗎？’”

推理的發(fā)展機會

機器學習的第二個階段是推理，基本上就是將學習階段應用于特定應用和細分市場。也就是算法被投入實際應用的階段，而人們預計這方面的發(fā)展機會甚至還更大。因此，VC支持的創(chuàng)業(yè)公司正在大量涌現(xiàn)，但其中只有很少一些已經(jīng)推出了或演示過任何產(chǎn)品；當然，已有的公司也在這一領域大力推進。

ARM的研究員JemDavies說：“推理和訓練是相當不同的。推理是做各種古怪的事情（比如分揀黃瓜）或有用的事情的階段。這個階段離用戶更近，所以你能看到各種‘有趣的’用例。但也有在手機中執(zhí)行文本預測（這始于25年前）以及人臉檢測和識別的應用。”

推理也是輔助駕駛和自動駕駛的重要組成部分，其中傳感器收集到的數(shù)據(jù)需要基于機器學習進行預處理。

Cadence的TensilicaDSP組的產(chǎn)品營銷總監(jiān)PulinDesai說：“推理需要在邊緣進行。在汽車中，你可能會有20個圖像傳感器，另外還有雷達和激光雷達（LiDAR），以便提供360度的視野。但如果你將一個圖像傳感器放在汽車上，它可能就有180度的視野了。那就會需要畸變校正，這是一種圖像處理。”

訓練和推理之間的一個關鍵差異是訓練是以浮點形式完成的，而推理則使用定點形式。DSP和FPGA都是定點形式。

FlexLogix的CEOGeoffreyTate說：“我們不再只使用x86處理器解算所有任務或為特定的負載對硬件進行優(yōu)化。大多數(shù)計算都要在數(shù)據(jù)中心外完成，所以FPGA等器件的作用將不得不改變——盡管隨著音頻和視頻的支持需求擴大，你可能仍將看到傳統(tǒng)架構(gòu)與新架構(gòu)的混合使用。我將這全部都看作是加速器?！?/P>

在機器學習領域，F(xiàn)PGA和eFPGA玩家正爭先恐后要在推理市場分一杯羹。Linley估計，在2022年總共將會有17億臺機器學習客戶端設備。

Achronix總裁兼CEORobertBlake說：“GPU在機器學習的學習階段已經(jīng)得到了很大的重視。但推理方面的市場會更大，而這些產(chǎn)品的關鍵因素將會是成本和功耗。因此，嵌入式解決方案將會成為這些領域的矚目焦點。”

ARM的Davies同意這個觀點。他說功率預算保持在2W到3W的范圍內(nèi)，而電池技術的發(fā)展一直以來都相對平穩(wěn)。鋰電池的改進幅度一直都在每年4%到6%的范圍內(nèi)。考慮到所有這些情況，計算性能將會需要幾個數(shù)量級的增長。

那將需要不同的架構(gòu)，還要理解應該在哪里完成哪些處理。

Rambus的杰出發(fā)明家StevenWoo說：“我們看到有各種各樣的AI、神經(jīng)網(wǎng)絡芯片和內(nèi)核。在更高層面上看，它們是將信息融合在一起。這方面有很多探索正在進行。你可以看到，現(xiàn)在有很多公司在尋找主要市場，以便圍繞其構(gòu)建基礎設施。你可以看到手機的數(shù)量達到了數(shù)十億。這些都在驅(qū)動新的封裝基礎設施發(fā)展。你可以看到汽車領域背后有很多資金支持。物聯(lián)網(wǎng)（IoT）的潛力也很明顯，但難在尋找共同點。而在神經(jīng)網(wǎng)絡和機器學習方面，似乎每周都有新算法出現(xiàn)，這使得我們難以開發(fā)出單個一個架構(gòu)。這就是人們對FPGA和DSP的興趣如此之大的原因?！?/P>

定義機器學習

公司交替地使用機器學習、深度學習、人工智能和神經(jīng)網(wǎng)絡這些術語并沒有什么幫助。盡管這些術語的差別很微妙，但共有的思想是：使用足夠多的實時數(shù)據(jù)，計算機可以給多種不同的場景加權(quán)，并根據(jù)這些預定義的權(quán)重響應給出最好的選擇。這個加權(quán)過程是訓練和推理過程的一部分，對機器學習而言至關重要。

深度學習是機器學習的一種——具有更多的層，這些層執(zhí)行著不同類型的分析，并最終能得到更加完整的解決方案，但完成深度學習訓練也需要更多計算資源。這兩者往往都涉及到神經(jīng)網(wǎng)絡，即圍繞信息節(jié)點創(chuàng)建網(wǎng)狀的連接，這種連接有一點類似于人腦中細胞之間的網(wǎng)狀連接。人工智能則是一個涵蓋性術語，很多人對此都有不同的看法：從IBM的Watson到電影《2001太空漫游》中的HAL。但主要是指無需明確編程就能自己學習不同行為的設備或程序。

誰在使用機器學習

在以客戶為中心的應用中，機器學習已經(jīng)非常常見，其中包括預測銷量、尋找客戶流失的跡象、通過交互式語音響應或聊天機器人提供客戶服務、谷歌翻譯那樣的消費者應用等等。

Facebook使用了三種深度學習應用來過濾上傳的內(nèi)容，比如：一種用于識別上傳的圖片中的人臉并進行標注，一種用于檢查帖子中的仇恨言論或其它客觀內(nèi)容，一種用于定向廣告。

英偉達首席科學家兼研究部門高級副總裁BillDally說：“讓我驚訝的是深度學習革命的速度是如此之快。在過去三年中，各種應用幾乎在一夜之間就完成了從傳統(tǒng)方法向深度學習方法的轉(zhuǎn)變。這不需要在軟件上進行大量投入；你找到應用，再訓練網(wǎng)絡，然后就完成了。這在一些領域里已經(jīng)得到了普及，但對于每一個已經(jīng)轉(zhuǎn)向神經(jīng)網(wǎng)絡的應用，還可能還會有多次轉(zhuǎn)變?！?/P>

據(jù)麥肯錫的研究：盡管科技行業(yè)內(nèi)已經(jīng)采用AI實現(xiàn)或改進了其它服務或增加了新服務給客戶，但在科技行業(yè)之外，對AI技術的采用還大都是實驗性的。在受調(diào)查的3000家公司中，僅有20%表示它們在業(yè)務中的重要部分使用了與AI相關的技術。麥肯錫調(diào)查了160種AI用例，發(fā)現(xiàn)其中僅有12%實現(xiàn)了AI的商業(yè)部署。

換個角度看，也就是說有88%的公司仍然還沒有實現(xiàn)AI的商業(yè)部署，所以其中還有巨大的機會。谷歌和百度等科技巨頭則相反，它們在2016年中投入了200億到300億美元，其中90%投入了研發(fā)，10%用于收購。

深度學習是下一個大事件

據(jù)西門子旗下Mentor的傳感器融合部門首席工程師NizarSallem說，深度學習可能不僅在客戶服務和分析上表現(xiàn)優(yōu)良，而且也是用于自動駕駛汽車所需的即時感知、決策和控制的主要候選系統(tǒng)。

Sallem說：“機器學習最重要的應用是基于交通規(guī)則和汽車當時所在位置的預期理解汽車周圍的環(huán)境、道路上不同的行為者和背景。它必須確定你的行為應該會怎樣，還要確定什么時候允許你打破規(guī)則以避開危險或保護汽車中的人類?！?/P>

市場預測

不管AI技術可能將會有多么能干，它目前仍還處于起步發(fā)展階段。據(jù)Tractica的一份報告，主要的服務提供商還仍然是已有的科技公司，最賺錢的還仍然是面向消費者的服務。其中包括谷歌的語音轉(zhuǎn)文本和翻譯服務以及來自亞馬遜、Facebook、百度等公司的消費者交互/客戶服務應用。這份報告估計2016年AI驅(qū)動的消費者服務價值19億美元，并將在2017年年底增長至27億美元。

圖1：不同AI技術的收入情況

Tractica估計AI的整個市場（包括硬件、軟件和服務）將會在2025年增長至421億美元。

圖2：AI在不同方面（軟件、服務、硬件）的收入情況

機器學習即服務（MLaaS）是一個不同的類別——亞馬遜、IBM和微軟占據(jù)了其中73%。據(jù)TransparencyMarketResearch（TMR）在今年4月份的一份報告稱，這個市場將從2016年的10.7億美元增長至2025年的199億美元。

據(jù)Tractica稱，目前大多數(shù)使用了機器學習的服務都是面向消費者的——這個類別中包括谷歌的翻譯和語音轉(zhuǎn)文本應用，這些應用為其客戶級TPU提供了概念證明。

客戶變成競爭對手

深度學習的出現(xiàn)也凸顯出了半導體行業(yè)與其最大的客戶之間的日益復雜的關系——尤其是谷歌等超大規(guī)模數(shù)據(jù)中心的所有者，這些公司的規(guī)模非常大，足以開發(fā)設計它們自己的服務器和芯片。

多年以來，芯片公司一直都在開發(fā)或定制滿足特定的云客戶的需求的芯片。以英特爾為例，它為微軟開發(fā)了FPGA深度學習加速器，還為阿里巴巴的云客戶開發(fā)了基于FPGA的應用加速器。英特爾還邀請了Facebook來幫助設計英特爾推出的Nervana神經(jīng)處理器的封裝以及即將到來的用于深度學習的“LakeCrest”ASIC。

谷歌已經(jīng)宣布了其它芯片，比如新聞報道的該公司為其Pixel2手機開發(fā)了一款機器學習協(xié)處理器，這也是其第一款移動芯片。谷歌也已經(jīng)開發(fā)出了Titan，這是一款連接到服務器的微控制器，可以確保服務器在板上出現(xiàn)故障、損壞或感染了惡意軟件時不會啟動。

谷歌在解釋其對第一款TPU的投資時說TPU可以“為機器學習在單位功耗下的性能帶來一個數(shù)量級的優(yōu)化”并能將谷歌的機器學習應用向前推進大概七年時間。第一款TPU的設計目的只是加速運行機器學習模型的推理的普通服務器，而不是為了一開始的模型訓練。因此，它們不會與英偉達或英特爾的機器學習訓練產(chǎn)品直接競爭。

當谷歌在5月份宣布了CloudTPU時，聽起來似乎就將與英特爾和英偉達的產(chǎn)品進行更加直接的競爭了。

谷歌描述說，每個CloudTPU都有180teraflops的浮點運算性能，將4個TPU封裝成一個TPUPod可以實現(xiàn)總共11.5petaflops的性能。這種配置似乎是為了與英偉達備受關注的DGX-1“超級計算機”競爭而設計的。DGX-1包含8個頂級的TeslaV100芯片，并聲稱總體最高吞吐量達1petaFLOP。

云上的競爭

Dally說：“谷歌和其它一些公司沒使用加速或只使用TPU取得了一些早期的成功，但有些網(wǎng)絡是很容易訓練的；標準的圖像搜索就很簡單。但對于需要處理越來越多信號的訓練（處理圖像和視頻流）以及對于每周都要重新訓練網(wǎng)絡的人或重點關注訓練過程的人，GPU要高效得多?！?/P>

據(jù)Cadence的IP組的前CTOChrisRowen說，問題是來自谷歌的一款新處理器是否足以奪走其它公司的客戶，答案可能是“不能”。任何云提供商都必須支持不止一種架構(gòu)，所以使用了深度學習的數(shù)據(jù)中心將會是CPU、GPU、ASIC、FPGA和各種技術的IP的混合。Rowen現(xiàn)已創(chuàng)立了CogniteVentures公司，為神經(jīng)網(wǎng)絡、物聯(lián)網(wǎng)和自主式嵌入式系統(tǒng)領域的創(chuàng)業(yè)公司提供資金和建議。

Rowen說，某些訓練負載也可以轉(zhuǎn)移，從而讓客戶端設備也能具備數(shù)十億個推理引擎。在這一領域，很多公司肯定都有機會；但是對于在數(shù)據(jù)中心服務器上進行的機器學習訓練，新進入的公司很難取代已經(jīng)站穩(wěn)腳跟的玩家。

圖3：認知計算的演進

Rowen說：“我們希望有所選擇，理由很充分，但選擇也非常多，而且英特爾、高通和其它公司也都在關注。不能因為你有一個用于智能手機的神經(jīng)網(wǎng)絡，就假設你的生產(chǎn)制造能超越三星，這種假設可不好?！?/P>