頂燈閃爍，笛聲響徹。
救護(hù)車載著病人，沖向茫茫車海，在時(shí)間的賽道上狂奔。
高德地圖、GPS 衛(wèi)星導(dǎo)航、路面磁感線圈、1300 個(gè)路口攝像頭同時(shí)開動(dòng)，為這輛救護(hù)車勘探最快路線；
GPS 傳回實(shí)時(shí)數(shù)據(jù)，后臺(tái)根據(jù)輔助數(shù)據(jù)糾偏，錨定救護(hù)車每一刻的精確位置；
救護(hù)車將要經(jīng)過的沿途，車輛情況被實(shí)時(shí)計(jì)算。確保路口綠燈提前亮起，在救護(hù)車通過之前，剛好所有社會(huì)車輛已經(jīng)行駛一空。
這不是演習(xí)，這是杭州城市大腦每天都在執(zhí)行的任務(wù)。依靠計(jì)算，一輛救護(hù)車到達(dá)醫(yī)院的速度，平均縮短了 50%。在這座城市，靠鳴笛和闖紅燈開道的悲壯徹底成為歷史。
說人同螻蟻，其實(shí)并不為過。兩百多萬輛車奔跑在城市里，他們的行蹤像風(fēng)里的落葉一樣叵測。但通過對(duì) 1300個(gè)路口的攝像頭的實(shí)時(shí)計(jì)算，城市大腦就可以精確地預(yù)測出未來十五分鐘、未來半小時(shí)哪個(gè)路段將會(huì)擁堵，從而第一時(shí)間指揮路口信號(hào)燈“變換姿勢”。
計(jì)算在幫人類追趕時(shí)間。
中哥今天要說的，就是這個(gè)精致而堅(jiān)固的“大數(shù)據(jù)實(shí)時(shí)計(jì)算引擎”。
你可能從未聽說過這個(gè)引擎，甚至在此刻之前都不知道它的存在，但你很可能早已成為這個(gè)引擎服務(wù)的一員：
一年一度的雙11，無數(shù)人涌進(jìn)天貓，每個(gè)人都能用 0.1 秒搜索到自己理想的商品，在智能推薦中發(fā)現(xiàn)適合的寶貝，背后正是依賴這個(gè)引擎；
雙11慶典現(xiàn)場，大屏上那個(gè)跳動(dòng)的總成交量數(shù)字，只是背后所有數(shù)據(jù)的冰山一角。幾十億種商品的實(shí)時(shí)庫存、價(jià)格、優(yōu)惠數(shù)據(jù)得以分秒不慢地同步給屏幕前的你，也同樣依賴這個(gè)引擎。
從某種意義上來說，只要給這個(gè)計(jì)算引擎足夠的資源，無論面對(duì)多么龐大復(fù)雜的系統(tǒng)，我們都可以用幾乎忽略不計(jì)的時(shí)間看到真相——這大大快于人類最聰明的大腦。
這是我們親手創(chuàng)造的“先知”。
重器難成。為了這個(gè)先知一般的“大數(shù)據(jù)實(shí)時(shí)計(jì)算引擎”，阿里巴巴最核心的技術(shù)人，已經(jīng)耗費(fèi)了將近五年時(shí)間。
讓人感慨的是，這個(gè)承載了一個(gè)個(gè)城市的交通，扛起了一條條生產(chǎn)線，擔(dān)負(fù)了一個(gè)國家十幾億人購物的強(qiáng)大引擎之所以的誕生在阿里巴巴，最初并不是為了滿足什么需要，而僅僅是因?yàn)樗?ldquo;看上去很美”。
這是一個(gè)鮮為人知的故事。
（1）
1999年，阿里巴巴在杭州成立。
同樣在1999年，蔣曉偉正在美國攻讀理論物理博士。作為一個(gè)初三就立志要探索宇宙秘密的年輕人，到目前為止他的人生堪稱完美。
就在一個(gè)嶄新的物理學(xué)家即將出爐的時(shí)候，命運(yùn)開始展現(xiàn)它的波云詭譎。蔣曉偉突然被自己的導(dǎo)師“忽悠”到了一家非常有希望的互聯(lián)網(wǎng)初創(chuàng)公司。理由是：“在30歲之前先財(cái)富自由，以后愛怎么學(xué)物理就怎么學(xué)物理。”
一年之后，互聯(lián)網(wǎng)泡沫破裂。然而，蔣曉偉卻留在了這片戰(zhàn)場。2002年，他加入微軟，2010年他加入 Facebook。彈指揮間，直到回國加入阿里巴巴之前，他已經(jīng)從物理學(xué)家成功轉(zhuǎn)型成為數(shù)據(jù)庫和計(jì)算資源調(diào)度系統(tǒng)專家。
他還記得，自己加入阿里的時(shí)間是 2014年12月29日。這是一年中可以辦理入職的最后一天。
“為什么選最后一天？”
“因?yàn)榭瓷先ケ容^有美感。”
“。。。”
目測，蔣曉偉是我見過的第一個(gè)用物理公式般的美感對(duì)待人生的人。甚至，他給自己的花名都想叫做“量子”，后來思考了一下，覺得量子不太像個(gè)人名，才改為諧音“量仔”。
蔣曉偉
蔣曉偉入職的是阿里巴巴集團(tuán)搜索團(tuán)隊(duì)。你可能會(huì)問：納尼？阿里巴巴還有搜索團(tuán)隊(duì)？當(dāng)然有，而且還極其重要。舉個(gè)搜索引擎的日常：
當(dāng)你在淘寶搜索框里輸入“杜蕾斯”的時(shí)候，搜索引擎就馬上行動(dòng)，從億萬賣家出售中的寶貝里幫你找到合適的 TT（及其他產(chǎn)品），然后按照推薦順序排列在搜索結(jié)果里。
注意，有趣的硬核要來了：
如果，商家的 TT 價(jià)格永遠(yuǎn)不改，庫存永遠(yuǎn)無限，優(yōu)惠促銷方案永遠(yuǎn)不變，那么搜索團(tuán)隊(duì)只需要做一個(gè)最簡單的查詢系統(tǒng)就行了。
但是，現(xiàn)實(shí)中商家會(huì)隨時(shí)調(diào)整價(jià)格和優(yōu)惠，某一款激情大顆粒也可能因?yàn)樘軞g迎，上架十秒就賣到缺貨。在淘寶網(wǎng)上，你會(huì)發(fā)現(xiàn)真實(shí)的狀態(tài)是：每時(shí)每刻都有無數(shù)賣家的產(chǎn)品參數(shù)在改動(dòng)。
所以，搜索引擎的挑戰(zhàn)就是，要根據(jù)每時(shí)每刻最新的數(shù)據(jù)庫來瞬間算出最適合呈現(xiàn)給你的搜索結(jié)果。
相信我，只有用最新鮮的數(shù)據(jù)算出的結(jié)果，才能讓屏幕對(duì)面的你露出心滿意足的表情：
面對(duì)這種現(xiàn)實(shí)，一個(gè)最穩(wěn)妥的方式就是，搜索引擎用把現(xiàn)在的數(shù)據(jù)庫全部算一遍，給出結(jié)果。
但是，這會(huì)耗費(fèi)大量的計(jì)算力。畢竟這一秒相對(duì)于上一秒來說，可能發(fā)生參數(shù)變動(dòng)的寶貝只有十個(gè)，而沒有參數(shù)變動(dòng)的寶貝有十萬個(gè)。
那么，你自然會(huì)想：“有沒有一種方法，讓我只計(jì)算改動(dòng)的部分，再通過特別的數(shù)學(xué)運(yùn)算和之前的結(jié)果融合，就能達(dá)到和計(jì)算全量數(shù)據(jù)一樣的效果呢？”
有的，這就叫“流式計(jì)算”。
打個(gè)最簡單的比方：
你負(fù)責(zé)把椰汁平分給10個(gè)妹紙。剛開始你有10瓶椰汁，于是你一人分了一個(gè)。后來，你又得到了10瓶椰汁，這時(shí)候椰汁的總數(shù)變成了 20 瓶，平均每個(gè)妹紙應(yīng)該得到兩個(gè)。
但你沒有必要把之前分給妹紙的椰汁收回來，重新每人給兩個(gè)；而是可以讓每個(gè)妹紙手上拿著之前的那瓶椰汁的基礎(chǔ)上，每人再補(bǔ)發(fā)一瓶。
通過這個(gè)例子，我猜你已經(jīng)感受到了“流式計(jì)算”的激蕩。當(dāng)然，實(shí)際的數(shù)據(jù)庫運(yùn)算比“分椰汁”復(fù)雜得多。
需要說明的是，當(dāng)時(shí)在阿里巴巴內(nèi)部，并不是沒有流式計(jì)算引擎，各部門都根據(jù)自己的需求研發(fā)了特定的流式計(jì)算引擎，只不過，大多引擎只用來解決各自部門的問題，沒有通用性。
很多業(yè)務(wù)都開發(fā)了
各自的流式計(jì)算引擎
但蔣曉偉突然發(fā)現(xiàn)，流式計(jì)算背后隱藏著一個(gè)神奇的事實(shí)：
既然只計(jì)算增量，就能得知全量的結(jié)果；那么就可以永遠(yuǎn)用計(jì)算增量的方式來表達(dá)計(jì)算全量。
也就是說：增量計(jì)算等效于全量計(jì)算；流式計(jì)算等效于批處理計(jì)算，實(shí)時(shí)計(jì)算等效于離線計(jì)算！
也就是說，如果按照這個(gè)構(gòu)想做出一套完整功能的“流式計(jì)算引擎”，就可以一統(tǒng)江湖，運(yùn)轉(zhuǎn)在阿里巴巴所有的技術(shù)底層。這可是一份不小的產(chǎn)業(yè)??！
蔣曉偉越想越雞凍。
然鵝，讓他激動(dòng)的最主要原因竟然是：“這個(gè)引擎太完美了！”他發(fā)現(xiàn)，其實(shí)自己身體里的那個(gè)“物理學(xué)家”一直都在。物理追求的終極就是“大一統(tǒng)理論”——用一套機(jī)制解決所有問題。沒想到人生峰回路轉(zhuǎn)，在計(jì)算機(jī)領(lǐng)域也給發(fā)現(xiàn)了一個(gè)“大一統(tǒng)”的機(jī)會(huì)。
老實(shí)說，蔣曉偉老濕傅這個(gè)想法有點(diǎn)危險(xiǎn)。危險(xiǎn)在哪呢？
首先，如果把當(dāng)時(shí)搜索業(yè)務(wù)需要的流式計(jì)算比作汽車發(fā)動(dòng)機(jī)的話，蔣曉偉想要研制的發(fā)動(dòng)機(jī)，是豪華到可以用到下一代宇宙飛船上的“核能發(fā)動(dòng)機(jī)”。自己團(tuán)隊(duì)支持的這攤子業(yè)務(wù)目前根本不需要這么好的引擎。
其次，研究這個(gè)引擎的基本動(dòng)力居然是“美感”。出于美感開發(fā)一個(gè)計(jì)算引擎，這種動(dòng)機(jī)天然就有一種理想主義氣質(zhì)。。。能不能研究成，那只有天知道。
再說，面對(duì)這么宏大的任務(wù)，手下能用來做研發(fā)的團(tuán)隊(duì)，只有五個(gè)人。況且這五個(gè)兄弟還有日常的任務(wù)，人手極度短缺。
“但馬老師不是說了么，夢想還是要有的，萬一實(shí)現(xiàn)了呢？”
剛剛加入阿里的蔣曉偉倒是決心已定。
（2）
蔣曉偉“能用”的團(tuán)隊(duì)，全員都在北京。
這個(gè)小分隊(duì)的老大叫做王峰。王峰是個(gè)老阿里了，2006年加入阿里巴巴，在阿里北京的雅虎中國團(tuán)隊(duì)做搜索，后來又做過一淘和淘寶搜索。此時(shí)此刻，他和北京的幾個(gè)兄弟主要負(fù)責(zé)一個(gè)開放搜索項(xiàng)目的離線系統(tǒng)。
聽到蔣曉偉對(duì)于“流式計(jì)算引擎”的描述，王峰內(nèi)心驚呼“*”。對(duì)于一個(gè)合格技術(shù)宅來說，一個(gè)好的技術(shù)構(gòu)想比萌妹子更能讓他動(dòng)心。
蔣曉偉和王峰一合計(jì)，事情很簡單：腳踩兩只船，那基本沒戲。要么就趁早死心，放棄新引擎研發(fā)；要么就大家就把舊工作完全交出去，破釜沉舟干票大的。
王峰的決定是，干！
現(xiàn)在的王峰，
笑起來一幅波瀾不驚，
當(dāng)年內(nèi)心也是慌得一批。
王峰回憶，領(lǐng)導(dǎo)們覺得很不可思議。因?yàn)榻怀鲈械臉I(yè)務(wù)，北京這個(gè)小團(tuán)隊(duì)相當(dāng)于“失業(yè)”了。而新的研究——流式計(jì)算引擎——當(dāng)時(shí)只是個(gè)構(gòu)想，連技術(shù)方向也沒有，代碼更是一行都還沒寫。對(duì)于王峰來說，這相當(dāng)于一次破釜沉舟的內(nèi)部創(chuàng)業(yè)，前途未卜，兇險(xiǎn)異常。
事實(shí)也證明，別人的擔(dān)心都是對(duì)的。一開始團(tuán)隊(duì)努著勁兒寫了三個(gè)月代碼，仍然沒辦法達(dá)到蔣曉偉理想中的通用性，連他本人都有點(diǎn)心虛。
“我剛來阿里巴巴，就忽悠兄弟們把之前的項(xiàng)目都放棄了，要是最后證明我的構(gòu)想是個(gè)坑，那不是害了別人么。。。”他想。
焦急之中，已經(jīng)到了 2015 年夏天，蔣曉偉突然在業(yè)內(nèi)著名的大數(shù)據(jù)峰會(huì) Hadoop Sumit 的論壇上看到有人發(fā)表了一個(gè)驚悚的評(píng)論：感覺 Flink 出來之后，Hadoop 就顯得不怎么需要了。。。
Hadoop 是當(dāng)年最火的大數(shù)據(jù)分布式架構(gòu)，這個(gè) Flink 是個(gè)神馬，根本沒聽過啊。但是當(dāng)蔣曉偉、王峰和團(tuán)隊(duì)研究完技術(shù)資料之后突然發(fā)現(xiàn)，這種“用流式計(jì)算來等效一切計(jì)算”的理念不就和我們想開發(fā)的那套引擎一模一樣嗎？
蔣曉偉仰天長嘯：
真是天助我也！既然已經(jīng)有開源的技術(shù)，那么我們只要在此之上繼續(xù)開發(fā)流計(jì)算引擎就好了??！
這里多介紹一句。Flink 是一個(gè)流式計(jì)算的開源框架，2010 年誕生于德國研究中心和柏林工業(yè)大學(xué)，2014年被捐贈(zèng)給 Apache 基金會(huì)，并由創(chuàng)始公司 DataArtisans 繼續(xù)運(yùn)營。
Flink 的 Logo 是一只眼神里有故事的松鼠。
簡單來說，2015年的時(shí)候，F(xiàn)link 剛剛“出道”一年，幾乎沒有人知道，更沒有人大規(guī)模使用。就像一個(gè)剛剛畢業(yè)的大學(xué)生，看上去很有潛力，但“穩(wěn)定性”和“實(shí)用性”都缺乏事實(shí)驗(yàn)證。
就這樣，這幫阿里巴巴的技術(shù)專家，成為了全球第一批使用 Flink 框架做大數(shù)據(jù)引擎研發(fā)的人，蔣曉偉一瞬間就給自己的引擎起好了名字——“Blink”。這是英文眨眼的意思。”一眨眼，所有東西都計(jì)算好了！“
2015年底，搜索部門要向阿里巴巴 CTO 行癲匯報(bào)。每人20分鐘時(shí)間，結(jié)果蔣曉偉上去講 Blink，沉浸在對(duì)這個(gè)“完美引擎”的想象中，一下就說了40分鐘。
作為阿里巴巴所有核心技術(shù)的掌門人，行癲素來對(duì)新技術(shù)很敏感。他聽懂了蔣曉偉的技術(shù)路線，內(nèi)心也覺得相當(dāng)靠譜。但這畢竟是搜索團(tuán)隊(duì)自己“偷偷”搞的項(xiàng)目，這幫兄弟究竟可以堅(jiān)持走多遠(yuǎn)，行癲心里也沒底。于是鼓勵(lì)蔣曉偉說：“那就等你們明年做出來，我們再看！”
阿里巴巴 CTO 行癲 張建鋒
（3）
說到底，Blink 是一個(gè)通用引擎。它就像一個(gè)萬能發(fā)動(dòng)機(jī)，可以裝載到轎車、卡車、飛機(jī)、火箭任何地方。
蔣曉偉手握這臺(tái)“萬能發(fā)動(dòng)機(jī)”的1.0版本，到處去找車實(shí)驗(yàn)。他盯上的“第一批車”，就是搜索業(yè)務(wù)中的使用場景。
簡單科普一下：
搜索業(yè)務(wù)的機(jī)器學(xué)習(xí)平臺(tái)內(nèi)部代號(hào)叫“保時(shí)捷”（還真是一輛車。。。），可以根據(jù)你瀏覽商品的時(shí)間和動(dòng)作，實(shí)時(shí)判斷出你可能會(huì)對(duì)什么感興趣，從而在下一秒就能給你智能推薦可能喜歡的商品。這是阿里巴巴非常有技術(shù)含量的一個(gè)應(yīng)用。
實(shí)際上，機(jī)器學(xué)習(xí)平臺(tái)當(dāng)時(shí)已經(jīng)“心有所屬”，配有一臺(tái)流式計(jì)算引擎——之前王峰帶領(lǐng)搜索團(tuán)隊(duì)自研的 iStream。iStream 是專門為搜索設(shè)計(jì)的，雖然目前可以很好地完成任務(wù)，但結(jié)構(gòu)簡單，不具有特別強(qiáng)的通用性。
機(jī)器學(xué)習(xí)算法團(tuán)隊(duì)的一位負(fù)責(zé)人仁基，技術(shù)思想非常超前，非常巧的是，他同樣是個(gè)執(zhí)著于“美感”的人。他相信，未來 Flink 很可能會(huì)成為下一代機(jī)器學(xué)習(xí)算法重要的底層計(jì)算框架，于是在 Blink 系統(tǒng)研發(fā)的早期，就把團(tuán)隊(duì)里一百多位算法工程師的力量都用來配合蔣曉偉。
“一兩百人的團(tuán)隊(duì)，被我一個(gè)人折騰。”回憶到這里，蔣曉偉露出了羞赧的表情。
說得很美好，結(jié)果真拿來 Blink 一用，動(dòng)不動(dòng)就躺尸。。。說實(shí)話，算法工程師沒有義務(wù)為 Blink 的技術(shù)問題買單。畢竟算法工程師是“生產(chǎn)汽車的”，而 Blink 這個(gè)“發(fā)動(dòng)機(jī)”質(zhì)量不穩(wěn)定，導(dǎo)致人家的汽車備受詬病，可以說相當(dāng)冤枉了。
所以那幾個(gè)月一百多位算法工程師的日常就是各種吐槽“瘋子”蔣曉偉。
后來蔣曉偉才知道，這些吐槽，全都被仁基扛下來。仁基盡自己一切所能，在保護(hù)著這個(gè)弱小的 Blink。
終于，2016年5月，第一個(gè)基于 Blink 的機(jī)器學(xué)習(xí)小功能“A/B Testing”上線。雖然還存在一些青澀的小毛病，但所有的技術(shù)人都看到了，Blink 已經(jīng)像會(huì)呼吸的小獸一樣，泛出誘人的引擎光澤。
最激動(dòng)的，當(dāng)然是蔣曉偉本人。
他把自己在 Flink 上成功的應(yīng)用作為一個(gè)演講，投給了當(dāng)年的 Hadoop Sumit 大會(huì)。非常巧，F(xiàn)link 的創(chuàng)始人 Kostas 和 Stephan 也在同一個(gè)大會(huì)上有一個(gè)演講。他們兩撥人實(shí)際是那次 Hadoop 大會(huì)上唯二的 Flink 演講。
Kostas 提前看到了議程，頓感相見恨晚，于是主動(dòng)聯(lián)系了蔣曉偉，希望他能用團(tuán)隊(duì)研究的成果影響社區(qū)。
“本來之前是想自己玩玩的，我們連阿里都不敢影響，還敢影響社區(qū)？”蔣曉偉說。但是 Kostas 和 Stephan 覺得這群阿里人的嘗試簡直不要太酷，特別支持。
蔣曉偉深受感動(dòng)，“從那時(shí)候開始就覺得，我們不僅得把阿里內(nèi)部的業(yè)務(wù)做好，還要為 Flink 社區(qū)做貢獻(xiàn)，把 Flink 社區(qū)做好。”
就這樣，蔣曉偉和團(tuán)隊(duì)就跟組織“接上了頭”，成為了 Flink 社區(qū)的核心成員。
（4）
在搜索團(tuán)隊(duì)內(nèi)部證明了 Blink 能力，又得到了 Flink 社區(qū)的認(rèn)可，蔣曉偉終于有資格正視自己的“野心”了。
他提出要讓 Blink 支撐“雙11”上的實(shí)時(shí)機(jī)器學(xué)習(xí)任務(wù)，對(duì)方同意了。
也就是說，雙11當(dāng)天，數(shù)億人在淘寶天貓搜索商品，他們的每次查看，點(diǎn)擊，都會(huì)影響個(gè)性化的智能推薦，在下一秒就能看到為自己量身定做的寶貝推薦。而這背后的實(shí)時(shí)計(jì)算，都要由 Blink 來支撐。
然而抬眼一看，夏天已經(jīng)到了，距離雙11只有不到半年了。
整個(gè)九、十月份，Blink 和機(jī)器學(xué)習(xí)系統(tǒng)的聯(lián)調(diào)都處在各種花式崩潰之中。Blink 還小，壓根就沒見過雙十一這種“人類狂歡”的陣仗。出現(xiàn)了一個(gè)死結(jié)：一旦超大規(guī)模數(shù)據(jù)進(jìn)來，Blink 的性能立刻大幅下降。
要知道，在 AI 領(lǐng)域，性能就是功能。性能大幅下降的 Blink 分分鐘就把人工智能坑成“人工智障”。
老程序猿都知道，數(shù)據(jù)規(guī)模是對(duì)一個(gè)系統(tǒng)最大的考驗(yàn)。一個(gè)系統(tǒng)承受不住大規(guī)模的數(shù)據(jù)浪潮，有可能證明這個(gè)架構(gòu)就是無解的。如果真是架構(gòu)缺陷，那么解決方案只有一個(gè)：放棄。
帶領(lǐng)團(tuán)隊(duì)攻堅(jiān)的王峰回憶，那幾天“自己已經(jīng)崩潰了”。
十一假期，所有團(tuán)隊(duì)的人都從北京沖到了杭州，別說休假，連覺都不睡了。六七個(gè)人就在工位上吃住，尋找究竟是哪個(gè)節(jié)點(diǎn)出了問題。即使是面對(duì)這樣的情況，蔣曉偉、王峰，還有其他同事都完全相信，F(xiàn)link 架構(gòu)是完美的，問題一定是局部的可解的，只是我們還沒找到它。
終于，問題找到了！是不同層級(jí)算子之間的調(diào)度模式需要優(yōu)化。解決這個(gè)問題之后，系統(tǒng)能處理的數(shù)據(jù)量立刻躍升。十月中旬，Blink 正式切上線。本以為劫波渡盡，沒成想又是一大堆系統(tǒng)配合的問題接踵而來。
蔣曉偉記得，將近11月，Blink 還有一些問題沒搞定。這邊基礎(chǔ)引擎不搞定，算法團(tuán)隊(duì)就沒辦法在它的基礎(chǔ)上調(diào)優(yōu)雙11的算法。到最后，算法團(tuán)隊(duì)的老大都直接找到蔣曉偉，著急地質(zhì)問：“你們究竟是怎么回事啊？”
現(xiàn)在想想，他的意思可能是想讓我別折騰，直接換回去年的舊系統(tǒng)。但我的情商低，當(dāng)時(shí)沒聽明白。就是一門心思地組織大家調(diào)優(yōu) Blink。。。
蔣曉偉回憶。
終于趕在11月前，Blink 完成了聯(lián)調(diào)。原則上，從11月1日開始，雙11的系統(tǒng)就要封閉代碼，誰都不能動(dòng)了。但是，這是 Blink 第一次承擔(dān)這么重大的任務(wù)，為了萬無一失，相關(guān)團(tuán)隊(duì)又提了很多冗余性的建議。
王峰記得很清楚，一直到11月10日，還有幾個(gè)小時(shí)雙11就開始了，代碼還最后改了幾行，最終封閉。
人事已盡，唯聽天命。
11月11日，巨大的數(shù)據(jù)像海嘯一樣涌向 Blink，蔣曉偉和王峰都捏了一把汗。然而，這個(gè)年輕的引擎應(yīng)對(duì)自如。
第二天，Blink 在阿里巴巴一炮而紅。
2016年“雙11”
交易額定格在1207億
（5）
你以為故事結(jié)束了么？*。緊隨而來的 2017 年對(duì)于蔣曉偉來說，簡直不要更刺激。
意識(shí)到大數(shù)據(jù)引擎這么重要，阿里巴巴集團(tuán)決定調(diào)整組織架構(gòu)，集全公司之力發(fā)展大數(shù)據(jù)引擎，由原阿里云的首席科學(xué)家周靖人組建計(jì)算平臺(tái)事業(yè)部，在流式計(jì)算方面，把公司發(fā)展最好的三個(gè)引擎團(tuán)隊(duì)合三為一。
周靖人
他也是阿里巴巴達(dá)摩院的“禪師”之一
這三個(gè)引擎分別是：阿里中間件團(tuán)隊(duì)的 JStorm、阿里云的 Galaxy、阿里巴巴搜索團(tuán)隊(duì)的 Blink。
得知大牛周靖人負(fù)責(zé)整合三個(gè)團(tuán)隊(duì)，正在美國參加 Flink 官方大會(huì) Flink Foward 的蔣曉偉和王峰內(nèi)心有點(diǎn)波瀾。他們知道，三個(gè)隊(duì)伍合并之后，很可能在三條技術(shù)路線之中選擇一條。
蔣曉偉當(dāng)然覺得自己的開源技術(shù)路線技術(shù)前景最好。但平心而論，Galaxy 的框架同樣非常優(yōu)秀。更關(guān)鍵的問題在于，Galaxy 一直是周靖人團(tuán)隊(duì)的成果。雖然在阿里巴巴不會(huì)出現(xiàn)因?yàn)橛H疏遠(yuǎn)近而偏袒某個(gè)技術(shù)路線，但不可否認(rèn)周靖人一定對(duì)于 Galaxy 更為熟悉。
那時(shí)的蔣曉偉，和這個(gè)即將成為新領(lǐng)導(dǎo)的周靖人完全不熟悉，他完全無法預(yù)測將會(huì)發(fā)生什么。
我擔(dān)心，不會(huì)一回到國內(nèi)，就沒工作了吧。。。。
蔣曉偉回憶。
回國之后，周靖人來找蔣曉偉，蔣曉偉的心已經(jīng)快跳到嗓子眼了。周靖人說：“我想把整合之后的團(tuán)隊(duì)交給你來負(fù)責(zé)，你們?nèi)艘黄鹕塘课磥淼募夹g(shù)路線，你覺得怎么樣？”
這意味著，蔣曉偉突然擁有了80人的豪華陣容。那一瞬間他在心里默念：“穩(wěn)了！”只要不是強(qiáng)制采用某個(gè)技術(shù)路線，他就有信心說服 Galaxy 和 JStorm 的負(fù)責(zé)人。技術(shù)擺在這里，孰優(yōu)孰劣是能講得清道理的。
蔣曉偉回憶，三個(gè)技術(shù)負(fù)責(zé)人的“談判”整整維持了一周。
大家都知道，這次技術(shù)路線的抉擇，將會(huì)影響阿里巴巴未來十年甚至更遠(yuǎn)的技術(shù)發(fā)展，誰都不敢掉以輕心。
談到最后，爭奪的焦點(diǎn)就集中在 Blink 和 Galaxy 之間。
Flink 的開源生態(tài)，最終說服了Galaxy 的支持者。此時(shí)的 Flink 已經(jīng)不像兩年那樣鮮有人問津，而是已經(jīng)形成了巨大的社區(qū)，中國已經(jīng)有騰訊、滴滴、美團(tuán)等公司開始用 Flink 建造自己的流式計(jì)算引擎。
在這個(gè)社區(qū)里，會(huì)有無數(shù)國內(nèi)外大牛對(duì) Flink 的代碼做貢獻(xiàn)。建立在這個(gè)開源基座上的架構(gòu)，也會(huì)發(fā)展得更快速。
至此，Blink 正式成為了阿里巴巴計(jì)算引擎的王牌軍。
（6）
王牌軍可不是白當(dāng)?shù)摹?/p>
2017年雙十一，Blink 領(lǐng)到了自己的艱巨任務(wù)——支持全集團(tuán)（阿里巴巴、阿里云、菜鳥）的流式計(jì)算任務(wù)。
王峰告訴我，其實(shí)2016年雙11 Blink 承擔(dān)的搜索任務(wù)，已經(jīng)是一個(gè)重頭戲，有過這個(gè)經(jīng)歷墊底，再適配很多系統(tǒng)的時(shí)候只不過是麻煩一點(diǎn)而已。唯獨(dú)有一樣：Blink 要接管后臺(tái)所有的交易數(shù)據(jù)的實(shí)時(shí)計(jì)算任務(wù)。
交易數(shù)據(jù)計(jì)算，是淘寶天貓業(yè)務(wù)的最核心。也是支撐背后支付、物流的核心依據(jù)。
很多其他的計(jì)算都要基于訂單數(shù)據(jù)的結(jié)果。這就像面包店的面粉一樣，無論你做什么蛋糕，都需要面粉。如果面粉的供應(yīng)出問題，那整個(gè)面包店就要關(guān)門了。所以無論面臨多大的訂單量，交易數(shù)據(jù)計(jì)算必須穩(wěn)定、快速、實(shí)時(shí)。一旦出現(xiàn)錯(cuò)誤，損失無可估量。
每年雙十一狂歡晚會(huì)上的那塊大屏幕上顯示的實(shí)時(shí)成交數(shù)字，也是由訂單數(shù)據(jù)匯總而成的。也就是說，如果 Blink 當(dāng)天掛掉，不僅對(duì)淘寶天貓的運(yùn)轉(zhuǎn)影響巨大，還會(huì)導(dǎo)致一個(gè)略為明顯的結(jié)果：成交量大屏一直維持“0”，一秒把人丟到全球無死角。
2014、2015、2016 這三年，這個(gè)核心任務(wù)都是由兄弟引擎 Galaxy 來承擔(dān)的。
所有人都想到一個(gè)穩(wěn)妥的方案：2017年“雙11”讓 Blink 和準(zhǔn)備退役的 Galaxy 來個(gè)雙備份，如果 Blink 臨時(shí)廢掉，還可以用 Galaxy 作為備份頂上，至少不會(huì)丟人。
然鵝，2016年雙11的成交量是1207億元，按照歷年經(jīng)驗(yàn)推測，2017年的成交量八成是會(huì)超過1500億的（事實(shí)證明確實(shí)如此，達(dá)到了1682億）。而根據(jù) Galaxy 的技術(shù)架構(gòu)，如果不做大量繁瑣的優(yōu)化，很可能頂不住。
初出茅廬的 Blink，就這樣成為 2017 年雙11媒體大屏“全球指定唯一必須頂上不干不行合作伙伴”。。。
雙11 當(dāng)天，兩條 Blink 鏈路互為備份。“雖然成功率基本是100%，但萬里有一，假設(shè) Blink 本身設(shè)計(jì)存在未知的缺陷，或者兩條備份鏈路的機(jī)器硬件同時(shí)壞掉，都可能導(dǎo)致災(zāi)難。”蔣曉偉回憶。
在雙11到來前一周，王峰帶領(lǐng)兄弟們已經(jīng)把 Blink 引擎調(diào)整到無以復(fù)加的好狀態(tài)。蔣曉偉想了想，又派同樣是 Facebook 回來的大牛工程師大沙去天竺法喜寺燒了一炷香。。。
2017年11月11日零點(diǎn)?？駳g現(xiàn)場。
時(shí)鐘敲響零點(diǎn)，然后出現(xiàn)五秒倒計(jì)時(shí)。按照流程，留給 Blink 的計(jì)算時(shí)間只有這五秒。也就是說，00:00:05 的時(shí)候，無論如何大屏幕都會(huì)切到 Blink 給出的雙11前五秒交易總額。
這五秒，幾乎是蔣曉偉人生當(dāng)中最漫長的五秒。
1、2、3。。。
第三秒的時(shí)候，蔣曉偉面前的監(jiān)視器跳出了實(shí)時(shí)成交數(shù)據(jù)！再兩秒之后，實(shí)時(shí)交易數(shù)據(jù)被投上大屏，穹頂之下，歡聲雷動(dòng)。
蔣曉偉知道，現(xiàn)場觀眾并不一定理解大屏運(yùn)行原理，內(nèi)心也并沒有特地把一份掌聲送給幕后的流式計(jì)算引擎團(tuán)隊(duì)。
但那一刻，他熱淚盈眶。這幾年兄弟們付出的努力值了。
168,269,635,159。每一個(gè)數(shù)字，對(duì)蔣曉偉和兄弟們都意味著歲月和付出。
（7）
經(jīng)過兩年雙11的考驗(yàn)，已經(jīng)沒人懷疑 Blink 是阿里巴巴最強(qiáng)悍的計(jì)算引擎之一。
所以，不僅阿里巴巴集團(tuán)所有用到流式計(jì)算的場景都會(huì)選用 Blink，Blink 還開始對(duì)外提供服務(wù)。雖然在蔣曉偉看來，各個(gè)場景的計(jì)算都可以用 Blink 來解決，但目前被應(yīng)用最多的場景有如下幾個(gè)：
1、實(shí)時(shí)統(tǒng)計(jì)分析。
在電商行業(yè)，尤其是促銷的場景中，巨大的網(wǎng)絡(luò)流量涌來，形勢變幻莫測。每一秒的庫存統(tǒng)計(jì)、訂單報(bào)表，都能揭示出用戶的行為規(guī)律。對(duì)這些數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，就能隨時(shí)調(diào)整促銷策略。
2、在線機(jī)器學(xué)習(xí)。
用戶的行為會(huì)展現(xiàn)出他的性格和偏好，用機(jī)器學(xué)習(xí)分析一個(gè)人瀏覽商品的姿勢，就能為他精準(zhǔn)推薦可能感興趣的商品。
但是，可能一個(gè)用戶只瀏覽一分鐘，如果在這個(gè)時(shí)間段內(nèi)沒有能夠吸引他的商品，它就會(huì)退出。所以必須在一秒鐘之內(nèi)，對(duì)他剛才的動(dòng)作進(jìn)行實(shí)時(shí)學(xué)習(xí)，才能保證他第一時(shí)間看到感興趣的寶貝。
3、實(shí)時(shí)金融風(fēng)控。
在金融領(lǐng)域，技術(shù)就是金錢。每成功阻斷一次欺詐交易，就等于挽回了真金白銀。通過對(duì)一個(gè)賬戶實(shí)時(shí)行為的分析，就可以知道現(xiàn)在它有沒有進(jìn)行危險(xiǎn)交易，從而在第一時(shí)間阻斷。
4、IoT 邊緣計(jì)算。
在工廠中，每臺(tái)生產(chǎn)線都會(huì)隨時(shí)產(chǎn)生數(shù)據(jù)，如果可以實(shí)時(shí)對(duì)這些數(shù)據(jù)進(jìn)行分析，就可以減少生產(chǎn)線的損壞幾率，提高產(chǎn)品的良品率。
根據(jù)參數(shù)實(shí)時(shí)調(diào)整生產(chǎn)線
如此，才有了開頭一幕所說：阿里云承建的城市大腦，可以利用 Blink 來預(yù)測道路擁堵，為救護(hù)車開拓生命道路。
根據(jù)阿里云首席科學(xué)家閔萬里博士的介紹：
2018年，城市大腦第一次出國，被部署在馬來西亞吉隆坡，把救護(hù)車到達(dá)現(xiàn)場的時(shí)間縮短了 48.9%。
借助工業(yè)大腦，流式計(jì)算實(shí)時(shí)判斷生產(chǎn)線的健康狀況，幫助世界第一大光伏企業(yè)協(xié)鑫光伏提高了良品率1%，每年可以節(jié)省上億元的無謂浪費(fèi)。
2018年12月20日，阿里巴巴將 Flink 的旗艦會(huì)議 Flink Foward 第一次引入中國，現(xiàn)場座無虛席。蔣曉偉、王峰和流式計(jì)算團(tuán)隊(duì)的每一個(gè)人，在過去的三年都親眼見證了 Flink 從踽踽獨(dú)行到集結(jié)成軍。
為了感謝社區(qū)的幫助，在這次會(huì)議上周靖人宣布，在未來會(huì)把基于 Flink 修改的 Blink 流式計(jì)算引擎開源。從2019年1月開始，所有人都可以查閱這個(gè)支持了雙11、支持了城市大腦、支持了工業(yè)IoT等無數(shù)頂級(jí)計(jì)算的引擎代碼。
也就是在這一年，王峰正式接替蔣曉偉，成為流式計(jì)算的新掌門。而蔣曉偉則朝著他的“完美夢想”更進(jìn)一步，帶著一幫兄弟在此基礎(chǔ)上研究“帶有流式計(jì)算引擎的數(shù)據(jù)存儲(chǔ)系統(tǒng)”——交互式查詢系統(tǒng)，讓這個(gè)引擎能夠解決更多通用的計(jì)算問題。
帶有流式計(jì)算引擎的數(shù)據(jù)存儲(chǔ)系統(tǒng)，聽起來有些不知所云。其實(shí)，這個(gè)世界上最經(jīng)典的這類系統(tǒng)，其實(shí)就是我們的大腦。
我們一生中會(huì)接受各種信息，這些信息共同構(gòu)成大腦的資料庫，幫助我們預(yù)測未來。每當(dāng)有新的信息進(jìn)來，我們都會(huì)根據(jù)這一點(diǎn)點(diǎn)信息增量微調(diào)我們對(duì)于未來的預(yù)測。
這種調(diào)整，毫無疑問是實(shí)時(shí)的。我們的祖先不小心觸摸野火，從那一刻開始就會(huì)告訴自己和家人小心火焰。
我們依靠對(duì)世界的萬億次反饋，發(fā)現(xiàn)了萬有引力，發(fā)現(xiàn)了相對(duì)論，發(fā)現(xiàn)了量子力學(xué)。
正是千萬人實(shí)時(shí)更新的預(yù)測能力，構(gòu)成了我們的文明，也書寫了我們的歷史。
以前，所有關(guān)于未來的預(yù)測都在我們的腦海里，如今，我們終于有機(jī)會(huì)在軀體之外，利用人類的武器——計(jì)算力——建造起一個(gè)碩大的預(yù)測引擎。
角落里，這些技術(shù)英雄笑起來安靜而羞澀。但正因他們存在，人類面對(duì)未來，再也不是手無寸鐵。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
