AI 時代的摩爾定律?黃氏定律靠的是自身技術力將 AI 性能年年加倍
作者 雷鋒網 | 發布日期 2020 年 12 月 16 日 8:45
1965 年,時任快捷半導體公司工程師,也是後來英特爾(Intel)的創始人之一的戈登·摩爾(Gordon Moore)提出了摩爾定律(Moore’s law),預測積體電路上可以容納的晶體管數目大約每經過 24 個月便會增加 1 倍。
後來廣為人知的每 18 個月晶片性能將提高 1 倍的說法是由 Intel CEO 大衛·豪斯(David House)提出。過去的半個多世紀,半導體行業按照摩爾定律發展,並驅動了一系列的科技創新。
有意思的是,在摩爾定律放緩的當下,以全球另一大晶片公司 NVIDIA 創始黃仁勳(Jensen Huang)名字命名的定律——「黃氏定律(Huang’s Law)」對 AI 性能的提升作出預測,預測 GPU 將推動 AI 性能實現逐年翻倍。
Intel 提出了摩爾定律,也是過去幾十年最成功的晶片公司之一。NVIDIA 作為當下最炙手可熱的 AI 晶片公司之一,提出黃氏定律是否也意味著其將引領未來幾十年晶片行業的發展?
AI 性能將逐年翻倍
受疫情影響,一年一度展示 NVIDIA 最新技術、產品和中國合作夥伴成果的 GTC China 改為線上舉行,黃仁勳缺席今年的主題演講,由 NVIDIA 首席科學家兼研究院副總裁 Bill Dally 進行分享。Bill Dally 是全球著名的電腦科學家,擁有 120 多項專利,在 2009 年加入 NVIDIA 之前,曾任史丹佛大學電腦科學系主任。加入 NVIDIA 之後,Dally 曾負責 NVIDIA 在 AI、光線追蹤和高速互連領域的相關研究。
在 GTC China 2020 演講中,Dally 稱:「如果我們真想提高電腦性能,黃氏定律就是一項重要指標,且在可預見的未來都將一直適用。」
Dally 用三個項目說明黃氏定律將如何得以實現。首先是為了實現超高能效加速器的 MAGNet 工具。NVIDIA 稱,MAGNet 生成的 AI 推理加速器在模擬測試中,能夠達到每瓦 100 tera ops 的推理能力,比目前的商用晶片高出一個數量級。
之所以能夠實現數量級的性能提升,主要是因為 MAGNet 採用了一系列新技術來協調並控制通過設備的訊息流,最大限度地減少數據傳輸。數據搬運是 AI 晶片最耗能的環節已經是當今業界的共識,這一研究模型以模組化實現能夠實現靈活擴展。
Dally 帶領的 200 人的研究團隊的另一個研究項目目標是以更快速的光鏈路取代現有系統內的電氣鏈路。Dally 說:「我們可以將連接 GPU 的 NVLink 速度提高一倍,也許還會再翻番,但電信號最終會消耗殆盡。」
這個項目是 NVIDIA 與哥倫比亞大學的研究團隊合作,探討如何利用電信供應商在其核心網絡中所採用的技術,通過一條光纖來傳輸數十路信號。據悉,這種名為「密集波分複用」的技術,有望在僅一毫米大小的晶片上實現 Tb/s 級數據的傳輸,是如今連網密度的 10 倍以上。
Dally 在演講中舉例展示了一個未來將搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。這意味著,利用「密集波分複用」技術,不僅可以實現更大的吞吐量,光鏈路也有助於打造更為密集的系統。
想要發揮光鏈路的全部潛能,還需要相應的軟件,這也是 Dally 分享的第三個項目——全新程式語言系統原型 Legate。Legate 將一種新的編程速記融入了加速軟件庫和高級運行時環境 Legion,借助 Legate,開發者可在任何規模的系統上運行針對單一 GPU 編寫的程序——甚至適用於諸如 Selene 等搭載數千個 GPU 的巨型超級電腦。
Dally 稱 Legate 正在美國國家實驗室接受測試。
MAGNet、以光鏈路取代現有系統內的電氣鏈路以及 Legate 是成功實現黃氏定律的關鍵,但 GPU 的成功才是基礎。因此,GPU 當下的成功以及未來的演進都尤其重要。
GPU 是黃氏定律的基礎
今年 5 月,NVIDIA 發布了面積高達 826 平方毫米,整合了 540 億個晶體管的 7 奈米全新安培(Ampere)架構 GPU A100。相比 Volta 架構的 GPU 能夠實現 20 倍的性能提升,並可以同時滿足 AI 訓練和推理的需求。
憑藉更高精度的第三代 Tensor Core 核心,A100 GPU AI 性能相比上一代有明顯提升,此前報導,在 7 月的第三個版本 MLPerf Training v0.7 基準測試(Benchmark)結果中,NVIDIA 的 DGX SuperPOD 系統在性能上開創了 8 個全新里程碑,共打破 16 項紀錄。
另外,在 10 月出爐的 MLPerf Inference v0.7 結果中,A100 Tensor Core GPU 在雲端推理的基準測試性能是最先進 Intel CPU 的 237 倍。
更強大的 A100 GPU 迅速被多個大客戶採用,迄今為止,阿里雲、百度智能雲、滴滴雲、騰訊雲等眾多中國雲服務提供商推出搭載了 NVIDIA A100 的多款雲服務及 GPU 實例,包括圖像辨識、語音辨識,以及計算流體動力學、計算金融學、分子動力學等快速增長的高性能計算場景。
另外,新華三、浪潮、聯想、寧暢等系統製造商等也選擇了最新發布的 A100 PCIe 版本以及 NVIDIA A100 80GB GPU,為超大數據中心提供兼具超強性能與靈活的 AI 加速系統。
Dally 在演講中提到:「經過幾代人的努力,NVIDIA 的產品將通過基於物理渲染的路徑追蹤技術,即時生成令人驚豔的圖像,並能夠借助 AI 構建整個場景。」
與光鏈路取代現有系統內的電氣鏈路需要軟硬體的匹配一樣,NVIDIA GPU 軟硬體的結合才能應對更多 AI 應用場景苛刻的挑戰。
Dally 在此次的 GTC China上首次公開展示了 NVIDIA 對話式 AI 框架 Jarvis 與 GauGAN 的組合。GauGAN 利用生成式對抗網路,只需簡略構圖,就能創建美麗的風景圖。演示中,用戶可通過語音指令,即時生成像照片一樣栩栩如生的畫作。
GPU 是黃氏定律的基礎,而能否實現並延續黃氏定律,僅靠少數的大公司顯然不夠,還需要眾多的合作夥伴激發對 AI 算力的需求和更多創新。
黃氏定律能帶來什麼?
NVIDIA 已經在構建 AI 生態,並在 GTC China 上展示了 NVIDIA 初創加速計劃從 100 多家 AI 初創公司中脫穎而出的 12 家公司,這些公司涵蓋會話人工智慧、智慧醫療 / 零售、消費者網路 / 行業應用、深度學習應用 / 加速數據科學、自主機器 / IoT / 工業製造、自動駕駛汽車。
智慧語音正在改變我們的生活。會話人工智慧的深思維提供的是離線智慧語音解決方案,在佔有很少空間的前提下實現智慧交互,語音合成和語音辨識保證毫秒級響應。深聲科技基於 NVIDIA 的產品研發高質量中英文語音合成、聲音定制、聲音複製等語音 AI 技術。
對於行業應用而言,星雲 Clustar 利用 NVIDIA GPU 和 DGX 工作站,能夠大幅提升模型預測精確度以及解決方案處理性能,讓傳統行業的 AI 升級成本更低、效率更高。
摩爾定律的成功帶來了新的時代,黃氏定律能否成功仍需時間給我們答案。但這一定律的提出對 AI 性能的提升給出了明確的預測,並且 NVIDIA 正在通過硬體、軟體的提升和創新,努力實現黃氏定律,同時藉生態的打造想要更深遠的影響 AI 發展。
黃氏定律值得我們期待。
附圖:▲ NVIDIA GPU 助推 AI 推理性能每年提升 1 倍以上。(Source:影片截圖)
▲NVIDIA 首席科學家兼研究院副總裁 Bill Dally。
▲ 搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。
資料來源:https://technews.tw/2020/12/16/huang-law-predicts-that-ai-performance-will-double-every-year/?fbclid=IwAR1vXHWAGt_b8nDRW6VUqzpAINX_n_DzJ0KwJvdBnl18s8Q1A3Thk7hgBoI
「performance汽車意思」的推薦目錄:
- 關於performance汽車意思 在 台灣物聯網實驗室 IOT Labs Facebook 的最讚貼文
- 關於performance汽車意思 在 蕃茄家的媽媽是爸爸 Facebook 的最讚貼文
- 關於performance汽車意思 在 Auto Performance 汽車美容鍍膜及貼膜部 的評價
- 關於performance汽車意思 在 performance用法-在PTT/MOBILE01上汽車保養配件評價分析 的評價
- 關於performance汽車意思 在 performance用法-在PTT/MOBILE01上汽車保養配件評價分析 的評價
- 關於performance汽車意思 在 GTI大P版什麼不一樣!7.5代2018 Golf GTI Performance 熱血 ... 的評價
- 關於performance汽車意思 在 VOLVO 車車斗動PERFORMANCE REDUCE 的評價
- 關於performance汽車意思 在 汽車板 的評價
performance汽車意思 在 蕃茄家的媽媽是爸爸 Facebook 的最讚貼文
【我們可以同時要求孩子安靜聽話,又期待孩子勇於表達嗎?】
蕃茄說他在學校每天都會找老師說話,我們覺得實在是太有趣了,就多問了他一些細節。
「其他人也會去跟老師說話嗎?還是只有你會?」
「老師會跟每個人說話。」
「所以是說老師會找機會過去,跟同學一個一個說話的意思嗎?」
「有些同學會問問題啊。」
「那你也會問嗎?」
「如果老師問問題的話我會回答。」
所以似乎跟我們想像的不同,不是蕃茄自己會刻意找老師聊天,是老師跟孩子之間原本就很常對話,真好奇是什麼樣的狀況。我跟傑克還在思考,蕃茄話鋒一轉,改問我們問題:
「你們以前也會跟老師講話嗎?」
我跟傑克互看一眼,我簡單說了一句:「嗯,我們以前上課的時候不能說話。」然後就趕快低頭夾菜。
「為什麼啊?」
兩個大人一時不知該說什麼。我的心裡一陣翻騰。我怎麼會知道為什麼,我可是從幼稚園開始聯絡簿上就被寫「上課愛講話」,被盯到後來學會閉嘴改用傳紙條到大學畢業,我從來就不認同上課不可以說話啊!!
最後,我說:「因為,在台灣的學校,覺得小孩聽大人說話比較重要。」
話題後來草草結束,蕃茄吃完就被傑克帶過去洗澡睡覺了,留我一個人在沙發上沈思。
***
很多年以前,當我還在美國的時候,參與了一回performance art. 這是什麼樣的一種藝術作品呢?最粗略的定義算是「在一個特定的時間和地點,由人的行為所表現出來的作品」,算是在台灣長大的我相當陌生的一種藝術形態。
當時參與的作品跟「編織」有關。在作品發表日的前三個禮拜,創作者本人就徵求志願者到他的工作室幫忙編織像繩索也像長髮一樣的長條物品。去了幾次之後,某一天的休息時間,創作者(是一個有點年紀,一頭金棕色短髮,圓圓胖胖的阿姨)拿著一張白紙走進來,告訴我們作品本身需要有五位女性在當中參與,我實在是太好奇最後完成的作品究竟會是什麼樣子,於是我就主動報名了。
開幕當天,到現場看見我們努力累積三個禮拜的長髮鐵絲卷一束一束從天花板上垂下來。地面中央擺著一個插著滿滿鐵絲的籃子,周圍有五張被鐵絲層層纏繞的高腳凳,每個凳子前面擺了一個桶子般的編織工具。
展覽時間一到,音響開始播放當初大家在工作時的喃喃自語。我們五個女孩陸續從後場走出來,各自選擇一張凳子坐下來,抽出籃子裡的鐵絲開始編織。先編織好一段的人就站起來,把新織好的長髮鐵絲卷跟中央的那些別再一起,然後先行離開,直到最後一個人也完成為止。
就這樣莫名其妙結束了,是個我自己也不知道在做什麼的作品。我們五人跟著藝術家阿姨一起出來謝幕,滿場掌聲。藝術家接過麥克風,簡單說明了一下今天作品的想法,然後開口問大家有沒有什麼問題。
三隻手舉起來了,都是小孩子。
「掛在天花板上垂下來的是什麼東西?」一個四五歲的捲髮小女孩問。
「為什麼在台上的都是女生?」這次是一個十歲左右,穿著牛仔褲的男孩。
「剛剛在播的那些奇怪的聲音是什麼?」最後是一個六七歲,手裡拿著一台小汽車的男孩。
接下來的事情我完全不記得了,因為我滿腦袋都在想:「為什麼?為什麼他們舉手了?為什麼他們覺得這個場合他們可以發言?為什麼他們不會覺得自己不懂?」
***
多年後,到我自己生了小孩,開始對孩子的發展有近距離的觀察我才發覺,當年我周遭的大人,只希望小孩在「有用的時候」說話。
「主動叫人」很重要,所以一定要會說。
「對不起」很重要,也一定要會說。
「唐詩」也很重要,見客人的的時候要背,也一定要學會。
「考試成績」更重要,回家要主動報告。
另一方面,
「為什麼」很多餘,去學校找老師。
「你們在講什麼?」是插嘴,安靜去旁邊。
「今天在學校啊,我⋯⋯」,這種事情不重要,去寫作業。
大人說我沒禮貌,我問什麼是沒禮貌,被當作頂嘴。我被糾正,表達我的不滿,還是被當作頂嘴。
家裡的環境如此,在學校也只能聽課不能說。僅有的發言機會,也是老師問,學生答,通常也都有標準答案。等上了國中高中,突然開始有上台報告的要求,但是也開始有分數的壓力,滿腦袋都是自己的表現好不好,更沒有自在表達的空間。偏偏到這個時候,家長突然開始感嘆,人家歐美的小孩都好會說話,台灣的孩子就是口拙。
到底是為什麼,我們花了三年的時間,費盡心力讓孩子學會說話,但是卻用接下來的十多年,期待孩子用「安靜」的方式學會表達意見?
我是從日本的學生的身上,看見多年下來接受「該說話的時候才說話」教育法的可怕影響。
在當時的語言學校,很多來上課的上班族人士,尤其是主管或者社長階級,因為政府積極鼓勵培育雙語人才,卯足全力要加強自己的口說能力,所以選擇「專題討論」的課本。「歐美人士非常注重意見交流,所以想練習表達自己的想法」,是他們普遍要求上討論課的原因,但是所有教過討論課的老師,都很想跟他們直說:「其實你們的問題不在英文程度。」
舉個例子來說好了,課本上有一個討論主題是「全民學英語的必要性」,而在課堂上的對話通常都會變成這樣:
「你覺得每個人都需要學英文嗎?」
「當然!」
「為什麼?」
「因為英文很重要。」
「為什麼很重要?」
「這樣才可以跟國際接軌。」
「每個人都需要跟國際接軌嗎?」
「當然。」
「如果是蕎麥麵店的店長呢?」
「可以跟外國客人溝通啊。」
學生對這樣的互動非常滿意,覺得「我表達了好多想法」,但是老師們其實覺得不知道該怎麼辦才好。因為真正足夠形成討論的表達應該是,「在受到邀請表達意見的時候,無論你的想法是什麼,先清楚地表達出來,之後再引用自己個人的經驗或者是聽過的看法,來支持你的看法。」
用這樣的定義來看,對話至少會呈現像這樣的模式:
「你覺得每個人都需要學英文嗎?」
「恩,我是贊成的。因為現在的公司幾乎都無法只靠日本國內的客戶支撐,必須要向國外發展才行,這樣的話英語能力就會非常重要。例如像我這個產業⋯⋯」
當這一段想法完整表達結束的時候,另一方才有足夠的資訊,根據你所說的內容,提出「我同意你這個產業相當需要,不過所有的產業都有這樣的需求嗎?」或者是「我也覺得這樣最理想,不過要怎麼處理每個人對學習語言的興趣差異的問題?」等等的疑問,讓話題可以繼續深入下去。
那為什麼學生不這麼回答呢?他們的腦袋都是空的,沒有東西嗎?並不是這樣。如果我把問句拆開,一點一點的追問下去,他們是可以被推著思考,慢慢吐出他們的想法的。那他們為什麼不說呢?
「因為你沒有問啊。」學生一臉無辜地說。
是的,在這樣的環境下長大的人,已經養成習慣「有問,才答」,而且會自動把回應縮減成最短模式,像是回答簡答題一樣。這件事情本身並不是一種錯誤,有些時候確實需要這種有效率的對話方式,但是當成長的經驗大量偏向這種對話,極少有讓孩子嘗試完整表達自己想法的空間的時候,口語表達能力並不會隨著年齡增強,只能一直停留在簡答的階段。
表達是一種「運動」,需要非常大量的練習。練習怎麼把咬字說清楚,怎麼挑選精確的詞彙,怎麼把前因後果說得流暢易懂,怎麼把自己腦袋裡破碎的概念組織成有邏輯的想法。
因為文化和教育環境的關係,日本的孩子缺乏這樣的練習機會,所以他們對「討論」這件事情本身缺乏經驗,也不敢「浪費」太多時間好好說明自己的想法。這樣的情況下,長大成人之後,就算這個人的英文程度再好,也沒有辦法參與深入的討論。
回到剛剛說的美國的狀況。之前曾經看到有留學經驗的人分享,說去美國之前聽說他們上課都非常踴躍發言,也很踴躍發問,但是去了之後才知道他們根本都問一些白癡三歲小孩的問題,老師剛剛才講過的觀念也問,明明是自己沒聽課,跟上課沒關係的事也問,不是今天這堂課教的東西也問,台灣的學生都快被他們這種蠢問題逼瘋了。
我個人確實也經歷過課堂上問蠢問題的狀況,但是多年之後,我卻有了不同的思考。
如果為了避免上課/在家問出蠢問題或說蠢話,浪費大家/我的時間,所以要求他們先自我審核想問的問題會不會太蠢,缺點是學生/孩子只要有一點不確定就不敢問問題或是不敢表達,內心的疑惑就這樣擺著不敢說出口。
另一種狀況是,為了避免學生/孩子心裡重要的問題沒有得到解答,所以鼓勵他們什麼樣的問題都可以問,什麼事都可以來討論,缺點是總會有某些沒腦的問題或想法出現。
身為家長或老師的你,會選擇哪一種呢?
performance汽車意思 在 performance用法-在PTT/MOBILE01上汽車保養配件評價分析 的推薦與評價
... performance意思 #perform中文 #performance複數 #performances中文 #performance evaluation中文 · 隱私權說明│; 客服中心│; 廣告與合作. 友站連結:; QA問答網 · 酒Bar ... ... <看更多>
performance汽車意思 在 performance用法-在PTT/MOBILE01上汽車保養配件評價分析 的推薦與評價
... performance意思 #perform中文 #performance複數 #performances中文 #performance evaluation中文 · 隱私權說明│; 客服中心│; 廣告與合作. 友站連結:; QA問答網 · 酒Bar ... ... <看更多>
performance汽車意思 在 Auto Performance 汽車美容鍍膜及貼膜部 的推薦與評價
Auto Performance 汽車美容鍍膜及貼膜部, 葵涌. 501 likes. Auto Performance 汽車美容鍍膜及貼膜部為HIKARI PRO自動修復鍍膜之香港代理商. ... <看更多>