GPT的發(fā)布讓AI再次熱了起來(lái)，與上次阿爾法狗不同的是，現(xiàn)在人人都可以跟聊上幾句，給它出出難題，還能調(diào)戲下。同期英偉達(dá)發(fā)布了針對(duì)AI領(lǐng)域的全新GPU H100，有的童鞋會(huì)疑惑，這個(gè)英偉達(dá)不是做顯卡打游戲的嗎，怎么就跟AI扯上關(guān)系了。其實(shí)英偉達(dá)的顯卡不是簡(jiǎn)單的與AI有關(guān)系，而是大有關(guān)系。GPU的起源確實(shí)是基于圖形處理的需求。早期還沒(méi)有專門(mén)GPU時(shí)，我們打游戲所有的邏輯處理都放在CPU執(zhí)行，CPU的處理能力越來(lái)越強(qiáng)，但經(jīng)不
住游戲畫(huà)面增長(zhǎng)的更快，這就對(duì)圖形處理提出了更高的要求。
而圖形處理的本質(zhì)其實(shí)就是光影的計(jì)算，以下圖為例，在屏幕上畫(huà)一個(gè)圓非常簡(jiǎn)單。
但如過(guò)要讓這個(gè)圓“立體”起來(lái)，其實(shí)就是要給它加上光影，像下圖這樣。
游戲畫(huà)面也是這樣的邏輯，一個(gè)畫(huà)面優(yōu)質(zhì)的游戲一定是有豐富的光影效果，而光影效果的本質(zhì)其實(shí)就是在虛擬的3維空間里，模擬光的照射。屏幕中的畫(huà)面其實(shí)就是特定角度下，由計(jì)算機(jī)計(jì)算出的，你應(yīng)該看到的光影效果。
需要特別注意的是，游戲中你會(huì)不停的移動(dòng)，也就是所有光影的效果都需要實(shí)時(shí)的計(jì)算出來(lái)。假設(shè)屏幕分辨率為1920*1080，即2073600(207.36萬(wàn))個(gè)像素，游戲中每個(gè)像素都需要根據(jù)光影參數(shù)來(lái)計(jì)算顯示的顏色和明暗。假設(shè)一個(gè)常見(jiàn)的Inter I5 CPU主頻為3.2GHz，即最多每秒可做32億次運(yùn)算。但這里的一次運(yùn)算只是做了一次簡(jiǎn)單的二進(jìn)制加減法或數(shù)據(jù)讀取，一個(gè)像素的光影計(jì)算我們可以假設(shè)需要100次運(yùn)算，即CPU一秒約處理3200萬(wàn)次像素運(yùn)算，大概15張圖片，用專業(yè)點(diǎn)的說(shuō)法，這個(gè)游戲流暢度大概是每秒15幀的樣子。
那我們能不能繼續(xù)提升CPU的主頻呢，可以但是能提升的空間非常有限。所謂主頻本質(zhì)上其實(shí)就是一個(gè)節(jié)拍器，CPU執(zhí)行命令時(shí)其實(shí)是要按照一個(gè)特定的節(jié)拍來(lái)同步其各模塊的操作?？梢韵胂驝PU其實(shí)就是個(gè)工廠流水線，1+1=2的本質(zhì)其實(shí)至少包含了3個(gè)步驟：1、將第一個(gè)1和第二個(gè)1從內(nèi)存提取到CPU本質(zhì)上來(lái)說(shuō)，所有的指令操作、圖形計(jì)算，最終到達(dá)CPU時(shí)都會(huì)被拆分成類似于1+1=2這樣的加法運(yùn)算。而每一個(gè)節(jié)拍又只能執(zhí)行其中的一步，如果我們可以將節(jié)拍打的更快一些，上述3個(gè)步驟執(zhí)行的也就越快，那我們就說(shuō)CPU的頻率越高。但再往下看，我們打節(jié)拍又受到了晶體管開(kāi)關(guān)速度的限制。簡(jiǎn)單來(lái)說(shuō)，節(jié)拍打的越快，晶體管的開(kāi)關(guān)速度也就更高，這就直接導(dǎo)致了CPU的發(fā)熱問(wèn)題。所以目前高性能CPU的頻率始終被限制在5GHz，可見(jiàn)從CPU頻率上已沒(méi)有太多空間可以提升。工程師們就想到“其實(shí)任何一個(gè)像素的計(jì)算與其他像素的計(jì)算結(jié)果關(guān)系不大”，那為啥不多整幾個(gè)計(jì)算核心“并行”計(jì)算呢，于是GPU就出現(xiàn)了。一個(gè)典型的顯卡GTX1060，主頻是1.5GHz大概是Inter I5一半左右，但是它具備1280個(gè)計(jì)算核心。每個(gè)計(jì)算核心每秒可做15億次運(yùn)算，1280個(gè)核心每秒就是19200億次運(yùn)算，那一秒可以處理192億次像素計(jì)算，大概925張圖片，是CPU計(jì)算能力的61倍!但GPU的特性只能應(yīng)用于圖形計(jì)算這種可以并行的任務(wù)，若是做普通的串行任務(wù)其速度遠(yuǎn)遠(yuǎn)不如CPU。
那我們能不能把CPU和GPU結(jié)合起來(lái)，讓他頻率高，核心數(shù)量還多呢?還是不得行，上千個(gè)核心提升一點(diǎn)點(diǎn)的主頻就會(huì)帶來(lái)一些列問(wèn)題，比如撒熱、抖動(dòng)、穩(wěn)定性等等。所以內(nèi)核數(shù)與頻率就是不可能三角，CPU與GPU都只能側(cè)重于其中一面，在不同的領(lǐng)域發(fā)揮作用。AI的本質(zhì)其實(shí)與游戲差不多，也是大量的計(jì)算，只是計(jì)算的數(shù)據(jù)量會(huì)更龐大。所謂訓(xùn)練AI，其實(shí)就是向神經(jīng)網(wǎng)絡(luò)中投喂大量的數(shù)據(jù)。比如我想要生成美女圖片，以前的做法是建設(shè)一個(gè)有足夠素材的庫(kù)，讓美女的各個(gè)元素(手、腳、嘴巴、眼睛、身材等等)隨機(jī)組合在一起，結(jié)果可能差強(qiáng)人意?，F(xiàn)在則只需要向神經(jīng)網(wǎng)絡(luò)里導(dǎo)入大量的美女圖片，當(dāng)你導(dǎo)入的圖片數(shù)量足夠多時(shí)，神經(jīng)網(wǎng)絡(luò)也就“學(xué)會(huì)”了什么是美女，這樣它就能自動(dòng)產(chǎn)出美女。相對(duì)應(yīng)的，如果你一直輸入的是猛男，那它也只能生產(chǎn)猛男了。我們知道其實(shí)圖片就是像素構(gòu)成的，比如下面這張圖的像素是8x8(簡(jiǎn)化示意)，也就是64個(gè)像素點(diǎn)，我們可以用1x64這樣的數(shù)組來(lái)表示它。
以下圖這樣的3層神經(jīng)網(wǎng)絡(luò)為例(原本是7個(gè)輸入，我們修改為64個(gè)輸入)，所謂的數(shù)據(jù)“投喂”其實(shí)就是將圖片以64個(gè)數(shù)字表示，然后輸入到網(wǎng)絡(luò)中。具體怎么輸入呢，其實(shí)就是以A0(圖片原始數(shù)據(jù))為基礎(chǔ)，來(lái)計(jì)算A1，接著以A1為基礎(chǔ)計(jì)算A2、A3及最終結(jié)果A4。計(jì)算過(guò)程遵循以下公式：其中W1\W2\W3\W4、A1\A2\A3\A4的數(shù)據(jù)量大小由每一層神經(jīng)元的個(gè)數(shù)決定，比如我們每一層設(shè)置為64個(gè)神經(jīng)元，則W1是一個(gè)64x64的數(shù)字矩陣，A1則是1x64的數(shù)字矩陣(與輸入一樣)。下圖是一個(gè)矩陣相乘的示意。
所以對(duì)神經(jīng)網(wǎng)絡(luò)的投喂問(wèn)題就變成了A0與W1兩個(gè)數(shù)據(jù)矩陣的乘法問(wèn)題，那么每一層神經(jīng)網(wǎng)絡(luò)的計(jì)算就需要至少4096次乘法計(jì)算，3層網(wǎng)絡(luò)就需要至少12288次乘法計(jì)算。這還只是64x64像素的圖片，如果是1280x1280的像素，就需要數(shù)百萬(wàn)次計(jì)算。我們很容易就能想到也可以用GPU(顯卡)來(lái)執(zhí)行這些計(jì)算，因?yàn)槊恳粡垐D片的輸入都可以獨(dú)立運(yùn)行，那么我們給顯卡的每一個(gè)核都輸入一張圖片，那同時(shí)就可以有上千張圖片一起在計(jì)算，這樣的計(jì)算效率自然是杠杠的。綜上所述，AI的發(fā)展離不開(kāi)大量的算力資源，以GPT4來(lái)說(shuō)，每1000字的算力大約需要0.06美元(約0.4元)。在小規(guī)模使用時(shí)可能還看不出成本的高低，當(dāng)AI成為基礎(chǔ)設(shè)施，比如搜索引擎，每天上億次的搜索頻率，成本可能也會(huì)去到上億的數(shù)量級(jí)，這還只是其中一個(gè)應(yīng)用。所以未來(lái)AI的發(fā)展離不開(kāi)算力，英偉達(dá)則是在顯卡的基礎(chǔ)上，專門(mén)針對(duì)AI開(kāi)發(fā)了特殊的GPU以滿足算力需求，但可見(jiàn)的未來(lái)還是遠(yuǎn)遠(yuǎn)不夠的。參考前幾年的數(shù)字挖礦，顯卡的價(jià)格將迎來(lái)一波上漲。除計(jì)算性能外，另外還有更大的成本就是電力。所以可以預(yù)見(jiàn)的是，國(guó)內(nèi)會(huì)出現(xiàn)一批專門(mén)做AI芯片設(shè)計(jì)的公司(參考比特大陸)，還會(huì)有一批將數(shù)據(jù)中心建設(shè)到大西北以獲取更廉價(jià)電力的小團(tuán)隊(duì)(普通人的機(jī)會(huì))，這些還都是國(guó)家大力支持的。所以發(fā)財(cái)?shù)穆纷右呀?jīng)有了，諸位加油。作者：布蘭姥爺
來(lái)源：面包板社區(qū)
https://mbb.eet-china.com/blog/3887969-441194.html
本文已獲授權(quán)
