關(guān)于GPT，你需要知道的10件事-當(dāng)前視點(diǎn)
關(guān)注我入群，和5w產(chǎn)品人，一起變優(yōu)秀比爾蓋茨：ChatGPT是1980年以來最具革命性的科技進(jìn)步。身處這個(gè)AI變革
2023-05-07關(guān)于GPT，你需要知道的10件事-當(dāng)前視點(diǎn)
關(guān)注我入群，和5w產(chǎn)品人，一起變優(yōu)秀
比爾蓋茨：ChatGPT是1980年以來最具革命性的科技進(jìn)步。
身處這個(gè)AI變革的時(shí)代，唯有躬身入局，腳步跟上。
(相關(guān)資料圖)
這是一篇我的學(xué)習(xí)筆記，希望對(duì)你了解ChatGPT有幫助。
1、
ChatGPT里的GPT，分別代表什么？
GPT，Generative Pre-trained Transformer，生成式預(yù)訓(xùn)練變換模型。
什么意思？
Generative，生成式，是指它能自發(fā)地生成內(nèi)容。
Pre-trained，預(yù)訓(xùn)練，是不需要你拿到它再訓(xùn)練，它直接給你做好了一個(gè)通用的語言模型。
Transformer，變換模型，谷歌提出來的一個(gè)很厲害的模型，它可以幫助更好的去處理NLP相關(guān)的問題，是非常棒的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
2、
Transformer雖是由谷歌提出的。但是應(yīng)用最成功的是OpenAI的ChatGPT。
因?yàn)镃hatGPT是站在巨人的肩上走出來的。
ChatGPT是全人類社會(huì)的結(jié)晶，沒有前人的鋪墊，ChatGPT不會(huì)這么順利走出來。
后面也會(huì)有更多的非常厲害的應(yīng)用，會(huì)基于ChatGPT走出來。
3、
Transformer中有一個(gè)很重要的概念，注意力機(jī)制。
什么是注意力機(jī)制呢？
就是從你輸入的信息中，挑出重要的信息，把注意力集中在這些重要的信息上，忽略不重要的信息。這樣就能更好地理解你說的話。
注意力機(jī)制能幫助Transformer模型集中注意力在輸入信息中最重要的部分。
4、
機(jī)器學(xué)習(xí)方式，分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)。
監(jiān)督學(xué)習(xí)：有標(biāo)簽數(shù)據(jù)，可以直接反饋，可以預(yù)測(cè)結(jié)果和未來
無監(jiān)督學(xué)習(xí)：沒有標(biāo)簽和目標(biāo)，沒有反饋，而是它自己去尋找數(shù)據(jù)中的隱藏結(jié)果
強(qiáng)化學(xué)習(xí)：是一個(gè)決策過程，有一系列的獎(jiǎng)勵(lì)機(jī)制和懲罰機(jī)制，讓機(jī)器學(xué)習(xí)如何做到更好
ChatGPT用到的是無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。
5、
ChatGPT能進(jìn)行大量的內(nèi)容生成和創(chuàng)造，其實(shí)是靠的是猜概率。
比如，天氣灰蒙蒙的，我的心情很___
經(jīng)過大量數(shù)據(jù)訓(xùn)練過的AI，會(huì)預(yù)測(cè)這個(gè)空格出現(xiàn)的最高概率的詞是「沮喪」。
那么「沮喪」就會(huì)被填到這個(gè)空格中，所以產(chǎn)生了答案：
天氣灰蒙蒙的，我的心情很沮喪這感覺很不可思議，但事實(shí)就是這樣。
現(xiàn)階段所有的NLP(自然語言處理)任務(wù)，都不是機(jī)器真正理解人類的世界。
他只是在玩文字游戲，進(jìn)行一次又一次的概率解謎。
6、
在這個(gè)”猜概率“的文字游戲中，大預(yù)言模型（LLM，Large Language Model）演進(jìn)出了最主流的兩個(gè)方向：BERT和GPT。
BERT是之前最流行的方向，幾乎統(tǒng)治了所有NLP領(lǐng)域。
并在自然語言理解類任務(wù)中發(fā)揮出色(例如文本分類，情感傾向判斷等）。
而GPT方向則較為薄弱，最知名的玩家就是OpenAl了。
事實(shí)上在GPT3.0發(fā)布前，GPT方向一直是弱于BERT的（GPT3.0是ChatGPT背后模型GPT3.5的前身）。
7、
BERT和GPT區(qū)別是？
BERT，是雙向語言模型，聯(lián)系前后猜中間的字，所以是雙向，就像完型填空。
比如：我___20號(hào)回家
BERT猜的是「我打算20號(hào)回家」，猜的是中間的「打算」。
GPT，是單向語言模型，猜下一個(gè)字，所以是單向，像寫作文。
比如：我打算20號(hào)___
GPT猜的是「我打算20號(hào)回家」，猜的是后面「回家」兩個(gè)字。
8、
怎么給GPT提問？
有兩種方式：fine-tune和prompt。
fine-tune，調(diào)參：需要對(duì)模型參數(shù)進(jìn)行更新，來完成生成內(nèi)容。
fine-tune 專業(yè)，門檻高，受眾小。但是多樣性、準(zhǔn)確度高，適合復(fù)雜任務(wù)。少數(shù)玩家的游戲。
prompt，提示詞：不需要修改模型和參數(shù)，只需要給一些提示和樣例，就能完成任務(wù)。
prompt更簡(jiǎn)單，門檻低，受眾大。適合處理簡(jiǎn)單的任務(wù)。所有玩家都。
我們?cè)贑hatGPT輸入框中輸入的內(nèi)容，就是prompt。
9、
ChatGPT是生成式AI。
AI從內(nèi)容產(chǎn)出方式上，分為兩種：分析式AI和生成式AI。
分析式AI，主要用于分析，歸類。你喂給它多少數(shù)據(jù)，它就能分析出什么樣的內(nèi)容，它局限于數(shù)據(jù)本身。
生成式AI，在學(xué)習(xí)歸納數(shù)據(jù)分布的基礎(chǔ)上，創(chuàng)造數(shù)據(jù)中不存在的新內(nèi)容?？梢陨晌谋?、圖片、代碼、語音合成、視頻和3D模型。
ChatGPT是生成式AI，最擅長(zhǎng)文本和寫代碼。
10、
最后，從知識(shí)獲取的角度說，ChatGPT是全新一代的 “知識(shí)表示和調(diào)用方式”。
早期，知識(shí)以結(jié)構(gòu)化的方式存儲(chǔ)在數(shù)據(jù)庫(kù)中。我們通過 SQL獲取。
后來，隨著互聯(lián)網(wǎng)的誕生，更多文本、圖片、視頻等非結(jié)構(gòu)化知識(shí)存儲(chǔ)在互聯(lián)網(wǎng)中。我們通過搜索引擎獲取。
現(xiàn)在，知識(shí)以參數(shù)的形式存儲(chǔ)在大模型中。我們用自然語言直接調(diào)用這些知識(shí)。
（以上內(nèi)容，來源于公開資料學(xué)習(xí)做的筆記）
標(biāo)簽：
