01-大語言模型發展

来源:https://www.cnblogs.com/JavaEdge/p/18149323
-Advertisement-
Play Games

AI大模型的相關的一些基礎知識,一些背景和基礎知識。 多模型強應用AI 2.0時代應用開發者的機會。 0 大綱 AI產業的拆解和常見名詞 應用級開發者,在目前這樣一個大背景下的一個職業上面的一些機會 實戰部分的,做這個agent,即所謂智能體的這麼一個虛擬項目,項目需求分析、技術選型等 1 大語言模 ...


AI大模型的相關的一些基礎知識,一些背景和基礎知識。

多模型強應用AI 2.0時代應用開發者的機會。

0 大綱

  1. AI產業的拆解和常見名詞
  2. 應用級開發者,在目前這樣一個大背景下的一個職業上面的一些機會
  3. 實戰部分的,做這個agent,即所謂智能體的這麼一個虛擬項目,項目需求分析、技術選型等

1 大語言模型發展

LLM,Large Language Model,大語言模型。為什麼叫2.0?因為在大語言模型,也就是LLM出現之前,我們把它歸結為1.0時代。那麼1.0時代主要的是NLP(自然語言處理)的各類工程,它其實都是一個特點,就是說通用性比較差。那麼整個AI領域的終極的聖杯,或者說將來它的一個終極的一個希望做到的,是AGI(Artificial General Intelligence,人工通用智能)。1.0可能是一個單任務的這麼一個AI。比如深藍戰勝象棋冠軍,他只會下象棋,而且他的下象棋是學習了很多的這個象棋的這個國際象棋的這個套路,他只會幹這一個事情,而且你問他別的事情他肯定不知道。

2 LLM的特點

大語言模型的特點是啥?大語言模型,它就是說可以像語言一樣跟我們交互,那麼通過語言,它其實可以擴展到很多的場景。那麼未來呢,可能會從依據大語言這種方式,我們可能會發展出來真的發展出來AGI,所謂的通用智能,也就是跟我們人類一樣擁有智慧的這樣的一個智能體。那好,那我們1.0我們AI 1.0我們就不做介紹了,那裡面其實有很多NLP的相關的東西。

2.0開始介紹,技術層面基本上是一個從點到面的一個過程。那麼最早出現的一個技術,是詞向量技術,把自然語言的詞語,使用向量來表示。向量是一個數學概念,比如貓,這個詞在向量空間裡面,它可能就表示成這樣一個坐標位置。狗可能就跟它有所區別。牛又不一樣。所以可理解為,每一個詞,它在向量空間裡面都有一個唯一坐標,然後就可構成這樣的一個詞語字典。然後使用這種one-hot的方式來表示,如蘋果標註成101這樣的坐標。把自然語言,通過數學語言去給它描述出來,而且它是一個坐標,可精準找到它位置。

3 大模型的不足和解決方案

但有問題,它沒有辦法表達詞語和詞語之間的這個關係。比如貓1這樣一個坐標,和狗這樣01一個坐標,之間什麼關係呢?不知道的。

第二就是效率不是很高。

後面發展中,在這個詞向量的基礎上,出現

4 詞嵌入(embedding)

也繼續叫詞向量也可以,就是對語言模型進行預訓練。我們通過大量現有文章資料,讓我們的這前面這些詞向量,它具備語言信息。那通過了一些訓練的預訓練之後的這個詞向量,它在這個向量空間上,它就帶上了一些額外的信息,它就會有效提升我們模型的效果。而且在後續的其他任務中間,去做一個遷移。那麼這個就是大語言模型的預訓練的這個,一個初始的一個原型。

比如貓、狗,通過坐標標註,讓它有這種低維向量的這種這種表示。還可有這樣語義相似的一個向量空間相近,好比我們認為,比如說貓和狗,通過我們的預訓練的這些大量的文章,資料,我們發現貓和狗都同屬於寵物。那麼有可能這兩個坐標點,在向量空間里就是比較接近。比如說我們找寵物的時候,那麼在這個向量空間裡面,貓和狗就是在寵物這個向量域裡面。牛和羊,都屬於我們的常用的肉吃的家畜,那可能就是在那個向量域裡面。所以呢,我們可以看到詞向量,它就是一個地位向量表示,再一個是語義相似的向量空間,相近的這麼一個特性。還有一個,它可以遷移學習,把這個任務,遷移到其他任務裡面去。深藍的下象棋例子,就可以把它的技能去遷移啦。

在詞嵌入之後出現

5 巨向量和全文向量

根據這個前文信息,去分析下文或根據本文翻譯成另一種語言。那麼它代表的呢,是一些模型,如:

  • RNN(Recurrent Neural Network,迴圈神經網路)
  • LSTM(Long Short-Term Memory,長短期記憶網路)

它可有效處理這種時序性的,序列數據。"What time is it?",訓練時,它是一層一層的,它第一層這個神經網路,可能先看到"What",然後"time","is","it",看到最後的問號。它會通過這樣的一個順序,去處理這樣的一個語句,去做一個上下文的一個理解。它還可以做到一些短時記憶和選擇性的遺忘,就是RNN和LSTM,那麼它主要應用在像文本生成啊,語音識別啊,圖像描述等等。這個時候就是比如說類似RNN和LSTM這樣的模型出現的時候呢,它其實已經可以做到我們常見的一些AI識別。

再往後就到理解上下文,就是全文的上下文,如"買什麼 什麼is"這個這個模式理解上下文,這個模式代表作是類似比如說這個BERT這樣大模型。到這階段,已經可完成類似完形填空任務。那它就是根據上下文理解當前的代詞,比如說男他女她動物它是什麼,完成這個完形填空。那麼這個時候就屬於所謂的真域訓練模型時代開啟。

特點

支持並行訓練,如說CNN(Convolutional Neural Network,捲積神經網路)這個模型比,就比如說這個"What time is it",只能一層一層處理,不支持並行訓練。必須完成這個事情之後再做下一個事情。

所以呢,它替代RNN和CNN這樣神經網路,更強大,可以實現一些類似語義識別。

最後就是OpenAI這GPT(Generative Pre-trained Transformer)出現,這個模型出現為代表,我們就正式進入了這種超大模型和模型統一的時代。從谷歌T5(Text-to-Text Transfer Transformer)這個模型開始的時候,它是引入了的這樣的一個模式來訓練模型。也就是說,它是把提示詞告訴模型,然後把答案訓練出來,然後不停的用這樣的模式來訓練模型。那麼當我們在問模型這些問題的時候,其實也是通過,通過提示詞,通過prompt的方式來引導它。所以到這個時代的時候呢,那我們以chatgpt為代表,我們發現它的效果非常驚艷。最新的成果就是說,我們的大模型已經支持了多模態,OpenAI開啟的這個大模型時代呢,它其實是把這個,一種基於的這種訓練模型這種方式提了出來。

所以我們為什麼開始一講就是說,它整個的大模型的發展,可以說是從一個從點到面的這麼一個發展過程。大家知道理解就是它最核心,其實最早的是基於這個詞向量的這麼一個技術。那麼通過這個不斷的發展到神經網路,到這種單線的,到並行訓練,最後直到這樣的一個大規模超大規模的這樣一個訓練集,實現了這麼一個大語言的一個模型的發展。

關註我,緊跟本系列專欄文章,咱們下篇再續!

作者簡介:魔都技術專家,多家大廠後端一線研發經驗,在分散式系統、和大數據系統等方面有多年的研究和實踐經驗,擁有從零到一的大數據平臺和基礎架構研發經驗,對分散式存儲、數據平臺架構、數據倉庫等領域都有豐富實踐經驗。

各大技術社區頭部專家博主。具有豐富的引領團隊經驗,深厚業務架構和解決方案的積累。

負責:

  • 中央/分銷預訂系統性能優化
  • 活動&優惠券等營銷中台建設
  • 交易平臺及數據中台等架構和開發設計
  • 車聯網核心平臺-物聯網連接平臺、大數據平臺架構設計及優化

目前主攻降低軟體複雜性設計、構建高可用系統方向。

參考:

本文由博客一文多發平臺 OpenWrite 發佈!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 目錄1. #include <stdio.h>2.int 整形數據類型3.main 函數4.printf 函數5.return 函數6.”{}”與“;” “Hellow world!"是初學者的第一份代碼,可以說所學萬物代碼之基礎。下麵看一下代碼是如何實現的: 代碼雖然簡潔,但是包含了許多C語言的知 ...
  • Python的下載安裝和環境搭建,以及python的IDE工具PyCharm搭建及常用配置教程,可以讓新人快速上手python的使用。 ...
  • 以下是個人總結的Java常用的十大開源工具類庫,根據具體需求和項目,可以選擇合適的工具類庫來提高開發效率。1. Apache Commons:Apache Commons是一個開源的工具類庫,提供了大量常用的工具類和組件,如StringUtils、IOUtils、CollectionUtils等。2 ...
  • 1.為什麼使用索引 索引是存儲引擎用於快速找到數據記錄的一種數據結構,就好比一本書的目錄部分,通過目錄中找到對應文章的頁碼,便可快速定位到需要的文章。MySQL中的索引也是一樣的道理,進行數據查找時,首先查看查詢條件是否命中某條索引,符合則通過索引查找相關數據,如果不符合則需要全表掃描,即需要一條條 ...
  • 1.前言: 第一次作業難度較大,從無到有的設計,涉及到的主要類有Paper,Question,AnswerPaper,Main,主要題目方向為字元串判斷與字元串處理(提取有效信息),判斷對錯算總分,配合一些Java自帶的數據結構如ArrayList即可快速解決問題,第一次作業是後面作業的基礎,需自行 ...
  • oop三次pta總結 前言 在這學期的java課程學習當中,我已經體會到了java這門語言的重要性了,就從這三次pta題目的設計與思路來說吧(還真的有點小難),特別是每一期pta的最後一題...... 《答題判題程式》,這道題目依次迭代,難度依次上升(如果沒有設計好,基本是寄了),題目不多看幾遍細節 ...
  • 前言 整理這個官方翻譯的系列,原因是網上大部分的 tomcat 版本比較舊,此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎,輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • Spring Cache 是 Spring 提供的的緩存解決方案,它並非是一個具體的緩存實現,而是和 JSR107 類似的一套緩存規範,基於註解並與 Spring 的無縫集成。本文主要介紹其基本概念及簡單使用。 1、簡介 1.1、Spring Cache 概述 Spring Cache 是 Spri ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...