微軟開源了一個 助力開發LLM 加持的應用的 工具包 semantic-kernel

来源:https://www.cnblogs.com/shanyou/archive/2023/03/24/semantic-kernel.html
-Advertisement-
Play Games

在首席執行官薩蒂亞·納德拉(Satya Nadella)的支持下,微軟似乎正在迅速轉變為一家以人工智慧為中心的公司。最近微軟的眾多產品線都採用GPT-4加持,從Microsoft 365等商業產品到“新必應”搜索引擎,再到低代碼/無代碼Power Platform等面向開發的產品,包括軟體開發組件P ...


在首席執行官薩蒂亞·納德拉(Satya Nadella)的支持下,微軟似乎正在迅速轉變為一家以人工智慧為中心的公司。最近微軟的眾多產品線都採用GPT-4加持,從Microsoft 365等商業產品到“新必應”搜索引擎,再到低代碼/無代碼Power Platform等面向開發的產品,包括軟體開發組件Power Apps[1]。

非常重要的一點是這些產品都是使用.NET 構建的, 這些項目可以快速的使用LLM 加持,我們寫程式的同學肯定都會想微軟是怎麼做的,正好微軟在3月17日在發佈了一篇博客文章: [Hello, Semantic Kernel!](https://devblogs.microsoft.com/semantic-kernel/hello-world/)[2], 在這篇文章中微軟已經開源了一個內部孵化項目,Github的倉庫:https://github.com/microsoft/semantic-kernel [3],該項目可以幫助開發人員快速輕鬆地將尖端的人工智慧模型集成到他們的應用程式中。這使您能夠在應用中構建新體驗,從而為用戶帶來無與倫比的工作效率:例如總結冗長的聊天交流,標記通過Microsoft Graph添加到待辦事項列表中的重要“下一步”,或者計劃一個完整的假期,而不僅僅是預訂飛機上的座位。

語義內核(簡稱SK)是一種創新的輕量級軟體開發工具包(SDK),旨在將人工智慧(AI)大型語言模型(LLM)與傳統編程語言集成。藉助 SK,開發人員可以輕鬆地為其應用程式註入複雜的技能,例如提示鏈接、摘要、遞歸推理、基於嵌入的記憶體等。SK 支持提示模板[4]、函數鏈、矢量化記憶體[5]和開箱即用的智能規劃[6]功能。

SK旨在支持和封裝來自最新 AI 研究的多種設計模式,以便開發人員可以為他們的應用程式註入複雜的技能[7],如提示[7]鏈接、遞歸推理、總結、zero/few-shot 學習、上下文記憶、長期記憶、嵌入[8]、語義索引、 規劃,以及訪問外部知識庫以及您自己的數據。

image

SK最初的目標是 C#開發人員,但也為數據科學家的最愛的 Python提供了預覽支持,而微軟也根據從社區反饋中學到的內容,正在考慮支持[9]其他語言,包括自己的TypeScript。

微軟將SK的主要優勢列為:

  • 快速集成:SK旨在嵌入任何類型的應用程式中,使您可以輕鬆測試和運行LLM AI。
  • 擴展:藉助 SK,您可以連接外部數據源和服務,使其應用程式能夠將自然語言處理與實時信息結合使用。
  • 更好的提示:SK的模板化提示可讓您使用有用的抽象和機制快速設計語義函數,以釋放LLM AI的潛力。
  • 新奇但熟悉:傳統編程語言代碼始終可供您作為一流的合作伙伴,幫助您快速完成工程設計,可以兩全其美。

為了幫助開發人員入門,微軟提供了一個免費的LinkedIn學習課程[10]。它的描述是:“人工智慧的未來終於來了,它改變了軟體開發人員的游戲規則。探索語義內核 (SK) 的可能性,這是 AI 驅動的開發的新面孔,封裝在輕量級、易於使用的多層軟體開發工具包中。使用SK快速啟動和運行,SK是Microsoft AI生態系統的最新成員,使開發人員能夠輕鬆地將LLM AI功能集成到他們的應用程式中。

Technical perspective of what's happening

 

除了LinkedIn學習課程之外,Microsoft 還解釋了開發人員如何克隆存儲庫並嘗試以下示例:

  • 簡單的聊天摘要[11]:使用現成的技能,並輕鬆地將這些技能應用到你的應用中。
  • 圖書創作者[12]:使用規劃師解構複雜的目標,併在應用中設想使用規劃師。
  • 身份驗證和 API[13]:使用基本連接器模式進行身份驗證並連接到 API,並設想將外部數據集成到應用的 LLM AI 中。
  • Github倉庫問答[14]:使用嵌入和記憶體來存儲最近的數據,並允許您對其進行查詢。

 

在運行示例和筆記本之前,您可能需要滿足一些軟體要求:

  1. Azure Functions 核心工具[15],用於將內核作為本地 API 運行,這是 Web 應用所需的。
  2. 需要OpenAI API[16] 密鑰或 Azure OpenAI 服務密鑰[17]才能開始使用。
  3. 用於安裝 Web 應用的依賴項的Yarn[18]。
  4. SK 支持 .NET Standard 2.1,建議使用 .NET 6+。但是,倉庫中的某些示例需要 .NET 7[19] 和 VS Code Polyglot 擴展[20]才能運行筆記本

 

SK 入門

下麵是如何從 C# 控制台應用使用語義內核的快速示例,這裡我們使用VS Code Polyglot 來做

image

image

 

相關鏈接:

  • [1]Power Apps:https://powerapps.microsoft.com/zh-cn/ 
  • [2] Hello, Semantic Kernel!: https://devblogs.microsoft.com/semantic-kernel/hello-world/
  • [3] Github的倉庫:https://github.com/microsoft/semantic-kernel
  • [4]提示模板: https://github.com/microsoft/semantic-kernel/blob/main/docs/PROMPT_TEMPLATE_LANGUAGE.md 
  • [5] 矢量化記憶體: https://github.com/microsoft/semantic-kernel/blob/main/docs/EMBEDDINGS.md 
  • [6] 智能規劃 https://github.com/microsoft/semantic-kernel/blob/main/docs/PLANNER.md 
  • [7] 技能: https://github.com/microsoft/semantic-kernel/blob/main/docs/SKILLS.md 
  • [8] 嵌入: https://github.com/microsoft/semantic-kernel/blob/main/docs/EMBEDDINGS.md 
  • [9] 支持其他語言: https://aka.ms/sk/python
  • [10] LinkedIn學習課程 https://www.linkedin.com/learning/introducing-semantic-kernel-building-ai-based-apps/introducing-semantic-kernel
  • [11] 簡單的聊天摘要 https://github.com/microsoft/semantic-kernel/blob/main/samples/apps/chat-summary-webapp-react/README.md
  • [12] 圖書創作者 https://github.com/microsoft/semantic-kernel/blob/main/samples/apps/book-creator-webapp-react/README.md
  • [13] 身份驗證和 API https://github.com/microsoft/semantic-kernel/blob/main/samples/apps/auth-api-webapp-react/README.md
  • [14] Github倉庫問答 https://github.com/microsoft/semantic-kernel/blob/main/samples/apps/github-qna-webapp-react/README.md
  • [15] Azure Functions 核心工具 https://learn.microsoft.com/azure/azure-functions/functions-run-local 
  • [16] OpenAI API https://openai.com/api/
  • [17] Azure OpenAI 服務密鑰 https://learn.microsoft.com/azure/cognitive-services/openai/quickstart?pivots=rest-api
  • [18] Yarn https://yarnpkg.com/getting-started/install
  • [19] .NET 7 https://dotnet.microsoft.com/download
  • [20] Polyglot 擴展 https://www.cnblogs.com/shanyou/p/17247652.html

歡迎大家掃描下麵二維碼成為我的客戶,扶你上雲


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、什麼是敏感詞過濾? 敏感詞過濾是一種處理網路內容的技術,可以檢測和過濾出網路中的敏感/違禁辭彙。它通過給定的關鍵字或字元串,判斷網路內容是否包含某些敏感信息,從而防止違反法律法規的信息流通。 通常,可以使用兩種方法來過濾敏感詞: 黑名單過濾:即定義一個黑名單,將所有敏感詞擇記錄在其中,然後對輸入 ...
  • WPF(Windows Presentation Foundation)是由微軟開發的桌面應用程式框架,用於創建現代化、高度交互和具有視覺吸引力的用戶界面。它是 .NET Framework 的一部分,提供了一種基於 XAML(Extensible Application Markup Langua... ...
  • 前言 在程式設計中,我們會遇到各種各樣的異常問題,一個好的異常處理解決方案能夠幫助開發者快速的定位問題,也能夠給用戶更好的用戶體驗。 異常處理的幾種方式 1、通過異常過濾器捕獲異常進行處理 2、自定義異常處理中間件 在這裡我選擇自定義異常處理中間件,中間件依托於請求管道運行,並且中間件的執行是有序的 ...
  • 1.可空類型修飾符(?) 眾所周知,在C#中引用類型可以使用一個null引用來表示一個不存在的值,比如 string str = null 是正確的; 但是值類型卻不能為空,比如 int k = null 那麼編譯器就會報錯; 為了讓值類型也可以為空,就需要使用可空類型,即用可空類型修飾符 "?" ...
  • 泛型的學習 一、泛型的引入 泛型 泛:寬泛的--不確定的; 型:類型 不確定的類型 無處不在的 調用普通方法的時候,參數類型在聲明的時候就確定了,調用按照類型傳遞參數即可 a. 如果有100個類型 100個方法?--很累 b. 有沒有能夠做一個方法可以能夠滿足不同類型的需求呢? 傳統方法 publi ...
  • WebSocket 1.基於Html5,IIS8.0版本以上,前端代碼和伺服器都必須支持WebSocket才能使用; 2.請求必須以WS:開頭 下麵是後臺接收前端websocket申請的方法: /// <summary> /// WebSocket建立鏈接的方法 /// </summary> /// ...
  • 一:背景 1. 講故事 最近經常遇到有朋友反饋,在 x64 環境下如何提取線程棧中的方法參數,熟悉 x64 調用協定的朋友應該知道,這種協定範圍下,方法的前四個參數都是用寄存器傳遞的,比如rcx,rdx,r8d,r9d 四個寄存器,由於寄存器存值的臨時性,它的值容易被後面的邏輯給徵用了,那這種情況下 ...
  • 1. 高品質的代碼 1.1. 性能(Performance) 1.1.1. 只執行需要的操作,而且執行迅速 1.1.2. 不會使系統陷入停頓 1.2. 可用性(Availability) 1.2.1. 持續在所需的性能水平上保持可用 1.2.2. Topic1 1.3. 安全性(Security) ...
一周排行
    -Advertisement-
    Play Games
  • 前言 在我們開發過程中基本上不可或缺的用到一些敏感機密數據,比如SQL伺服器的連接串或者是OAuth2的Secret等,這些敏感數據在代碼中是不太安全的,我們不應該在源代碼中存儲密碼和其他的敏感數據,一種推薦的方式是通過Asp.Net Core的機密管理器。 機密管理器 在 ASP.NET Core ...
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 順序棧的介面程式 目錄順序棧的介面程式頭文件創建順序棧入棧出棧利用棧將10進位轉16進位數驗證 頭文件 #include <stdio.h> #include <stdbool.h> #include <stdlib.h> 創建順序棧 // 指的是順序棧中的元素的數據類型,用戶可以根據需要進行修改 ...
  • 前言 整理這個官方翻譯的系列,原因是網上大部分的 tomcat 版本比較舊,此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎,輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • C總結與剖析:關鍵字篇 -- <<C語言深度解剖>> 目錄C總結與剖析:關鍵字篇 -- <<C語言深度解剖>>程式的本質:二進位文件變數1.變數:記憶體上的某個位置開闢的空間2.變數的初始化3.為什麼要有變數4.局部變數與全局變數5.變數的大小由類型決定6.任何一個變數,記憶體賦值都是從低地址開始往高地 ...
  • 如果讓你來做一個有狀態流式應用的故障恢復,你會如何來做呢? 單機和多機會遇到什麼不同的問題? Flink Checkpoint 是做什麼用的?原理是什麼? ...
  • C++ 多級繼承 多級繼承是一種面向對象編程(OOP)特性,允許一個類從多個基類繼承屬性和方法。它使代碼更易於組織和維護,並促進代碼重用。 多級繼承的語法 在 C++ 中,使用 : 符號來指定繼承關係。多級繼承的語法如下: class DerivedClass : public BaseClass1 ...
  • 前言 什麼是SpringCloud? Spring Cloud 是一系列框架的有序集合,它利用 Spring Boot 的開發便利性簡化了分散式系統的開發,比如服務註冊、服務發現、網關、路由、鏈路追蹤等。Spring Cloud 並不是重覆造輪子,而是將市面上開發得比較好的模塊集成進去,進行封裝,從 ...
  • class_template 類模板和函數模板的定義和使用類似,我們已經進行了介紹。有時,有兩個或多個類,其功能是相同的,僅僅是數據類型不同。類模板用於實現類所需數據的類型參數化 template<class NameType, class AgeType> class Person { publi ...
  • 目錄system v IPC簡介共用記憶體需要用到的函數介面shmget函數--獲取對象IDshmat函數--獲得映射空間shmctl函數--釋放資源共用記憶體實現思路註意 system v IPC簡介 消息隊列、共用記憶體和信號量統稱為system v IPC(進程間通信機制),V是羅馬數字5,是UNI ...