国产精品久久久久永久免费看,大地资源网更新免费播放视频,国产成人久久av免费,成人欧美一区二区三区黑人免费,丁香五月天综合缴情网

  • 正文
  • 相關推薦
申請入駐 產(chǎn)業(yè)圖譜

大模型“內(nèi)卷”,打不過就加入——開發(fā)者從哪做起?

原創(chuàng)
05/26 19:21
1597
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

隨著DeepSeek等模型的不斷出現(xiàn),大模型的能力上限也在不斷刷新,行業(yè)幾乎每三個月就迎來一波技術提升。大模型就像一頭“灰犀?!庇娑鴣恚o企業(yè)和普通人平等地帶來了挑戰(zhàn)。如何確保不被替代、以及更好地運用大模型而不被行業(yè)拋棄變得越來越重要。

為普通人大模型開發(fā),搭建進階的“梯子”

對于企業(yè)來說,當前重點是打造以AI負載為中心的基礎架構新范式。而對于普通人來說,可能一個最樸素的想法就是“打不過就加入”。與其去參與大模型的“內(nèi)卷”,不如去做大模型應用開發(fā),因為大模型一般要和應用結(jié)合才能在各種場景落地,所以加入大模型應用開發(fā)賽道,可能是個人提升自我的有效途徑。

英特爾技術專家介紹,進行大模型應用開發(fā),需要具備三個要素:一是硬件環(huán)境,用于驗證和練習;二是軟件棧,需要主流的軟件棧支持;三是要有好老師,不僅要能夠運行,更要深度理解,真正實現(xiàn)能力的進階。

英特爾技術專家以火山引擎第四代云服務器實例為例,表示英特爾正在聯(lián)合火山引擎的云服務,為開發(fā)者打造一個“梯子”,把門檻降低,幫助更多人邁出跨越的第一步。

云原生擁抱AI原生,CPU的“瑞士軍刀”作用

英特爾與火山引擎已合作多年,雙方聯(lián)合打造的第四代通用型實例g4il,在性能上進一步實現(xiàn)了通用型提升,包括數(shù)據(jù)庫應用、Web應用、圖像渲染能力等方面,此外的重點還有云原生和AI原生的結(jié)合,通過軟硬件深度融合,加速AI算力的普惠。

長期以來,CPU在AI方面的能力、特別是CPU進行AI推理方面的效果一直被業(yè)界所好奇。英特爾技術專家表示,CPU本質(zhì)上可以理解為一把“瑞士軍刀”,是一個通用型計算設備,能夠執(zhí)行多種任務。

在AI推理方面,業(yè)界目前普遍的趨勢是采用異構計算,即CPU和GPU混合推理。CPU的優(yōu)勢在于,對于一些GPU資源有限或不太容易獲取、又只需要一定的AI推理性能的客戶來說,用CPU可以進行小規(guī)模模型或AI場景使用;但如果GPU資源非常充足,那么CPU仍然可以和GPU協(xié)同工作,而并非相互替代的關系。

對AI應用進行生命周期的劃分,主要包括開發(fā)、驗證和大規(guī)模生產(chǎn)部署。在開發(fā)和驗證階段,對算力性能要求相對較低,CPU可以充分發(fā)揮低成本和易獲得的優(yōu)勢。基于g4il實例+大模型應用鏡像,英特爾希望為開發(fā)者提供低成本、高效率的專屬大模型應用開發(fā)環(huán)境。

由于云服務具有易獲得、快速部署等優(yōu)勢,非常適合應用開發(fā)學習或起步階段,且按使用量收費,計費方式靈活,是應用開發(fā)的天然入口。同時,第四代實例采用了英特爾至強6處理器的CPU,內(nèi)置AI加速器AMX。目的是利用AMX,讓用戶在更低的配置、更經(jīng)濟的虛擬機上獲得流暢的體驗,這些都是幫助開發(fā)者降低門檻的重要抓手。

英特爾技術專家指出,除了硬件,軟件棧的配置越來越復雜。特別是近兩年開源方案層出不窮,從驅(qū)動開始,就要考慮驅(qū)動安裝、加速庫配置、框架組件配置等各種問題,大多數(shù)開發(fā)人員在初期都會遇到很多困難。

從去年開始,英特爾發(fā)起了開源社區(qū)OPEA(Open Platform for Enterprise AI),希望利用開放架構和組件式模塊化的架構,為企業(yè)打造可擴展的AI應用部署基礎。OPEA社區(qū)積累了大量經(jīng)過預先驗證的、優(yōu)化的開源應用范例,可供社區(qū)用戶參考。英特爾通過將范例和軟件棧打包成虛擬機鏡像,通過一鍵部署的方式,把硬件和軟件環(huán)境快速搭建起來,將原本需要數(shù)天的過程縮短至3分鐘。

“一鍵部署只是“開胃菜”,真正實現(xiàn)能力提升還需要學習,從核心基礎開始,循序漸進。因此,除了硬件、軟件,英特爾又補充了演示課程,這三點就是我們打造大模型應用開發(fā)服務的重點”,英特爾的技術專家表示。

RAG應用鏡像實踐拆解

火山引擎方面,AI能力出色的包括豆包、扣子、HiAgent這些產(chǎn)品?!坝⑻貭査龅氖虑橄喈斢谑菫槠胀ㄩ_發(fā)者提供一張入場券,幫助他們降低門檻,更容易上手嘗試”,英特爾技術專家表示,“開發(fā)者可以在此平臺上進行諸多嘗試。比如可以直接嘗試大模型開發(fā)聊天工具,通過熟悉提示詞的方式,從基礎的RAG(檢索增強生成)到高級的模塊化RAG,再到更多模態(tài)的應用,不斷豐富數(shù)據(jù)基礎。”

以RAG實踐為例,其核心流程分為兩階段:

首先是數(shù)據(jù)源的準備過程:企業(yè)需將內(nèi)部知識進行文檔分段、向量化并存入向量庫,構建語義檢索能力。此過程需優(yōu)化文檔切分粒度(如512/1024字符)、重疊文本設計等參數(shù),因為這直接影響后續(xù)語義的覆蓋范圍。

其次是問答處理的過程:用戶問題經(jīng)Embedding模型轉(zhuǎn)化為向量,通過語義匹配檢索相關上下文,再經(jīng)Reranking服務,從若干個文本中選出最佳文本。最后經(jīng)過LLM服務,把最佳文本內(nèi)容匯總成合適的回答回復給用戶。

英特爾技術專家指出,知識庫的衡量指標包括召回率和準確率,而Embedding、Chunk 配置參數(shù)、提示詞、Re-rank,以及大模型的理解能力,可能都會對指標有影響?!爸挥猩钊雽嵺`,才能真正理解技術的精髓。我們希望用戶做大模型開發(fā)從這個基礎開始,而不是直接進入智能體開發(fā)。因為數(shù)據(jù)基礎差之毫厘,最終效果可能會差之千里”,他指出。

英特爾的首個鏡像采用了RAG場景,這與近幾年企業(yè)的AI應用策略相符。因為企業(yè)通常會經(jīng)歷從0到1的階段,通常第一件事就是要打造企業(yè)數(shù)據(jù)庫,從1到N的階段,才是需要把知識庫能力和Agent方案結(jié)合,從而可以快速復制或者是豐富AI的能力。

通過對Embedding模塊、向量數(shù)據(jù)庫、Re-Rank,以及7B參數(shù)的DeepSeek蒸餾模型進行了全棧集成,并提供預優(yōu)化的Dataprep服務、在線問答服務及界面配置等,英特爾將RAG應用濃縮到鏡像中。

此外,OPEA虛機鏡像的架構相較于一般的開源架構更具企業(yè)級特性,因為它天生具備組件化服務的優(yōu)勢,可以根據(jù)需求靈活部署或修改。

那么,在此基礎上如何為開發(fā)者賦能?

首先,在火山引擎上申請時,第一步選擇云實例(可以選擇16vCPU,并在此基礎上選擇Ubuntu鏡像)。英特爾已將該鏡像泛化至公共鏡像中,并專門設置了知識庫問答的鏡像,3分鐘左右即可完成環(huán)境部署。

完成了環(huán)境搭建,開發(fā)者就可以進行學習和實踐了。英特爾還通過循序漸進的課程體系引導開發(fā)者掌握提示詞等核心技能、以及效果調(diào)優(yōu)等能力,幫助他們降低大模型應用門檻。

“大模型應用開發(fā)和傳統(tǒng)應用開發(fā)區(qū)別很大,甚至更考驗文科功底儲備。因為在應用開發(fā)過程中,提示詞的編寫量可能遠超代碼的編寫量,因為需要讓大模型能夠遵循指令去做很多事情,提示詞往往可能會寫得更長。在這個過程當中,自然語言非常重要。內(nèi)置的大模型會發(fā)揮重要作用,用戶會發(fā)現(xiàn)大模型不是一個工具而是一個‘伙伴’,在不斷溝通、交互的過程當中,應用也逐漸完善起來”,英特爾技術專家表示。

在進階方面,開發(fā)者完成開發(fā)部署后,想進一步進行生產(chǎn)部署時,也可以結(jié)合火山引擎其他云服務,進行快速的集群化部署等。

寫在最后

多年來,我們熟知的云計算服務有IaaS、PaaS,分別為云原生應用的構建提供基礎計算資源和軟件平臺級服務。而邁入AI時代,面對重新定義的大模型應用架構和開發(fā)運營模式,云計算的邊緣在不斷擴展,MaaS(模型即服務)會成為互聯(lián)網(wǎng)企業(yè)核心的AI技術輸出能力,也是主要變現(xiàn)的能力。

對于火山引擎而言,PaaS層面已經(jīng)衍生出扣子這樣基于智能體、工作流方式的大模型應用孵化平臺,IaaS 層面也會聚焦?jié)M足訓練、開發(fā)驗證等多樣算力的需求。同樣,英特爾通過至強6處理器的加持,對于輕量級大模型應用開發(fā)場景,為開發(fā)者進行部署、實踐降低了準入門檻。

正如英特爾技術專家表示,這是一條從入門到全面成長的完整路線設計。目前,火山引擎智能體的發(fā)展非常完備,擁有良好的數(shù)據(jù)基礎后,便可更容易地掌握當前熱門的技術棧(包括MCP等),這些技術棧與智能體能夠水到渠成地結(jié)合。未來,英特爾還將推出智能體開發(fā)套件,可以與火山引擎自身的智能體開發(fā)套件實現(xiàn)集成,實現(xiàn)更為強大的智能體應用開發(fā)。

英特爾

英特爾

英特爾在云計算、數(shù)據(jù)中心、物聯(lián)網(wǎng)和電腦解決方案方面的創(chuàng)新,為我們所生活的智能互連的數(shù)字世界提供支持。

英特爾在云計算、數(shù)據(jù)中心、物聯(lián)網(wǎng)和電腦解決方案方面的創(chuàng)新,為我們所生活的智能互連的數(shù)字世界提供支持。收起

查看更多

相關推薦

登錄即可解鎖
  • 海量技術文章
  • 設計資源下載
  • 產(chǎn)業(yè)鏈客戶資源
  • 寫文章/發(fā)需求
立即登錄