北京2024年10月22日 /美通社/ -- 在美國時間10月21日舉行的IBM(紐約證券交易所代碼:IBM)年度TechXchange大會上,IBM宣布推出其迄今為止最先進的AI模型家族——Granite 3.0。IBM的第三代Granite旗艦語言模型在許多學術和行業(yè)基準測試中均能超越或匹敵同類領先模型提供商的模型,展示出強大的性能、透明性和安全性。
與公司對開源 AI 的承諾一致,Granite 模型在寬松的 Apache 2.0 許可證下發(fā)布,它們憑借在性能、靈活性和自主性方面的獨特組合能夠為企業(yè)客戶和整個社區(qū)提供服務。
IBM的Granite 3.0家族系列包括:
新款 Granite 3.0 8B 和 2B 語言模型被設計為企業(yè)級AI的"主力"模型,能夠在檢索增強生成(RAG)、分類、摘要、實體提取和工具使用等任務中提供強大的性能。這些緊湊的多功能模型旨在根據(jù)企業(yè)數(shù)據(jù)進行微調,并在各種業(yè)務環(huán)境或工作流程中無縫集成。
許多大型語言模型(LLM)是基于公開可用的數(shù)據(jù)進行訓練的,絕大多數(shù)企業(yè)數(shù)據(jù)仍然未被利用。通過將小型 Granite 模型與企業(yè)數(shù)據(jù)相結合,特別是使用 IBM 和 RedHat 在五月推出的革命性對齊技術 InstructLab, IBM 相信企業(yè)可以實現(xiàn)與大型模型相媲美的特定任務性能,而成本只是其中的一小部分(基于在幾個早期概念驗證中觀察到的成本比大型前沿模型低 3 到 23 倍的范圍[i])。
Granite 3.0 版本的發(fā)布重申了 IBM 對建立 AI 產(chǎn)品透明度、安全性和信任的承諾。Granite 3.0 技術報告和負責任使用指南提供了用于訓練這些模型的數(shù)據(jù)集描述,詳細說明了所應用的過濾、清洗和處理步驟,并全面展示了模型在主要學術和企業(yè)基準測試中的性能結果。
至關重要的是,IBM 為 watsonx.ai 上的所有 Granite 模型提供知識產(chǎn)權賠償,旨在增強企業(yè)客戶將企業(yè)數(shù)據(jù)融入模型的信心。
提高標準:Granite 3.0 基準測試
Granite 3.0 語言模型在原始性能上也展示出良好的結果。
在 Hugging Face 的 OpenLLM 排行榜定義的標準學術基準測試中,Granite 3.0 8B Instruct 模型的整體性能平均領先于 Meta 和 Mistral 中類似大小的開源模型的最先進性能。在 IBM 的先進 AttaQ 安全基準測試中,Granite 3.0 8B Instruct 模型在所有測量的安全維度上均領先于 Meta 和 Mistral 的模型[ii]。
在檢索增強生成(RAG)、工具使用和網(wǎng)絡安全領域的核心企業(yè)任務中,Granite 3.0 8B Instruct 模型的平均表現(xiàn)優(yōu)于Mistral 和 Meta 中類似規(guī)模的開源模型[iii]。
Granite 3.0 模型是在超過 12 萬億個標記上進行訓練的,這些數(shù)據(jù)來自 12 種不同的自然語言和 116 種不同的編程語言,采用了一種新穎的兩階段訓練方法,利用了數(shù)千個旨在優(yōu)化數(shù)據(jù)質量、數(shù)據(jù)選擇和訓練參數(shù)的實驗結果。到今年年底,預計 3.0 8B 和 2B 語言模型將支持擴展的 128K 上下文窗口和多模態(tài)文檔理解能力。
IBM 展示了性能和推理成本的完美平衡,提供了其 Granite 專家混合(MoE)機構模型,Granite 3.0 1B-A400M 和 Granite 3.0 3B-A800M,這些較小且輕量級的模型可用于低延遲應用程序以及基于 CPU 的部署。
IBM 還宣布了其預訓練 Granite 時間序列模型的更新版本,早期版本于今年早些時候發(fā)布。這些新模型在 3 倍的數(shù)據(jù)上進行訓練,在所有三個主要時間序列基準測試中表現(xiàn)出色,超越了來自 Google、Alibaba 等公司 10 倍更大模型的性能。更新后的模型還提供了更大的建模靈活性,支持外部變量和滾動預測[iv]。
Granite Guardian 3.0:開啟負責任AI的新時代
作為此次發(fā)布的一部分,IBM 還推出了一個新的 Granite Guardian 模型系列,允許應用程序開發(fā)人員通過檢查用戶提示和 LLM 響應來實施安全護欄,以發(fā)現(xiàn)各種風險。Granite Guardian 3.0、8B 和 2B 型號提供了當今市場上最全面的風險和危害檢測功能。
除了社會偏見、仇恨、毒性、褻瀆、暴力、越獄等危害維度外,這些模型還提供了一系列獨特的檢索增強生成(RAG)特定檢查,如基于事實性、上下文相關性和答案相關性。在針對 19 項安全性和 RAG 基準的廣泛測試中,Granite Guardian 3.0 8B 模型在危害檢測方面的整體準確性平均高于 Meta 的所有三代 Llama Guard 模型。它在幻覺檢測方面的整體性能也與專門的幻覺檢測模型 WeCheck 和 MiniCheck 相當[v]。
雖然 Granite Guardian 模型派生自相應的 Granite 語言模型,但它們可以與任何開放或專有的 AI 模型一起使用,以實施安全保護措施。
Granite 3.0 模型的可用性
整個 Granite 3.0 模型套件和更新的時間序列模型都可以在 HuggingFace 上根據(jù)寬松的 Apache 2.0 許可證下載。新的 Granite 3.0 8B 和 2B 語言模型的指令(instruct)變體以及 Granite Guardian 3.0 8B 和 2B 模型現(xiàn)已在 IBM 的 watsonx 平臺上提供商業(yè)用途。部分 Granite 3.0 模型也將作為 NVIDIA NIM 微服務提供,并通過 Google Cloud 的 Vertex AI Model Garden與 HuggingFace 的集成提供。
為給開發(fā)者提供多種選擇和易用性,并支持本地和邊緣部署,一套精選的 Granite 3.0 模型也可在 Ollama 和 Replicate 上獲得。最新一代 Granite 模型擴展了 IBM 強大的開源 LLM 目錄。IBM 與 AWS、Docker、Domo、Qualcomm Technologies, Inc.(通過其 Qualcomm® AI Hub)、Salesforce、SAP 等生態(tài)系統(tǒng)合作伙伴合作,將多種 Granite 模型集成到這些合作伙伴的產(chǎn)品中,或在他們的平臺上提供 Granite 模型,為全球企業(yè)提供更大的選擇空間。
從助理(Assistants)到智能體(Agents):實現(xiàn)企業(yè)級AI 的未來
IBM 正在通過一系列技術推進企業(yè)級AI的發(fā)展,從模型和助理 (Assistants),到為公司獨特的數(shù)據(jù)和用例調優(yōu)和部署 AI 所需的工具。IBM 還在為未來能夠自我導向、反思并在動態(tài)商業(yè)環(huán)境中執(zhí)行復雜任務的 AI 智能體(AI agents)鋪平道路。
IBM 不斷發(fā)展其 AI 助理(Assitants)技術組合,從幫助公司通過低代碼工具和自動化構建自己的助理的watsonx Orchestrate,到用于特定任務和領域(如客戶服務、人力資源、銷售和營銷)的各種預構建助理。全球各地的組織已經(jīng)使用 watsonx Assistant 幫助他們構建 AI 助理,用于回答客戶或員工的日常問題、實現(xiàn)大型機和傳統(tǒng) IT 應用程序現(xiàn)代化、幫助學生探索潛在的職業(yè)路徑,或為購房者提供數(shù)字抵押貸款支持等任務。
IBM 還公布了即將發(fā)布的下一代 watsonx Code Assistant,該版本由 Granite 代碼模型提供支持,能夠為 C、C++、Go、Java 和 Python 等語言提供通用編碼輔助,并為企業(yè)級 Java 應用程序[vi]提供高級應用程序現(xiàn)代化功能。Granite 的代碼功能現(xiàn)在也可以通過 Visual Studio Code 擴展程序 IBM Granite.Code訪問。
IBM 還計劃發(fā)布新工具來幫助開發(fā)人員,利用watsonx.ai 更高效地構建、定制和部署 AI,包括代理框架、與現(xiàn)有環(huán)境的集成以及用于常見用例(如 RAG 和智能體)的低代碼自動化[vii]。
IBM 專注于開發(fā)具有更高自主性、復雜推理能力和多步驟問題解決能力的 AI 智能體(AI Agents)技術。Granite 3.0 8B 模型的初始版本支持關鍵的智能體功能,如高級推理和用于實現(xiàn)工具使用工作流程的高度結構化聊天模板和提示風格。IBM 還計劃在 IBM watsonx Orchestrate 中引入新的 AI 智能體聊天功能,利用智能體功能協(xié)調 AI 助理、技能和自動化,幫助用戶提高整體的團隊生產(chǎn)力[viii]。IBM 計劃在 2025 年繼續(xù)在其產(chǎn)品組合中構建智能體功能,包括為特定領域和用例預構建的智能體。
擴展的 AI 驅動的交付平臺,以 AI 增強 IBM 顧問的能力
IBM 還宣布大幅擴展其 AI 驅動的交付平臺 IBM Consulting Advantage。該多模型平臺包含 AI 智能體、應用程序和方法(如可重用的框架),賦能 16 萬名 IBM 顧問,以更低的成本、更好更快地為客戶提供價值。
作為擴展的一部分,Granite 3.0 語言模型將成為 Consulting Advantage 的默認模型。借助 Granite 的性能和效率, IBM Consulting 將能夠幫助最大限度地提高 IBM 客戶的生成式 AI 項目的投資回報。
擴展的另一個關鍵部分是引入 IBM Consulting Advantage for Cloud Transformation and Management 和 IBM Consulting Advantage for Business Operations。每一項都包括特定領域的 AI 智能體、應用程序和融合了 IBM 最佳實踐的方法,使 IBM 顧問能夠幫助客戶加速云和 AI 轉型任務(如代碼現(xiàn)代化和質量工程),或跨領域(如財務、人力資源和采購)實施轉型和運營。
了解有關 Granite 和 IBM 的 AI for Business 戰(zhàn)略的更多信息,請訪問https://www.ibm.com/granite
關于IBM
IBM 是全球領先的混合云、人工智能及企業(yè)服務提供商,幫助超過 175 個國家和地區(qū)的客戶,從其擁有的數(shù)據(jù)中獲取商業(yè)洞察,簡化業(yè)務流程,降低成本,并獲得行業(yè)競爭優(yōu)勢。金融服務、電信和醫(yī)療健康等關鍵基礎設施領域的超過 4000 家政府和企業(yè)實體依靠 IBM 混合云平臺和 Red Hat OpenShift 快速、高效、安全地實現(xiàn)數(shù)字化轉型。IBM 在人工智能、量子計算、行業(yè)云解決方案和企業(yè)服務方面的突破性創(chuàng)新為我們的客戶提供了開放和靈活的選擇。對企業(yè)誠信、透明治理、社會責任、包容文化和服務精神的長期承諾是 IBM 業(yè)務發(fā)展的基石。了解更多信息,請訪問:https://www.ibm.com/cn-zh
媒體聯(lián)絡人:
郭韜 gguotao@cn.ibm.com
[i] 成本計算基于 IBM watsonx 的開放模型和 openAI 的 GPT4 模型(假設 80% 輸入,20% 輸出)的每 100 萬個代幣的 API 成本定價,用于客戶概念驗證。
[ii] IBM Research technical paper: Granite 3.0 Language Models
[iii] IBM Research technical paper: Granite 3.0 Language Models
[iv] The Tiny Time Mixer: Fast Pre-Trained Models for Enhanced Zero/Few Shot Forecasting on Multivariate Time Series
[v] Evaluation results published in Granite Guardian GitHub Report
[vi] Planned availability for Q4 2024
[vii] Planned availability for Q4 2024
[viii] Planned availability for Q4 2024