人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量，正在引領(lǐng)全球經(jīng)濟(jì)發(fā)展。如何準(zhǔn)確、客觀、全面衡量當(dāng)前人工智能系統(tǒng)能力，成為產(chǎn)學(xué)研用各界關(guān)注的重要問題。為提升產(chǎn)業(yè)規(guī)范化水平和促進(jìn)技術(shù)路線收斂，完善配套評測基準(zhǔn)，打造智能化時代的新“標(biāo)尺”，電子標(biāo)準(zhǔn)院會同產(chǎn)學(xué)研用優(yōu)勢機(jī)構(gòu)，共同打造“求索”人工智能國家標(biāo)準(zhǔn)評測基準(zhǔn)體系。圍繞算力、大模型、軟硬協(xié)同等重點方向，孵化了12項國家標(biāo)準(zhǔn)，開發(fā)了系列評測基準(zhǔn)工具：人工智能系統(tǒng)性能測試基準(zhǔn)（AISBench）；大模型評測基準(zhǔn)（LMBench）；人工智能軟硬件適配測試工具（AICL）。
日前，“求索”人工智能國家標(biāo)準(zhǔn)評測基準(zhǔn)體系由中國電子技術(shù)標(biāo)準(zhǔn)化研究院副院長劉賢剛、國家能源集團(tuán)數(shù)據(jù)中心總經(jīng)理張延生、中國物流集團(tuán)有限公司科技創(chuàng)新部總經(jīng)理張暉、中國建筑集團(tuán)有限公司信息化管理部副總經(jīng)理王劍濤、中國鐵建股份有限公司科數(shù)部副總經(jīng)理隋舟、中石油昆侖數(shù)智科技有限責(zé)任公司首席技術(shù)專家羅革新、中國鋼研科技集團(tuán)有限公司人工智能首席張云貴、中國移動研究院管理運營部副總經(jīng)理劉偉東、中國電信研究院大數(shù)據(jù)與人工智能研究所所長王峰、中國電力科學(xué)研究院人工智能研究所黨委書記/副所長周飛、南方電網(wǎng)人工智能科技有限公司副總經(jīng)理梁壽愚、寶山鋼鐵股份有限公司數(shù)智技術(shù)創(chuàng)新中心主任張偉共同發(fā)布。
人工智能算力測試基準(zhǔn)（AISBench）:對標(biāo)MLPerf、SPEC等國際先進(jìn)計算基準(zhǔn)，聚焦我國計算產(chǎn)業(yè)發(fā)展特色需求，圍繞人工智能加速卡、服務(wù)器、集群、人工智能計算中心等多種計算產(chǎn)品形態(tài)，建設(shè)涵蓋評測指標(biāo)、評測方法、模型負(fù)載、評測工具等多項關(guān)鍵要素的智能算力測試基準(zhǔn)體系，對人工智能計算能力進(jìn)行全面和量化的評估。AISBench旨在提供一個公平且可重復(fù)的基準(zhǔn)框架，確保不同智能計算系統(tǒng)能夠在相同條件下進(jìn)行比較，有效指導(dǎo)用戶選型。
基礎(chǔ)通用大模型測試基準(zhǔn)和行業(yè)大模型測試基準(zhǔn)（LMBench）:通過主客觀相結(jié)合的大模型評測方法，從語言、語音、視覺、多模態(tài)等任務(wù)領(lǐng)域，以及通用性、智能性等系列維度指標(biāo)開展大模型能力驗證，以大模型評測平臺為支撐開展大模型測評，幫助用戶優(yōu)中選優(yōu)。LMBench也可為智能體、具身智能、空間智能等前沿領(lǐng)域的大模型技術(shù)創(chuàng)新提供有力支撐，以及推動大模型技術(shù)在不同產(chǎn)業(yè)場景中的深度融合與協(xié)同發(fā)展。
人工智能軟硬件適配測試工具（AICL）:面向異構(gòu)人工智能計算設(shè)備協(xié)同以及軟硬件南北向互聯(lián)互通需求，建立跨架構(gòu)、跨平臺的標(biāo)準(zhǔn)化適配技術(shù)體系，指導(dǎo)大規(guī)模人工智能軟硬件系統(tǒng)和算力設(shè)施兼容適配。AICL旨在實現(xiàn)人工智能計算接口“大一統(tǒng)”，清除CUDA、oneAPI、OpenCL等國外適配體系的技術(shù)路線限制，引領(lǐng)自主智能算力產(chǎn)業(yè)生態(tài)建設(shè)。為適應(yīng)人工智能計算技術(shù)日新月異的趨勢，AICL依托開源開放社區(qū)，根據(jù)技術(shù)產(chǎn)業(yè)發(fā)展情況動態(tài)更新、實時滾動。
目前，AISBench、LMBench、AICL已經(jīng)得到50余家單位的支持和參與，形成了科學(xué)化、體系化的基準(zhǔn)體系。未來，以國家標(biāo)準(zhǔn)為核心指引的“求索”人工智能國家標(biāo)準(zhǔn)評測基準(zhǔn)體系，將持續(xù)秉持開放合作的態(tài)度，持續(xù)完善人工智能基準(zhǔn)評測標(biāo)準(zhǔn)規(guī)范，不斷優(yōu)化評測指標(biāo)、評測方法和評測工具，及時回應(yīng)產(chǎn)業(yè)界、學(xué)術(shù)界對人工智能規(guī)范化發(fā)展的熱切關(guān)注，引領(lǐng)產(chǎn)業(yè)生態(tài)建設(shè)，更好滿足人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展對標(biāo)準(zhǔn)化的迫切需求，有力支撐人工智能賦能新型工業(yè)化。
來源 | 中國電子技術(shù)標(biāo)準(zhǔn)化研究院網(wǎng)站
轉(zhuǎn)自：中國標(biāo)準(zhǔn)化
