本報(bào)訊 （記者何 可 實(shí)習(xí)記者劉松瑤）近日，中國信息通信研究院（以下簡稱“中國信通院”）發(fā)布“可信AI”人工智能數(shù)據(jù)集質(zhì)量評估體系（ADAQ）。該體系依托中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟和“人工智能關(guān)鍵技術(shù)和應(yīng)用評測工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室”建立，用以確保數(shù)據(jù)高質(zhì)量供給，形成貫穿于大模型全生命周期的高質(zhì)量數(shù)據(jù)閉環(huán)。

高質(zhì)量的人工智能行業(yè)數(shù)據(jù)集可以提升模型的泛化能力，并能推動(dòng)模型準(zhǔn)確、高效、可靠構(gòu)建，降低過擬合風(fēng)險(xiǎn)。人工智能數(shù)據(jù)集質(zhì)量評估測試，則是對人工智能行業(yè)數(shù)據(jù)集的質(zhì)量情況評估，有助于人工智能系統(tǒng)穩(wěn)健運(yùn)行。

據(jù)了解，ADAQ由質(zhì)量管理評估、質(zhì)量評估指標(biāo)、定制化測試方案構(gòu)成，旨在搭建“1+1+N”質(zhì)量評估框架，通過質(zhì)量評估測試，系統(tǒng)性檢查數(shù)據(jù)集，保障數(shù)據(jù)供給質(zhì)量。

其中，“1”代表一套方法，即建立評估指標(biāo)和方法，保障標(biāo)準(zhǔn)化實(shí)施。該體系依據(jù)行業(yè)標(biāo)準(zhǔn)《面向人工智能的數(shù)據(jù)集質(zhì)量通用評估方法 總體要求》，按照“可用+好用+落地”原則，將完整性、規(guī)范性、準(zhǔn)確性、及時(shí)性、一致性等12個(gè)一級指標(biāo)和36個(gè)二級指標(biāo)納入數(shù)據(jù)集評估標(biāo)準(zhǔn)，涵蓋測試數(shù)據(jù)集準(zhǔn)備、測試條件初始化、前置檢測、后置檢測以及數(shù)據(jù)集質(zhì)量評估得分計(jì)算等五大核心部分，為人工智能數(shù)據(jù)集質(zhì)量管理和質(zhì)量評估提供了標(biāo)準(zhǔn)依據(jù)和規(guī)范。

另一個(gè)“1”代表一個(gè)平臺，即自建人工智能數(shù)據(jù)集質(zhì)量評估工具平臺。該平臺按照“規(guī)則檢測+人工抽樣+模型效果”的“三道關(guān)卡”融合思路，聚合項(xiàng)目管理、參數(shù)配置、測評過程管理、可視化分析與總結(jié)、知識圖譜管理、大屏展示等核心功能模塊，將促進(jìn)人工智能數(shù)據(jù)集質(zhì)量評估項(xiàng)目執(zhí)行。

“N”為定制化測試方案，可針對多樣化需求，覆蓋不同測試數(shù)據(jù)類型，覆蓋文本、圖像、音頻、視頻以及多模態(tài)等不同類型數(shù)據(jù)集，包含預(yù)訓(xùn)練、監(jiān)督微調(diào)、反饋強(qiáng)化、強(qiáng)化微調(diào)、推理等不同模型訓(xùn)練階段。

“目前，ADAQ已向部分企業(yè)提供服務(wù)，有效助力企業(yè)提升行業(yè)數(shù)據(jù)集的標(biāo)準(zhǔn)化建設(shè)能力?！敝袊磐ㄔ合嚓P(guān)負(fù)責(zé)人表示，該院將結(jié)合人工智能技術(shù)發(fā)展趨勢和行業(yè)高質(zhì)量數(shù)據(jù)集建設(shè)需求，持續(xù)完善人工智能數(shù)據(jù)集評估體系，推動(dòng)技術(shù)提升及產(chǎn)業(yè)發(fā)展。