介紹合成數據集QVAC Genesis III用於訓練STEM模型

研究人員發佈了QVAC Genesis III，一套大規模的合成數據集，旨在有效地訓練語言模型在科學、技術、工程和數學（STEM）領域。數據集包含191.43億個令牌，涵蓋19個不同領域，具有多樣化的複雜度和教育風格。

數據集是使用基於知識蒸餾從「老師」到「學生」的雙重生成策略創建的。系統分析緊湊模型的錯誤，並將其轉換為糾正性解釋，同時成功的回答通過對所有選項的對比推理進行補充。為了評估數據質量，作者實施了LLM-as-a-parser協議，該協議跟蹤自由格式答案的準確性和有效性。

在對具有17億個參數的從頭開始訓練的模型進行測試時，QVAC Genesis III展示了超越開放數據集Cosmopedia-v2的優勢。在ARC-E和ARC-C基準測試中，性能增長高達+28.57%和+21.35%，同時有效答案率（Valid Answer Rate）達到99.45%。

研究材料和數據在Creative Commons Attribution 4.0許可下發佈。該開發旨在優化緊湊模型在邊緣設備上的性能，在這些設備上，令牌預算和計算資源嚴格有限。