人工智能大模型工业应用准确性测评-v3.5.docx

《人工智能大模型工业应用准确性测评-v3.5.docx》由会员分享，可在线阅读，更多相关《人工智能大模型工业应用准确性测评-v3.5.docx（25页珍藏版）》请在第一文库网上搜索。

1、c Air中国工网研究院china Academy of Industrial Internet1H( HONG KONGUNMFSrrv Ot SCOand vkkkmogv人工智能大模型工业应用准确性测评2024年3月版 一,刖言C All*中国工sh关网研究院irJr 八 china Academy of Industrial Internet ANDTfCMNOtOOY为贯彻落实党中央国务院关于促进人工智能发展的决策部署，中国工业互联网研究院依托通用人工智能与 工业融合创新中心（简称中心），联合香港科技大学、中国经济信息社，深入研究人工智能大模型在工业 领域的应用性能、技术架构、标准体

2、系，并在此基础上，形成本报告。结合工业企业大模型应用情况调研，本报告在原有工业知识问答准确性测评的基础上，新增数据分析、工 程建模、文档生成、代码理解等四大场景，构建测试数据集，对国内外具有代表性的大模型进行测试，发布新 一轮的准确性测评报告，供业界进行参考。本报告测评结果虽经中心专家委论证，但因大模型迭代速度快，技术复杂，囿于工作团队专业知识和能力， 报告难免存在分析结论不足等问题，且测评结果仅适用于测试期间，欢迎大家批评指正。二、测评内容c Air 5 屯 :谚* ” ! M唧碎也2023年初至今，大模型技术发展突飞猛进，已逐步渗透至工业领域诸多环节，涵盖了知识问答、工程建 模、数据分析、

3、文档生成、代码理解等场景，正快速成长为工业转型升级和创新发展的重要动力。W ER工业语料库于仲.电孑科及电子 鼻.XZ子元件HM.5Wi业i工业应用准确性测评,fl. 61.天” Bftt 1f修L 悠.、MX. M China Academy of Industrial Internetvjr AMD TfOIOtOGY国内大模型发展趋势23年中国内平均24年初国内平均 2023年6月底相对GPT3.5成绩1,oz 2024年年初相对GPT3.5成绩 IoU 120%80%40%2024年初 i对比往期测评，2023年下半年国内大模型能力提升明 显（以GPT3.5为基准）。1选取国内外各能力

4、维度性能最佳的大模型进行对比； 国内大模型发展趋势统计规则见附录2。、测评结果能力对比与变化趋势各维度大模型最佳能力对比图卬口国内口国际数据分析工业知识问答代码理解在工业知识问答、文档生成等领域，国内大模型已取 得领先，数据分析、代码理解等领域能力接近；在工程建模领域，国内大模型与国际存在一定差距。五.场景测评一:工业知识问答c Air sr ,ll知识快速获取数字人售后服务员工自助培训大模型可结合自身知识，回答不同工业领域问题，将用于员工培训.故障诊断.客服咨询.市场调研等 交互场景，协助企业员工熟悉生产流程，帮助用户了解产品特性。应用场景研判 研发设计环节：研发工程师可基于大模型 快速、便

5、捷获取高质量知识，提升研发效 率； 生产制造环节:产线工人可实时向大模型 查询生产工艺经验，辅助其进行制造工艺 优化； 售后服务环节：企业可基于大模型，通过 数字人实时向客户提供售后咨询服务； 技能培训环节：新员工可通过大模型了解 企业信息、学习生产技能。五.场景测评一:工业知识问答CAII+ SB u GAMD TfCHNOlOGV测涌果100工业知识问答能力Top20行业能力对比口100 国内 国际80lllhlll建材 石化化工 电力 电子制造 纺织 装备制造 钢铁 采矿题目例问题：你知道哪些常用逻辑电平？ TTL与CMOS电平可以直接互连吗？评分标准：(1)常用逻辑电平包括：12V ,

6、 5V , 3.3Vo ( 1分，给出标准中同样或近似的回答 则得1分，否则不得分。)(2) TTL和CMOS电平是否可以直接互连：不可以直接互连。(1分，给出标准中同 样或近似的回答则得1分，否则不得分。)(3) TTL和CMOS电平互连的条件：CMOS输出可以直接接到TTL ,而TTL接到CMoS需要在输出端口加一上拉电阻接到5V或者12V。( 1分)本题共3小项，每个小项1分，满分3分。对于每个小项，如果描述有差距，或者详 细程度不足，酌情给0.3或者0.5分或者0.8分。 在知识问答领域国内大模型已具备一定优势，ChatGLM.文心一言等多个大模型实现对GPT4超越； 国内大模型在建材

7、、采矿等行业具有显著优势，在装备制造、钢铁等行业与国际水平接近； 对比不同行业，国内外大模型在钢铁、电力等行业有较好的知识储备，对于纺织、装备制造等行业仍需加强训练。1图中数据为各行业国内外性能最佳大模型成绩。五、场景测评二：工程建模C Air ct 魅尸堂叫山大模型具备基础建模能力，将帮助工程师和企业管理人员在实际工程设计、生产运维等领域进行数学建 模，寻求最佳的解决方案。工程数学建模预测模型优化生产计划优化员工班次布局提高人效营销收益建模节约销售成本应用场景研判 研发设计环节：基于历史实践，建立成本 模型，指导新项目的规划和预算编制，提 高项目成功率； 生产制造环节:建立时序预测、异常检测

8、 模型，基于预测优化生产计划，提高施工 效率和安全性； 运维管理环节：建立运筹模型，对工厂生产人员进行排版优化，提升人员效能； 营销宣传环节:建立营销收益模型，提升 营销效率，节约营销成本。五.场景测评二:工程建模CJEkII+中国工业互联网研究院Ir China Academy Oflndustrial Internet- AMD TfCHNOlOGV工程建模能力Top20100问题：! 一一某公司在2018年年初预订X万产量的目标，2018年6月己完成计划的 60% ,此后按照上半年月均产量生产，则2018年超出计划产量300万.那么该公司2018年年初预订的产量为多少万元？评分标准：1

9、.如果能正确列出完成计划的60%即为$0.6x$万的关系，得1分;2 .如果能正确列出下半年产量也为$0.6x$万的关系，得1分;3 .如果能正确列出并解方程$0.6x + 0.6x -X = 300$ ,得1分;4 .如果能正确解出$x=1500$ ,得1分;本题共四个得分点，满分为4分，得分情况为（得分/满分）。在工程建模领域，GPT4、文心一言处于领先地位，对比其它模型具有显著优势；国内外平均成绩均为43分，大模型建模能力整体处于较低水平，可收集数学建模专业语料进行强化训练，也可以使用代码解释器等增强工M提升大模型建模能力L五.场景测评三:数据分析China Academyof Indu

10、strial Internet急JNcl “Je；大模型可将结构化数据提炼为核心结论，对复杂业务数据进行自动分析，更全面、及时地帮助企业管理 者运营和决策，提升工作效率和运营质量。分析用户评价分析生产时序数据分析库存数据分析安全数据应用场景研判 研发设计环节：在海量产品评价数据中提 取共性问题，改进产品设计，提升产品品 质； 生产制造环节:自动分析工业生产时序数 据，发现数据异常或潜在风险，及时预警 或报错； 运维管理环节：辅助分析库存数据，进行呆滞库存和缺料提醒，提升管理效率； 人员培训环节：分析事故数据，杜绝生产 事故，消除安全隐患。五.场景测评三:数据分析OAII+中国工业互联网研究院 p* StHONG KCNG China Academy of Industrial Internet蟹，AMDTKHNoIoGYLj中囚经i#CiIut题目例100数据分析能力Top20, ,问题：您需要撰写一份简短的报告，介绍下面