日立制作所的LLM优化不把最优解限定为一个

LLM进行的优化不一定是找出唯一正确答案的技术，也可以成为列出不同妥协方案、让现场人员自行选择的技术。日立制作所开发了一种生成多个KPI候选方案的训练技术，在逻辑电路任务中将候选覆盖率最高提高了13.3%。只要能够满足实际约束和安全条件，物流负责人就可以在同一个画面上选择速度和节能表现不同的配车方案。

在铁路运营、配送以及电力和计算资源的分配中，提高速度可能会增加耗电量或成本，而优先考虑稳定性又可能牺牲其他性能。现场通常会把多个条件合并成一个分数，然后接收得分最高的方案。每当条件发生变化，还可能需要重新训练AI，这也使人们难以比较应该选择哪种妥协。

一个分数无法用来比较

LLM是一种不仅能生成文本，也能生成设计和规划方案的AI。KPI（关键绩效指标）是衡量这些方案的标尺。例如，在电路中，耗电量、处理速度和电路规模都可以成为KPI。

这些指标有时无法同时变好。速度快的电路可能耗电更多，而规模小的电路可能会降低速度。在多目标优化中，人们不会强行把这类方案排成一个顺序，而是将它们作为彼此难以简单判断优劣的候选群进行比较。

让AI也学习候选方案之间的差异

日立制作所开发的是一种LLM训练技术：不把多个KPI压缩成一个综合分数，而是生成多个具有不同平衡的方案。它将面向LLM的强化学习方法GRPO与超体积贡献度这一指标结合起来。该指标用于衡量候选群在多个标尺上覆盖了多大的范围。

AI会参考此前生成的候选方案，再生成下一个候选方案。它会评估并学习：这个新方案是否提高了整个候选群的性能，同时是否加入了一个与已有方案不相似的方案。最终的目标是，不仅列出偏向某种特定权重设置的方案，还列出优先速度的方案、节能方案以及控制规模的方案。据称，在生成逻辑电路时，与训练前的模型相比，候选覆盖率最高提高了13.3%。不过，这一结果来自性能较容易自动评分的电路任务。

直到方案能够在现场被选择

如果这项技术在纳入实际运行中的约束、预测的不确定性和安全条件后仍然有效，物流中心的配车负责人就可以在同一个画面上比较：确保按时完成任务的方案、避开电价高峰时段充电的方案，以及保留车辆余力的方案。在设计室里，人们也可以从延长电池续航的方案、速度更快的方案，以及能够装入更小电路板的方案中，选择满足相同功能的电路。

不过，还需要验证候选方案是否满足现实中的车辆、道路、合同和劳务约束，并将其接入现有的优化软件和运营系统。还必须确定发生失败时的责任分担。它的价值不在于自动采用唯一的最优解，而在于为情况不断变化的现场保留可以选择的妥协方案。

来源

日立制作所《关于面向社会基础设施等运营管理优化，开发考虑相互冲突的多个KPI、生成多样且有竞争力候选方案的LLM训练技术》