基于RBF-Q学习的多品种CSPS系统前视距离控制

研究一类多品种工件到达的传送带给料加工站系统(CSPS)的前视距离(Look-ahead)优化控制间题,以提高系统的工作效率.在工件品种数增加的情况下,系统状态规模会呈现指数性增长,考虑传统Q学习在面对大规模离散状态空间所面临的维数灾难,且难以直接处理前视距离为连续化变量的间题,引入了RBF网络来逼近Q值函数,网络的输入为状态行动对,输出为该状态行动对的Q值.给出RBF-Q学习算法,并应用于多品种CSPS系统的优化控制中,实现了连续行动空间的Q学习.针对不同的品种数情况进行仿真分析,仿真结果表明,RBF-Q学习算法可以对多品种CSPS系统性能进行有效优化,并且提高学习速度.