近年来,移动边缘计算(Mobile Edge Computing,MEC)技术的持续发展和应用成功地应对了随着终端用户数量急剧增加而导致网络边缘数据量爆炸性增长的用户服务需求.然而,如何实时优化分配这些服务器给不同用户仍然是一个亟待解决的紧迫问题.本文专注于多用户多MEC服务器场景中任务缓存和计算卸载策略的联合优化问题,借助于强化学习算法分别解决这两个子问题.在任务缓存方面,本文以最大化系统缓存命中率为目标,引入了基于Gomory割平面的多臂选择算法(Gomory Based Multi-Arm Selection,GMAS)来适应不同任务数据量的差异,并通过理论证明了算法遗憾上界的对数性.而在任务卸载方面,提出了Dueling架构的双重Q网络(Double DQN with Dueling architecture,D3QN)算法以应对多用户多MEC服务器中的任务卸载问题,该算法在保证任务性能的同时有效规避了DQN算法中Q值过估计的问题.仿真结果表明,本文所提出的算法在时延和能耗等方面相较A3C和DQN算法表现出明显的优势.
在智能电网中,拥有可再生能源发电装备的用户可以与他人进行能源交易,以获取利润。自产能源不足的用户可通过从其他有剩余能源的用户购买所需的能源来满足需求。然而如果参与交易无法为用户带来额外收益,用户就不愿意参与此类交易。为了提高能源交易参与者的收益,文中提出了一种新的点对点(peer to peer, P2P)能源交易方法,将能源交易描述为能源产消者和拍卖商之间的非合作博弈。买方根据不同的电价调整购买的能源数量,拍卖者控制博弈,卖方不参与博弈,但最终实现效益最大化,然后证明了存在唯一的博弈均衡,以确定市场能源交易价格和数量。利用区块链技术实现了所提出的能源交易方法,以显示实时P2P能源交易的可行性。仿真结果表明,与现有的两种方法相比,所提出的方法参与者累积效益提高了32%以上,验证了其有效性。
