深度强化学习在游戏中的应用

 

一种应用深度强化学习自动玩战斗游戏的方法

我们用深度强化学习(Deep Reinforcement Learning, DRL)技术,为网游《魂武》训练出了网游的AI对手,得到《魂武》制作人高度认可。

深度强化学习训练出的AI对手,智能程度高,突破了传统基于有限状态机或行为树的技术,AI对手无固定套路,能给玩家惊险刺激的PK互动体验。

 


 

 


 

 

高频动态变化文本实时分类技术

网游聊天频道中,有快速动态产生的大量文本,其中正例类别为玩家正常聊天,反例类别是广告和刷屏。广告为了逃避被识别,语言表现形式会随着时间变化而动态变化。如何在快速变化的海量文本中,实时精准识别广告?深极智能的创新技术,解决了以上难题。这些技术不仅申请了国家发明专利,而且已经在公司的商业产品“深极智能网游广告识别系统”成功应用。

相关发明专利:

《一种基于信息熵模型的无监督广告语句识别方法及计算机可读存储介质》

本发明利用信息熵模型,在线增量学习玩家发言内容,并在无监督模式下自动建立动态广告库。由经典信息熵的计算公式,按照语料中真实概率分布p来衡量识别样本的所需要的编码长度的数学期望,然后以此信息量来表征样本特征。
在实际使用时,大多数广告语句的信息熵会落在相对固定的值域,有较强的区分度。本发明用此规律对广告语句进行聚类,从而实时建立起广告库。

《一种广告识别方法及计算机可读存储介质》

本发明提供了一种广告识别方法及计算机可读存储介质,该方法包括以下步骤:广告识别步骤以及广告库更新步骤,广告识别步骤包括:读取非系统消息语料,以至少读取用户ID和语料内容;将读取的语料和广告库中的语料进行相似度匹配,基于相似度匹配结果确定所述语料是否为广告;广告库更新步骤包括:将被确定为非广告的非系统消息语料加入到在线语料库;获取在线语料库中存储的多条语料的句子主干;基于获取的句子主干出现的频次以及用户ID确定是否将句子主干放入广告库中,从而在确定放入广告库中的情况下更新广告库。本发明无需人工识别判断谁是广告用户,便能够自动识别广告从而能够加以过滤,节省人力成本,提高广告过滤的效率。
本发明专利已经在2017年11月通过了国家专利局初审。
 

 


 

 

 

游戏数据挖掘与机器学习

 

使用机器学习做游戏留存数据挖掘的一种尝试

尝试应用统计学分析技术、机器学习和大数据挖掘技术,对游戏前期埋点数据进行挖掘,从中寻找游戏显著统计特征,找到流失玩家和非流失玩家的差异,试图以数据找到游戏用户流失/留存的原因。从客观数据出发来研究游戏留存数据,属探索性质,所得结果是初步和粗浅的,但相信此研究方向对于国内游戏制作量化决策的意义。
点击查看详细论文

基于机器学习的游戏付费用户特征挖掘

本文使用机器学习技术中一类监督学习技术—树提升,从一款成功的 ARPG 手机网游埋点数据中进行数据挖掘,解决基于数据的付费用户与非付费用户特征自动学习与预测问题,取得了初步成果,分享给游戏行业,意在推进网游制作决策量化与科学化。
点击查看详细论文

公司发明专利:

《一种游戏用户行为分析方法及计算机可读存储介质》

本发明提供了一种用户行为分析方法及计算机可读存储介质,所述方法包括以下步骤:利用用户行为数据样本训练包含循环神经网络模型和注意力模型的神经网络模型,获得不同行为类型的用户的各个动作对应的权重值,其中,所述用户行为数据样本包括不同行为类型的用户的动作序列。本发明实施例通过获取游戏中的用户动作序列与用户流失、用户付费等的权重关系,能在短时间内,分析出游戏导致用户流失或不付费等行为的客观原因,通过分析得出的结果,可以有针对性地改进游戏内容,从而减少用户的流失甚至吸引用户回流。
本发明已经于2017年12月26日通过了国家专利局初步审查。