电话咨询

电话咨询:010-62607600

微信咨询

微信扫码

赛道 | 深延包揽SIGIR eCOM'21双赛道冠军 自研自动特征工程框架神助攻

公司资讯 发布时间:2021-07-28 18:38:04 作者:wangyx
日前,信息检索领域的国际重要会议SIGIR 2021正在线上举行,来自深延科技的DeepBlueAI团队参加了SIGIR eCom’21 竞赛,并且表现出色,在竞赛仅设的两个赛道中均获得冠军。 这是继2019年获得该系列比赛冠军以来的第二次夺冠,证明了深延在电商推荐系统领域技术有着领先的地位。此外,更值得注意的是在第二个赛道,深延自研的自动特征工程框架助力队伍获得了冠军,证明了其自动化机器学习的强大能力。 SIGIR eCom’21 竞赛由Coveo承办,是在2021 SIGIR Workshop on eCommerce上组织的一场电商商品推荐的比赛。该比赛从2017年开始,每年举办一次,今年已是第5届,吸引了来自NVIDIA、eBay、华东师范大学、乐天等知名公司和学校的团队。 ![1.png](http://gateway.deepblueai.com/hdfs/data/website-management/17/upload/20210728/1627468503146_1.png) # SIGIR eCom’21冠军方案解读 **赛题介绍:** SIGIR eCom’21 竞赛分为两个赛题: 第一、商品推荐任务。赛题把一个会话分成前后两部分,给出前面一部分的数据,要求预测出后面会交互的商品,是一个大规模数据的推荐问题。 第二、购买意图预测任务。赛题给出一个有添加购物车行为的会话的前面一部分,要求预测最后用户是不是真的会买这个商品,是一个二分类问题。 **团队成绩:** 比赛竞争非常激烈,最终DeepBlueAI团队击败了NVIDIA团队,在两个任务都取得了冠军。 ![2.png](http://gateway.deepblueai.com/hdfs/data/website-management/17/upload/20210728/1627468523434_2.png) ![3.png](http://gateway.deepblueai.com/hdfs/data/website-management/17/upload/20210728/1627468530434_3.png) **数据分析: ** 两个任务使用的是同一批数据,训练集测试集合起来一共有600多万,其中有100万会话数据和6万多个商品。经过分析,这两个任务分别有以下难点。 对于商品推荐任务: 首先数据量很大,对代码运行效率要求很高; 第二有30%的测试集会话,给的初始信息很少,怎么有效优化冷启动的会话,提升得分? 第三原始数据给出的字段极为丰富,怎么有效利用这些信息? 对于预测购买意图任务,主要是这个任务的评分指标很复杂: 首先,它定义了一个k,k表示第一次添加购物车之后会话还有几条记录。评分指标要求对k越小的样本预测正确奖励越高,针对这一点,怎么设计模型或者策略能够适应这个机制? 第二,每个k是一个分类,最终得分是每个类样本的平均准确率之和。因为使用了准确率(accuracy),加上正负样本不平衡,导致对模型的精度要求非常高。 **竞赛方案:** 对于商品推荐任务,团队整体采用召回+排序的框架。 排序方面,团队尝试了很多方法,但是提升的效果有限。召回在这个任务里更为重要,在尝试了很多种方法后,团队最终使用了两个效果较好的召回。 1.u2i_interact_i2i_itemcf: 先通过协同过滤的方法算出item与item之间的相似度,然后根据user历史交互的item,推荐与它最相似的item。 2.u2url_url2i: 先统计访问当前url之后,下次访问每个item的概率;然后根据用户最后一个url推荐那些概率大的item。 对于预测购买意图任务: 首先是特征工程,团队采用了手动特征与自动特征工程相结合的方式。手动特征方面,主要是提取一些比较明显有效的特征,如用户是否查看了添加购物车商品的细节、查看了多久、用户一共交互了多少商品等比较直观的特征,效果上评分指标提升0.008;自动特征工程则是利用深兰自研autosmart框架提取的特征,这一部分特征效果提升0.002。 然后是后处理方面,针对评分指标的特性,基于k值不同对每个分类单独进行阈值调整,达到本地最好效果。 # SIGIR 2019 eBay冠军方案解读 值得一提的是,早在2019年深延科技就在SIGIR 2019 eBay 数据挑战赛上夺得冠军。 当时比赛是由 eBay 搜索组组织的高精度召回任务。挑战针对的是电子商务搜索中的常见问题:展示非相关性排序时要显示的项目。用户通常按非相关性的维度进行排序,例如流行度、评论得分、价格等。 ![4.png](http://gateway.deepblueai.com/hdfs/data/website-management/17/upload/20210728/1627468595356_4.png) 长按识别二维码,查看SIGIR 2019 eBay冠军方案详情

立即使用深延AI平台