大赛背景
主办方
赛制说明
1.报名和选拔赛(07/08-09/20)
参赛者需在2020/09/20之前以队伍形式进行报名。完成报名后,请选择一个赛道提交算法结果,进行在线比赛,您可以通过排行榜实时查看排名。
2020/07/20正式发布赛题数据。
2.选拔赛评审(09/21-09/28 )
大赛评审团评选出各赛道入围精英赛的15支队伍。
3.入围队伍公示(09/29-10/08)
入围精英赛队伍将于2020/09/29-10/08在大赛官网进行公示。
4.精英赛(10月底)
所有入围队伍至华为指定地点进行封闭式比赛,并完成精英赛答辩;评审团将综合评定最终奖项。
大赛分为赛道A和赛道B,每支队伍可选择一个或两个赛道参与选拔赛,但每支队伍最终只能选择一个赛道的成绩入围精英赛;
选拔赛和精英赛详述如下:
选拔赛阶段
选拔赛是在线竞赛,参赛队伍可根据大赛组委会提供的赛题,自行准备环境并提交最终算法结果,并根据全球排行榜查看实时排名。
注:赛事主办方有权根据实际情况更换赛题测试集。
各赛道每天最多可提交4次结果。
选拔赛评分采用AB榜(Score on A/B Test Data Sets)形式,实时排行榜显示A榜成绩,B榜成绩作为最终成绩排名;赛事最后7天开放B榜,B榜成绩以参赛者多次提交的最高分为准。
精英赛阶段
精英赛期间,所有入围队伍需前往大赛指定场地进行封闭竞赛。赛事主办方将通过电话、电子邮件、短信或站内信等形式进行通知。
精英赛阶段,赛道A赛题为广告CTR预估;赛道B赛题为数码设备图像检索。
赛道A允许每天最多提交6次结果,实时排行榜评分采用AB榜形式。排行榜仅显示A榜成绩,B榜成绩作为最终成绩排名;赛事最后1天开放B榜, B榜成绩以参赛者多次提交的最高分为准。
赛道B允许每天最多提交6次结果,实时排行榜评分采用B榜实时成绩作为最终成绩排名,B榜成绩以参赛者多次提交的最高分为准。
说明:精英赛可能改为线上竞赛方式进行,具体由大赛组委会进一步确定。
奖励设置
机器学习赛道:
一等奖×1:US$30,000
二等奖×1:US$15,000
三等奖×1:US$10,000
优胜奖×12:US$2,000
计算机视觉赛道:
一等奖×1:US$30,000
二等奖×1:US$15,000
三等奖×1:US$10,000
优胜奖×12:US$2,000
参赛资格
大赛赛题
本次赛事共有两个赛道(赛道A和赛道B):
赛道A:机器学习赛道
1)赛题一:广告CTR预测
广告CTR预估是计算广告领域的核心问题,提升CTR预估的准确率是提升广告效果的核心技术。
本题目是在真实付费展示广告场景下,借助算法从广告用户行为数据(如常驻城市/手机在线时段/行为发生时间等)、广告任务的基础属性(如创意类型/交互类型/广告主编号等)和用户的基础信息数据(如年龄/性别/设备信息等)三类合计40多个字段信息,多角度综合刻画用户对广告商品感兴趣的程度(点击概率)。参赛选手基于给定的训练数据构建CTR预估模型,并基于给定的测试数据集提交预测结果。比赛采用AUC(Area Under Curve)指标来评价比赛结果。
期望通过本次大赛发现计算广告算法领域的人才,推动CTR预估算法的发展。
2)赛题二:搜索相关性预测
搜索排序是搜索引擎的核心挑战问题:给定一个Query,系统能够基于文档和Query的相关性,将候选的文档做排序,展现给用户。提升排序的准确度能够极大提升移动用户的搜索体验。
本题目将为选手提供内容搜索场景下用于排序模型构建的训练数据,包括相关度标签、queryid、文档id以及其它6类合计约100个特征:网络图(如PageRank指标等)、Query(如核心词个数/搜索意图等)、文本匹配(如BM25得分/紧密度特征等)、文档(如正文长度、标题长度、URL长度等)、分档分类(如网站分类/是否首页等)及时间(如网页发布时间等)。参赛选手基于给定的训练数据构建排序模型,并基于给定的测试数据集提交预测结果。比赛采用ERR(Expected Reciprocal Rank)指标来评价比赛结果。
希望通过本次大赛发现搜索引擎排序算法的人才,推动搜索引擎排序算法的发展。
赛道B:计算机视觉赛道
赛题: 数码设备图像检索
精确的图像检索是拍照购场景下的核心技术,是学术界和工业界的研究热点。
本题目将向选手提供真实拍照购场景下用于数码设备图像检索的训练数据集,包含手机、智能穿戴、PC、平板、音箱、路由器等粗粒度数码设备图像和细粒度(如不同型号外观的手机等)数码设备图像,完成数码设备图像检索任务,即给定一张含有数码设备的查询图像,算法需要在数码设备库中查找并返回含有该商品的图像。比赛选手基于给定的训练数据构建并提交模型,比赛使用top-1检索准确率和mAP@10来评价比赛结果。
希望通过本次大赛发现图像检索算法领域的人才,推动该领域的发展。
评分规则
2.精英赛阶段,采用实时排行榜评分和答辩的方式选拔出最终的一等奖、二等奖、三等奖和优胜奖。
a.精英赛答辩:入围精英赛的各个队伍需要准备答辩材料,面向专家评委进行答辩。
b.奖项评选:专家评委根据自动化评分结果和答辩结果进行综合评分,给出竞赛排名和最终获奖结果。
2.精英赛阶段,采用实时排行榜评分和答辩的方式选拔出最终的一等奖、二等奖、三等奖和优胜奖。
a.精英赛答辩:入围精英赛的各个队伍需要准备答辩材料,面向专家评委进行答辩。
4)答辩:各个队伍需要准备答辩材料,面向专家评委进行答辩。
b.奖项评选:专家评委根据自动化评分结果和答辩结果进行综合评分,给出竞赛排名和最终获奖结果。
参赛通道
预报名地址:https://www.saikr.com/vse/37964
加入参赛群,赛氪将提醒同学们关于竞赛的最新信息,组织大家进行组队及参赛