Learning to rank路在何方
Learning to Rank 是利用machine learning 的理论来解决IR中Rank的问题,Rank任务是根据某个标准(一般是指文档和查询的匹配程度)对对象进行排序,显然Rank是IR最核心的部分。Learning to rank任务使IR任务增加了理论深度也使ML理论得到了应用,理应是个很好的研究方向。
当然,起初Learning to rank 成为各大实验室争相研究的方向,短短几年时间,关于它的高水平的论文就有百篇。最近Learning to rank似乎遇到了些瓶颈...
1. Learning to rank一般是监督学习,实际应用的话,训练语料是个问题,毕竟语料需要包含q与d的 relevance level。另外,机器学习存在一些固有的问题。
2. 复杂度问题。
3. 大部分研究建立在特征相同的前提下,唯一关注的是如何学习出一个排序函数,那么实际应用时到底是合理的特征更重要还是学习排序函数更重要,在特征固定的前提下,通过好的排序函数,总体效果会有很大提高吗?
4. 传统的Retrieval model 是考虑在建立model时如何更好的更充分合理的利用q与d的概率信息,现在把所有的q与d的信息和link信息等等,都转化成向量形式,而将全部的精力放在学习函数上,是否使路越走越窄呢?
MSRA的LETOR小组最近一年也没有提出任何新的方法,他们最新的方法是ICML08的ListMLE了,近年的论文都是些理论证明了。
其实,learning to rank 将ML用在IR上,是个很好的思路,我们不应该只局限于某个任务或语料,Ranking是大部分IR任务的核心,我们可以通过ML的思想来解决某个实际问题。如MSRA 在sigir 09有一篇应用Ranking SVM 做关键词提取任务的文章。
我认为应该把更多的精力放在learning to rank的实际应用,而不只是理论研究。毕竟可以应用的研究才有价值。