ThinkTAG » Search http://www.thinktag.cn 所见所闻, 所思所记 Wed, 08 Sep 2010 12:31:27 +0000 http://wordpress.org/?v=2.9.2 en hourly 1 2009 百度创新大会琐碎的记录 http://www.thinktag.cn/archives/505 http://www.thinktag.cn/archives/505#comments Thu, 27 Aug 2009 00:19:56 +0000 Rogers http://www.thinktag.cn/?p=505 09百度创新大会回来有一周了，一直忘记整理感想了。这次大会整体来说办的很盛大，以至于很多会场人拥挤到需要站在走廊里面听讲演的情况。借这次大会也遇到了很多各个行业的同事，光阿里集团下属子公司的就不少。可见百度的一举一动对整个互联网产业的影响。不过从概念来说百度的大会没有提出太多实质创新的内容，而是将很多概念包装了一个框计算推出。不过框计算也显露出了百度希望占领更多用户入口的企图。今后可能没有任何的应用了，只有一个搜索框，甚至可以说是对话框，你输入想要的，它给你结果。其实Google的桌面搜索就已经有这个趋势了，我依稀记得Google Desktop Search的搜索框输入你需要的软件的名字就可以直接启动。只不过将来这个模式是将来会替换成启动在云端的服务。

框计算的定义

框计算的定义

系统框架示意

系统框架示意

另外下午的分会场我关注了下大家对未来搜索的探讨。分别是：

搜索引擎的现实问题和发展新视点 百度 孙云丰

当前遇到的问题

  1. 需求更多元化
  2. 需求满足的方式多样性
  3. 用户的操作傻瓜化
  4. 有价值的资源获取越来越复杂

未来的解决方式

  1. 精确识别用户需求
  2. 自然语言处理
  3. 丰富的结果页形式
  4. 推资源的获取（阿拉丁）
  5. 搜索社区化
  6. 搜索框价值的扩展

语义与搜索引擎 北大教授 俞士汶

主要讲了自然语言中隐喻的问题的计算机研究。这个问题时间比较很短只是举了一些实际的例子。
隐喻的处理方式分2类，一类是基于规则的，一类是基于统计的。
我觉得我们可以和俞老建立起来一些。将来会对我们有用处的。

智能搜索的未来 MS 刘激扬

主要提出了从搜索引擎到决策引擎的概念。剩下的时间在介绍Bing怎么怎么好。

阿拉丁背后的故事 百度 廖若雪

介绍了下阿拉丁的一些案例。整体思路和雅虎的Search Monkey没太大的区别。

其他会场也大概听问了下随行同事的感觉，总觉得这次百度的大会更像是营销的大会。注重概念，但是没有带给大家太多真正创新的东西。当然概念的传递也很重要。这是我们目前缺乏的，需要尽快的补上。

相关日志

]]> http://www.thinktag.cn/archives/505/feed 0 Wolfram Alpha の初步印象 http://www.thinktag.cn/archives/325 http://www.thinktag.cn/archives/325#comments Sat, 13 Jun 2009 03:58:32 +0000 Rogers http://www.thinktag.cn/?p=325 Wolfram Alpha 出来有一段时间了，我们在这里有过第一时间的介绍。我也一直想写点关于这个新的玩意儿看法，但是始终没有想好应该怎么去写。因为它独特，完全不同于当前的搜索引擎。如果说它意味着搜索引擎的一个新的时代，可以挑战Google，我觉得有些言之为过。不过目前看它至少提供给了人们一个新的搜索工具，和一个数据收集和处理的思路。

对于用户搜索目的我们可以大致分成几类：

  1. 一类是找答案的，例如K2峰的高度，明天的天气…这类的意图的用户只希望一个结果，不需要更多的查找资料。
  2. 一类是知道这个东西必然存在，但是不知道它在什么地方。比如找某个软件的下载，或者某个网站。
  3. 还有一类是出于调研的目的希望获取到更多的资讯，这时候希望的结果就是越多的参考越好。比如写个文论查个资料。

如果你的搜索目的是第一类的话，那Wolfram Alpha应该可以比较好的满足你的需要。而且它除了可以满足查明天的天气一类的简单需求，还进行数据的对比，甚至可以满足具有一定计算需要的需求。比如”next solar eclipse in Beijing”。另外比较有意思的是Wolfram Alpha和普通搜索引擎不同的是还把对用户Query的分析和Rewrite的过程都展示了出来。不知道是否是目前测试阶段debug的需要。

不管怎么说Wolfram Alpha提供了一种全新的搜索方式，也给我们描绘出了将来语义网(Semantic Web)的一个美好的前景。不太清楚Wolfram Alpha是如何收集和提取数据的。不过令人担忧的还是它能覆盖多少面的问题，如果只是很小的一个部分那还只能是当成某个领域特用的搜索或者一个实验室的原型。再扯开了YY下，将来如果我们的SPU建设如果真的十分的完备，甚至成为了业界的标准，那我们也完全可以做到这个地步。所以SPU这条路还是非常有长远意义的，道路会漫长而艰辛。

msft-goog-wolframalpha

Query: MSFT vs. GOOG

next-solar-eclipse-in-beijing-wolframalpha

Query: next solar eclipse in Beijing

相关日志

]]> http://www.thinktag.cn/archives/325/feed 0 looking forward to Wolfram|Alpha http://www.thinktag.cn/archives/310 http://www.thinktag.cn/archives/310#comments Wed, 10 Jun 2009 08:53:35 +0000 Ronaldo http://www.thinktag.cn/?p=310 wolfram_alpha_logo_may09最近了解了一些关于WolframAlpha的信息，这是一个还没发布就被媒体宣传成下一代搜索引擎的网站。作者Stephen Wolfram是美国计算机界的传奇人物，他最大的两个成功的事情，是做成了Mathematica和A New Kind of Science。最近几年，他把精力放在了Wolfram|Alpha这个搜索引擎上。

大体情况，是他通过Mathematica和A New Kind of Science这两个项目得到了灵感，认为可以尝试自然语言之外的另一条路。因为要让机器来理解自然语言难度太大，现在没有好的办法来解决，但对于数学公 式，他和他的团队都再熟悉不过，所以，他们做了这个新的搜索引擎。

Wolfram|Alpha的工作原理不太好理解，大体是将自然语言的 一些特点转化成一个个相应的数学公式，通过大量的计算，来得到结果。现在我们去google搜索，得到的是其它网页上类似的东西，然后人为的去找有没有需 要的结果，但Wolfram|Alpha会尽可能直接给出部分问题的结果，而不是只给一些相关的网页。

Wolfram|Alpha会在五月发布，从上周起，已经收到好几封发布前的宣传邮件，今天的邮件里说有全球范围有三百人对Wolfram|Alpha作出了评论，这些评论来自很多网站和博客。

大家都在期待能尽快看到这个神秘的搜索引擎是什么样子。

对 于数学计算，结构化的垂直搜索引擎是否也能有一些创新的地方？对于垂直搜索来说，用户的目的更明确，query词的特点更明显，特别对于购物，大家关注的 就是价格，质量，信誉，运送时间和售后。而采购和销售，对于某个行业或者某个地域范围，大多是可以总结出一定的规律的。比如美国的商人买木材，可能会选择 巴西，但如果买服装或者小家电，可能就会选择中国了。这点值得思考一下

相关日志

]]> http://www.thinktag.cn/archives/310/feed 1 Google AutoSuggestion 功能升级 http://www.thinktag.cn/archives/242 http://www.thinktag.cn/archives/242#comments Thu, 04 Jun 2009 04:54:59 +0000 Rogers http://www.thinktag.cn/?p=242 Google升级了在海外的Auto Suggestion功能，简单的说增加了如下几个Features。记录下，便于今后产品改进时候学习。

  • 改进了在结果页的搜索框也增加了Auto Suggestion的提示逻辑。之前是根据输入的内容提示，改进后根据当期页面结果的内容进行提示。比如在首页输入M，提示的会是Myspace之类的热门Query，但是在结果页以介绍Mp3为主的页面提示的则可能是Mp3相关的Query优先推荐。
  • 加入个性化推荐的内容。这部分内容来自于Web History的里记录的内容。同时你可以通过上面提供的remove功能删除。

personalized-suggest

  • 增加了导航类的提示。这点之前我们在雅虎的Suggestion里面也增加过。有道也有过这样的功能。
  • 在Suggestion里面增加了广告。目前处于Beta的阶段。

sponsored-link-in-suggest

其实对于这个区域还有很多更花哨的方式，今后有机会再一一列举。

相关日志

]]> http://www.thinktag.cn/archives/242/feed 0 微软有Bing http://www.thinktag.cn/archives/216 http://www.thinktag.cn/archives/216#comments Wed, 03 Jun 2009 11:39:32 +0000 Rogers http://www.thinktag.cn/?p=216 抱歉我用这样的标题，但是这确实是我知道微软发布了自己最新的搜索Bing之后的第一反应。从最初的MSN Search到后来的Live Search，再到Kumo，直到今天变成Bing。这一系列的变化如果从营销角度而言不说因为微软有“病”的话恐怕很难解释了。

说起来微软这个互联网的后知后觉者。在搜索方面虽然投入了大量的金钱希望能够追赶失去的市场，但都没有多大的斩获。这次6月初Bing的推出也算是给人耳目一新的感觉。确实在产品的改进和局部创新做了不少的功夫。如果说这种维持性的产品改进和创新因此能改变用户的使用习惯，撼动搜索的格局，目前我并不看好。但是，不管怎么说这也算是微软走出了它的第一步。

我在网页搜索上尝试了一些Query，发现Bing也像目前主流的搜索引擎一样引入了Shortcut，同时在搜索结果上采取了Universal Search的概念。

001

例如输入Cannes Film，可以看到相关搜索放到了左侧，增加了搜索历史。同时左侧根据内容特别分出了News这个TAB，右侧North是Shortcut，South上放了News的结果。

002

输入Nikon D90，第一条结果Blending了Shopping的结果，同时在网页自然结果中分别展现了诸如Rview的结果分类，确保了结果的多样性。最后还Blending了图片和视频的结果。在North、South、East都有P4P广告。

004

输入iPhone，展现Best Match的结果，其他的和Nikon D90的商品类Query区别不大

006

输入Google，在当前位置提供一个搜索框继续搜索，不过如果要找关于Google的自然结果还得再点击下面的连接才能展现网页的结果。

此外在其他垂直的搜索，如视频、图片、地图搜索等方面也有很多不错的改进，我只是很肤浅的看了看，更多的使用特性可以看这里。其实老实说也许现在Bing的搜索结果看起来不比Google或者Yahoo差，甚至要略好了，但是往往真的占住市场的并不一定是技术最好的。要真的抢占市场估计还要利用Windows和Office系列的强大优势占领入口，同时配合上清晰的市场营销像用户传递Bing的定位，也许是定位在购物、出行等快乐生活，享受生活方面？

在中国，微软对Bing的解释是“必应”，但是我估计更多的人还是会第一反应是病。不过对于在中国市场来说还是尽快结果Bing不能访问的问题比较好。

相关日志

]]> http://www.thinktag.cn/archives/216/feed 0 Are User Ready for the Faceted Search http://www.thinktag.cn/archives/212 http://www.thinktag.cn/archives/212#comments Wed, 03 Jun 2009 01:13:30 +0000 winso0on http://www.thinktag.cn/archives/212 Are users really ready for faceted search?

Taxonomy Is User Experience

相关日志

]]> http://www.thinktag.cn/archives/212/feed 0 A Look at “Guided Navigation” for Enterprise Search http://www.thinktag.cn/archives/191 http://www.thinktag.cn/archives/191#comments Sat, 30 May 2009 12:22:46 +0000 winso0on http://www.thinktag.cn/archives/191 Endeca ProFind 4.5 at a Glance
Product:Endeca ProFind 4.5
Platform:Linux,Solaris,Windows 2000 and XP
Purpose:Index both Web and enterprise content and data,
creating browsable,categorized results.
Secret Sauce:
‘Guided Navigation’通过自动生成分类和元数据的方式，
是搜索结果获得更高的可用性，并且它也是一种很好的
直观发现机制
Caveats：
同企业搜索比较，GuidedNavigation更适合电子商务数据
Introduction：
自1999年开始，Endeca公司的创办者试图找到一种更好的
方法来整合组织企业数据，尤其是在日益增长的企业数据
集合中找到一种更好的导航方式。
Endeca公司开发了‘Endeca Navigation Engine’，它是
历史上第一个基于‘meta-relational ’索引的Navigation
解决方案。
Guided Navigation：
随着将‘非结构化数据’自动元数据化，GuidedNavigation
成为了Endeca解决方案的一个核心功能。理论上，类目的浏览
可以帮助那些不熟悉数据且不太会使用搜索的用户。但是，
GuidedNavigation已经远远超过了典型的‘单层/平面类目浏览’
方式的导航，它远比这复杂的多，但相对‘单平面的类目浏览’
来说，搜索信息的时候，他往往更加实用和有效。
-GuidedNavigation针对每一个数据记录，构建了无数的有效
路径，相对Taxonomist方式，用户可以通过不同路径看到
同一条数据记录
-GuidedNavigation可以让用户自由的选择自己偏好的方式和
路径，而不是强迫他们用一套不变的路径
-GuidedNavigation引擎根据用户的每一次点击行为计算更新
Navigation‘s options，用户看到的每一个路径和内容，都
是具备有效性的，那些没用的结果或者导航信息会随着Navigation
引擎的update而自动被丢弃；
-Endeca’s version of Guided Navigation can integrate text search at each step.
Benefits：
-结合结构化和非结构化信息的匹配情况，在结构化信息，非结构化信息
和半结构化信息中有针对性的搜索和相关性排名算法
-多层的导航维度，充分的利用上下文信息
-每一个结果页面都是十分匹配当前用户意图的，用户通过一次点击
就可以重组这些信息；

PS,要弄明白GuidedNavigation和类目的关系，可以试着理解下面这句话

“Four independent categories [facets] of 10 nodes
each can have the same discriminatory power as
one hierarchy of 10,000 nodes.”
-Joseph Busch, Taxonomy Strategies

相关日志

]]> http://www.thinktag.cn/archives/191/feed 0 搜索的难题之Invisible Web/Deep Web http://www.thinktag.cn/archives/65 http://www.thinktag.cn/archives/65#comments Sun, 01 Mar 2009 07:24:11 +0000 Rogers http://www.thinktag.cn/?p=65 Deep Web (invisible Web) 中文可以翻译成深层网页或暗网。迈克尔.伯格曼将当今互联网上的搜索服务比喻为像在地球的海洋表面的拉起一个大网的搜索，巨量的表面信息固然可以通过这种方式被查找得到，可是还有相当大量的信息由于隐藏在深处而被搜索引擎所错失掉。

数据来源：“Accessing the Deep Web”, Communications of the ACM, May 2007

Deep Web所涉及到的数量级要比我们想想的要大。实际上可以由搜索引擎的蜘蛛抓取的部分只是这巨大冰山浮出水面的很小的一部分。根据上图的一组数据所示，实际我们目前主流的搜索引擎只覆盖到了其中的37%这样的数量级。所以如何获取更深层网页是各家搜索引擎所面临的挑战和机遇。

通常Deep Web由以下几个原因产生：

Dynamic content，由程序动态生成的内容。特别是像很多大型企业或者学术机构的数据库，其中存放着大量有价值的信息，但是获取他们都需要通过用户进行特定的Query查询才会返回结果。这样交互获取内容的方式使得依靠通过链接获取内容的搜索蜘蛛失效。

Unlinked content，没有链接的内容，或者说是很少有链接的内容。例如，当你的网站刚建立的时候，它对于搜索引擎来说就是数据一个信息的孤岛。

Private Web，这部分内容涉及到访问授权。通常为人为限制，例如需要用户输入用户名和密码才能访问。

Contextual Web，上下文关联内容。这部分内容我觉得也可以归纳到第一部分Dynamic content中。因为它的产生通常都根据实际的情况动态的产生。例如某些推荐引擎生成的结果会根据用户不同的行为，时间，地点产生不同的结果。

Limited access content，这部分我认为也可以算是因为人为限制访问产生的内容。

Scripted content，这部分主要只通过Javascript的方式产生的内容，例如通过Ajax这样的方式交互产生。

Non-HTML/text content，这部分主要涉及非文本的信息，例如DOC、PDF、SWF等多种格式。可喜的是目前搜索引擎已经部分解决了这个问题。对于PDF、DOC这类的格式有一定的支持。

对于处理的Deep Web问题的难点和处理优先级来说解决Dynamic content的问题是当前各家搜索引擎的重中之重。在这个问题的解决上各家有个家的方法。正面进攻和迂回策略两种渠道兼并。

正面进攻从原理上来说可能我们遇到这样的Dynamic content之后先要识别它的类型和交互方式，如果是数据库类的可能需要先用少量的刺探性质的Query来尝试分辨它的类型和规模，确定后然后再用一组特点的Query去抓取内容分析页面结构。当然这个从理论到实践的过程必定非常的复杂。

至于迂回的策略我认为雅虎目前鼓吹的BOSS和Search Monkey就可以算是这类的方式。它通过开发的API允许用户主动的将结构化的数据提交上来。站点在一方面获取到在雅虎结果页更丰富的结构化展现和搜索技术外，雅虎也在这个过程中获取到了自己所需要的数据。当然这也仅是理论的方式，能收集到多少有效的数据还需要静观其效。

这条路上不乏一些先行者，例如犹他大学的DeepPeep.org就是其中之一。国内的百度也推出了自己的阿拉丁计划，其目的也是为了解决这个问题。同样这个问题的探究对于我们ASC来说也具有非常重要的意义。可以想象，一旦通过技术的方式打通了各个数据库之间信息的隔阂，那么这些结构化的数据将帮助我们加速在语义网(Semantic web)上的进程。技术的创新很有可能会再次重写互联网的格局。

相关日志

]]> http://www.thinktag.cn/archives/65/feed 0 Satnam Alag访谈：推荐搜索引擎 http://www.thinktag.cn/archives/62 http://www.thinktag.cn/archives/62#comments Sun, 22 Feb 2009 14:16:48 +0000 Rogers http://www.thinktag.cn/?p=62 原作者: Richard MacManus
译者:ASC 叶一中

近期，大家都在探讨推荐搜索引擎，主要是学习Amazon和Google是如何通过自己搜索引擎把产品和资讯推荐给自己的用户。

我们有幸采访了Satnam Alag先生，Satnam Alg先生是近期出版的书名为实战集体智慧的作者，在这本书中，Satnam Alag先生谈到了一个优秀的推荐搜索引擎需要什么，推荐搜索引擎技术的未来的发展方向，以及为什么Netflix会在改进自己引擎方面如此艰难。

披露：我写了实战集体智慧这本书，但对这本书我绝对没有任何的经济目的。

ReadWriteWeb：在我们近期关于Netflix公司的文章中，我们确定了四种主流推荐搜索引擎模式：个性化的推荐搜索引擎：根据以往的用户行为;群体行为推荐搜索引擎：根据以往的类似的用户行为；商品推荐搜索引擎：根据产品本身特点；以及上述三种的方法的组合。您是否同意我们文章中说的这4种类型的分类呢？

Satnam: 这四种分类非常全面。在我的书中，我还提出了另外一中分类建议。我归纳了两个最初级的种类。第一类，商品相关性类，推荐某一商品的相关产品。当用户选择了某商品，我们就推荐她和该商品相关的商品。第二类，用户行为分析类，根据对用户的分析，确定类似的用户。

更进一步的说，主要有2种方法可以找到相似的产品和用户。第一种，基于内容文本的检索，和item相关的内容，特别是文字，可用来计算相似性。第二种，用复合的方法，用划分等级，标签等等用来寻找类似item。对于第二种用户行为的检索，目前采取的办法是，根据包括个人基本资料信息，用户的历史行为，用户好友列表来推荐信息。当然，您也可以结合任何这些搜索item/用户行为和网页内容/复合计算的方式建立一个推荐搜索引擎。

了解具体item和用户空间的规模，对于我们在决定是采用搜索item检索还是采用户行为分析检索有非常大的影响。一般来说，搜索item检索比较适用于用户数量很小的情况。随着用户群的扩大，搜索item分析法需要用户行为分析法来弥补不足。

ReadWriteWeb：除了Amazon和Nerflix以外，还有哪家公司的推荐搜索引擎给您留下了深刻的印象？

Satnam: 除了Amazon和Nerflix以外，个性化的Google News频道是我最喜欢的。Google News是建立一个大规模的推荐搜索引擎的一个非常好的案例，她拥有数量庞大的用户群（每月数以百万计的独立用户）和庞大的搜索item（每2月数以百万计的新闻故事），而且这些信息在不断的变化。这一点和Amazon非常不一样，Amazon的信息更新率要低得多得多。Google为她的推荐搜索引擎采用复合筛选的决定主要是基于她数量庞大的用户群体以及这个技术同样可以广泛地应用于不同的任务，国家和语言。一个基于内容的检索方法或许同样可以做到这样的水平，但是，这就必需解决语言和地域的限制问题。Google希望能够通过调节这个复合筛选技术来解决内容分析方法难以解决的图片，video，还有音乐方面的推荐。

目前，我个人最喜欢的是我目前公司研发的NextBio。这个引擎目前还不可用，但应当在下个月可以上线。这个搜索引擎的最关键的一点就是对本体论的强大应用，类似于标签的概念，制作用户和搜索item的通用词表。然后该系统利用个人资料，以及用户交互信息，包括短期和长期的信息，提供搜索推荐。该系统充分利用了搜索item检索和用户行为分析检索2种方法。

ReadWriteWeb：您认为推荐搜索引擎可以在未来的几年内可以带来什么样商机呢?

Satnam: 一个优秀的个性化的推荐搜索引擎可以说是网站的成功和失败的分水岭。由于现下的大多数情况下用户都在进行互动并互相补充各自的内容，新的内容，以惊人的幅度不断整合。在正确的时间，给正确的用户推荐正确的内容，对于提升客户粘度至关重要。我无法相信一个网站可以没有一个为用户提供个性化体验的推荐搜索引擎而获得成功。

ReadWriteWeb：在您的书中您讨论了符合搜索过滤机制。您能告诉我这个系统是怎么融合到推荐搜索引擎的机制中去呢？

Satnam: 近些年，不断增加的用户信息交互行为提供了大量的可以转化为人工智能的信息。这些交互信息会以评价，博客，标签，用户关系，对某共享共同的兴趣的形式存在。这些信息曾多得让系统产生信息过载的问题。而现在，我们需要的是一个可以向用户推荐符合用户的兴趣并可以与用户互动的产品信息的搜索引擎。因此，个性化的推荐搜索引擎应运而生。

在我的书中，我从整体的角度来看待如何加强信息对个人的应用这个问题，而推荐搜索引擎将是一种不错的解决途径。这本书主要从内容文本检索和复合检索2个角度来编写推荐搜索引擎。它着重于获取用户的相关信息，包括相关应用的内外的信息，然后转化成相应的推荐。你编写的推荐搜索引擎的目的就是让你的网站使用这个推荐搜索引擎从而向用户推荐各种信息。读我的书的人应该能够根据我描述的方法建立这样一个推荐搜索引擎。

ReadWriteWeb: Netflix公司曾宣称如果有团队可以把他的推荐搜索引擎运算法则精确度提升10%，将可获得100万美元的奖金。现在时过2年，某些技术领先的团队已经达到了9.63%的精确度提升。尽管10%的提升将很有可能在短期内实现，有些怀疑论调依然存在，因为这些参选者目前只是在现有的基础上进行程序修补。你是否也认为这个10%能够在短期内实现呢？

Satnam: Netflix公司的推荐搜索引擎-Cinematch，使用的是类似于Amazon的通过一定数据的物物关联预算法则。由于Netflix的推荐搜索引擎目前本身已经是一个非常成功推荐搜索引擎，仍然能够将其提升高达9.63 ％的精确度是非常惊人的。当然，Netflix公司的这场竞赛，并没有考虑到速度的可行性或方法的可扩展性。它只是侧重于在缩小网站预期评价与用户评价的差距来评价搜索引擎推荐的信息质量。因此，目前尚不清楚Netflix公司是否能够将这次竞赛中产生的所有创新应用于实际。此外， Netflix公司没有符合文本分析法所需的大量的数据，正是出于这个原因，那支团队主要采用了复合过滤机制。

下面是实现10%精确度提升的挑战：

数据分布不均衡：此次竞赛的数据，包括1亿多匿名电影评级，评级范围是1至5星级，由480000用户和17770部电影组成。请注意，用户目标数据的人气分布严重偏低，有近99 ％的用户目标条目为零。每位用户的电影浏览分布也是不均衡的。中等浏览量的用户通常观看93部电影。约10 ％的用户为16部电影或更少，而25 ％的用户为36或更少。而有两个用户评价了多达17,000部电影。同样，每部电影的收视率也不均衡：几乎有一半的用户评价了一部热门电影（选美小姐） ;约25 ％的电影有190个或更少的评级;以及少数电影只有少于10次评级。

方法论：目前的胜出团队，BellKor，为了找到成功的解决方案花费超过2000个小时的数据浏览。该获奖解决方案是一个107套预测方案的线性组合。许多算法融合了k-NN模型和潜在因素模型，如奇异值分解/狭义Boltzmann分解模型（RBMs）

该获奖解决方案使用的k-NN模型来预测一个用户评价，同时利用皮尔逊的相关性和余弦的方法来计算的相似度，并更正搜索item特殊性和用户特定的偏见。该获奖解决方案同时也广泛应用了潜在语义模型。

BellKor小组发现，使用各种不同的模式来弥补各种捷径的不足是非常重要的。没有一个单独的模型可以达到的BellKor团队达到过的顶点。合并后的模式实现了8.43 ％的提高，超过Cinematch，而最好的方式-一种混合的K-NN网络应用于RBMs改善结果输出的方法实现了6.43 ％的改进。最大的改进方法是LSI的5.1 ％，最好的最纯纯的K-NN模型得分尚低于此（K在K-NN模型中是介于20至50的值。）。BellKor团队也采用了一些探索法，以进一步改善的结果。

BellKor团队展示了该竞赛中如果建立这样一个成功的解决方案的一些方法指南：

组合互补的模式，来帮助提高整体解决方案。请注意，线性组合的三种模式，分别对K-NN,LSI，RBM进行组合，将产生较好的效果，实现7.58 ％的提升。

优化的解决方案需要一个有原则的方法。

获胜的关键是建立一个可以准确预测时有足够的数据支持的模型，而不是一个没有足够的数据支持的模型。

最后的解决方案将遵循同样的思路，结合多种型号的启发式思维。参赛者将可能在未来一年或两年内达到魔术般的10 ％大关。

ReadWriteWeb: 有些人认为10 ％的大关是不可能单独依靠算法来实现的，“人”的因素将是必不可少的。例如， ClerkDogs采用视屏产品商店的前雇员来“创建一个比符合搜索引擎更丰富、更深度的数据库。”的服务。这是一种类似于Pandora的方法，它拥有50名员工来听取和标记各种歌曲。你认为算法可以在推荐搜索引擎中支持多远？

Satnam: 推荐搜索引擎并不是完美的。要编写一个成功的推荐搜索引擎需要考虑很多因素，包括方法，计算的速度，潜在模型，数据的采集验证等等。但实际应用证明，若我们可以研发更个性化的推荐搜索引擎，将产生较高的点击率，更大的客户粘性，并降低跳出率。

利用人工形成的丰富资料库工作可以应用于较小的数据的搜索推荐搜索引擎，但它的成本可能仍显得过于昂贵。我并没有看到人类与机器之间的相互竞争。即使人类/专家的推荐，我们也需要先找到一个和用户口味类似的人/专家，而且这往往需要排一个非常长的队伍。

原文:Recommendation Systems: Interview with Satnam Alag

相关日志

]]> http://www.thinktag.cn/archives/62/feed 0 未来的搜索 (The future of search) http://www.thinktag.cn/archives/61 http://www.thinktag.cn/archives/61#comments Sun, 22 Feb 2009 14:12:09 +0000 Rogers http://www.thinktag.cn/?p=61 原作者: 梅里莎·梅尔

我是一名“搜索狂”。我天生就对很多事物非常好奇——并希望能够找到答案。再说了，我已经在谷歌工作了9年零3个月。毫无疑问，我平常会进行大量搜索活动。尽管我有大量疑问希望通过搜索引擎得到答案，但大致估算起来，我每天只能搜索其中20%的问题。上周六我接受了《洛杉矶时报》的采访，当时谈到了一些有关搜索的问题，但限于采访时间不够，我当时未能把问题讲透。今天特地在此谈谈我个人的看法。

我经常想，“”fab”、“goy”、“eely”这些字母组合究竟是不是英文单词？我住处附近的J.C. Penney百货公司周六究竟几点开门营业？我所居住城市附近的水电站每年能发多少度电？……这个疑问名单可无休止地开列下去。总而言之，我想表达两点意思：1)我可以通过搜索引擎找到答案。2)搜索产业仍有很大改进提高的空间，搜索技术本身还可大幅向前发展，这样才能最大程度地满足用户搜索查询的需求。

下面我来谈谈今后10年内全球搜索产业可能发生的主要变革：

模式

我的第一个疑问是，为何我想进行搜索的时候，却无法使用搜索引擎？原因就是目前搜索服务还不具备足够的移动性能，易用性也有待提高。换句话说，今后用户应该可在手机、汽车及任何手持设备中使用搜索引擎。我们在谈及搜索模式时，不仅是说要增强它的移动性，而且还涉及到语音搜索和语义搜索(注：所谓语义搜索，即让搜索引擎理解符合人类语法习惯的句子)。

如果我们把思路再扩大一点，或许今后我们在进行搜索活动时，已不再需键入关键词，而是可以直接输入图片等材料。举例来说，如果我们向搜索引擎提交一张鸟类图片，搜索引擎就会告诉我们这种鸟儿的名称。如果我们提交一段音乐，搜索引擎就会告诉我们词曲作者、歌曲风格、演奏者等相关情况。虽然目前有的搜索引擎已推出类似服务，但易用性和准确性还有待提高。

今后10年内，我们将看到搜索模式出现重大变革：手持设备可提供搜索服务。由于手机互联网产业的普及，手机互联网搜索易用性将大为提高。人们在进行搜索活动时，既可键入关键词，也可使用语音、手势、图片甚至歌曲来提交搜索问题。

媒体

今年5月，谷歌推出了通用搜索服务，即在搜索返回页面中包括图片、视频、新闻、书籍、地图/位置等信息。虽然该功能还有待完善，但毕竟我们已迈出了重要一步，因为我们的搜索结果已涵盖了富媒体内容。

过去一年中，谷歌一直致力于充分利用这些新型页面结果，并逐步改变用户界面的设计，从而提高用户的搜索体验。今后数月中，谷歌将继续对这项服务进行完善提高。但这种改变仅仅是个开始。

今后10年内，搜索产业的现有格局将发生革命性变化。或许今后搜索结果页面中将包含更多视频和图片，或许搜索答案的准确性和相关性将进一步提高。虽然我们还无法预知其具体结果，但无论怎样，当前的搜索引擎已无法满足网民查询媒体内容的需求。

个性化

今后10年内，全球各大搜索引擎的性能都将大幅提高，而谷歌搜索每天也进步。我们每天都在致力于提高搜索结果的准确性和相关性，并把最新技术开发成果应用到实际服务当中。这种改进不但有利于提高谷歌自身实力，其他搜索引擎也可从中借鉴有益经验。由此看来，搜索引擎性能肯定会越来越好，但问题是它们究竟会好到什么程度？

这个问题的答案是：搜索引擎将越来越懂得特定用户的查询需求。当然，对于单独用户而言，你肯定能够控制个人信息，搜索引擎在收集你的上网习惯等信息时，事先会征得你的同意。但按照搜索技术的发展趋势，今后搜索引擎将越来越懂得个人用户的特定需求，并能提供更符合个人需求的搜索答案。

或许搜索引擎将来会了解你所在位置，或许了解你此前已进行了哪些搜索活动。但无论如何，搜索引擎将完全理解你的搜索意图，原因是你已经选择与谷歌共享你的上网习惯等信息。总而言之，我们搜索团队正加强技术开发，以向用户提供更为个性化的搜索服务。

位置

搜索引擎知道用户所处位置，是搜索引擎向用户提供个性化服务的重要基础之一。因为搜索引擎了解到你所处位置后，就能够向你提供更为准确的搜索结果。举例来说，如果你想知道J.C. Penney百货公司周六究竟几点开门营业，搜索引擎知道你所在位置后，就可把离你最近一家J.C. Penney百货公司的相应营业时间返回到搜索结果中。

社交

在个性化搜索服务中，重要内容之一就是查找社会关系人员。通过社会交往，我们可借鉴他人的成功经验。在遇到困难时，我们可寻求朋友的帮助。无论我们在学习、体育、健康和饮食等方面遇到了问题，我们都可通过个性化搜索服务来找到答案。今后搜索引擎将提供“好友增强”模式，这样就能找到更为准确的搜索答案。

语种

我们前面谈到了搜索模式、媒体、位置及社交等个性化搜索服务。但我们还得注意一点，这就是不同语种的搜索。在很多情况下，我们都知道互联网存在着我们需求的答案，只是这种答案以另外一种语言写成，而我们又看不懂。此前谷歌已推出了机器翻译服务，目的就是让所有语种网民都能找到自己想要的答案。

换句话说，如果用户查询某个问题的答案已以其他语种形式发布在互联网上，谷歌将把该答案翻译成该用户能看懂的本地语言。我们这方面的工作正处于起步阶段，今后我们将加强谷歌跨语言搜索服务的实力。

结论

我们都知道工作效率中的“八二法则”，即最后20%的解决方案将占据80%的工作量。就搜索产业而言，则应该变为“九一法则”，即搜索产品已解决了90%的问题，余下10%的问题却要占据90%的工作量。如同16世纪和17世纪的生物学一样，当时生物学还只是一门新科学，虽然当时实现了诸多技术突破，但是在一百多年甚至更长的一段时间之后，我们才拥有了显微镜，并了解到原子的存在。就如同数百年前的生物学一样，互联网许多重大发现还没有被察觉到，这也正是互联网搜索的魅力所在。

那么理想境界的搜索引擎应该是个什么样子？简而言之，完美状态的搜索引擎应充分懂得特定用户的查询需求，然后向用户提供最为准确的答案。我对谷歌过去10年中取得的成就引以自豪，但我更看重谷歌今后10年内的发展。

原文出处:The future of search

相关日志

]]> http://www.thinktag.cn/archives/61/feed 0