一淘公达:解决个性化搜索中的时效性与数据碎片化

原创
开发 项目管理
在2013年阿里巴巴集团主办的ADC&#8226;阿里技术嘉年华,这是一场专属于<互联网工程师>的“技术盛宴”,倡导<干货分享>的大会上,51CTO记者有幸采访到了一淘的个性化搜索专家 陈曦(公达)老师,主要针对目前个性化搜索中面临的一些重要的问题采访,比如SEO与个性化之间的问题,防止过度个性化,以及在个性化中的时效性与数据碎片化对个性化搜索的影响。

搜索引擎诞生到现在已经有几十年历史,期间搜索技术一直在不断的变化,从最初的目录索引到关键词,以及目前正在发展阶段的语音搜索、图片搜索等等,搜索引擎在不断进化当中。如果现在来谈谈搜索引擎的下一个趋势是什么,那么个性化搜索引擎无疑是最受关注的方向,并且将成为搜索引擎的未来。因为,当前的搜索引擎尽管还能给用户提供一些有用的东西,但是因不同地区、个人兴趣习惯、社交关系等因素去搜索时,得到的搜索结果却不尽人意,这是目前搜索引擎需要改进的地方。

在阿里巴巴集团今年主办的ADC•阿里技术嘉年华这一场专属于<互联网工程师>的“技术盛宴”,倡导<干货分享>的大会上,51CTO记者有幸采访到了一淘的个性化搜索专家 陈曦(公达)老师,主要针对目前个性化搜索中面临的一些重要的问题采访,比如SEO与个性化之间的问题,防止过度个性化,以及在个性化搜索中的时效性与数据碎片化对个性化搜索的影响。

 

下面是采访实录:

记者:个性化搜索这门技术是怎么起源的?它最新的进展是什么样的情况?

公达:最早做个性化的应该是谷歌,像他们这些通用的搜索引擎,到现在阿里也开始做个性化,而他们做的效果都不是特别满意。因为到目前为止没有看到特别好的个性化搜索的产品,我们淘宝做这个个性化搜索,其实有一些自己的优势。因为我们有更加忠实的用户,有更丰富的数据,所以我们应该可以达到更好的个性化的效果。我们也是最近这么一两年来才开始做个性化的搜索。

记者:那就是说阿里在投入个性化搜索也就是最近一两年的事。到现在为止取得了怎么样的成绩?你们是怎么判断自己的成绩?怎么去衡量自己的成果?有没有觉得不满意?

公达:我们自己肯定是在个性化有自己的一些理解,比如说我们希望个性化搜索能达到什么样的效果,我们实现的时候,我们肯定会先按照我们希望的效果来做,等做出来了一个初步的效果之后,我们会让用户来通过实际的一些用户来给我们评价,到底我们的效果是不是他们满意的,我们是通过这样来评价的。

记者:在个性化搜索系统中,它的难点在于什么地方?它是技术难点还是产品难点?

公达:它应该是两方面难点都有的,比如说技术上面的话,最困难的是说我们怎么样能够把用户的个性化、个性信息描述准确。比如他的性别,或者是他喜欢的衣服的风格等等,我们怎么样能够给他预测准。第二个是预测准了之后,他到底是不是喜欢?这个其实也是因为不同的人,他对自己一些购物的特点都是不太一样,有的人虽然以前喜欢某个东西,但是突然他的信息又变化了。这种兴趣的不确定性,这是最困难的一个地方。

从产品上面来讲,其实也就是这个用户到底能不能够更加适用个性化需求的结果,他会不会觉得我们预测错了,或者怎么样的话,可能以后就不太会再用了。我们希望能够尽量预测准,那样他才会一直用下去。

记者:个性化搜索技术,在一个典型的个性化搜索团队里面,大家都是什么样的人员构成,都有哪些职责分工?

公达:首先我们有很多人是在做那些基础的数据,比如说可能会计算用户的各种偏好,这是属于很基础的数据。我们目前会有一个很大的团队来做这件事情。包括用户的各种数据,像他的年龄、性别,包括他的职业,一些购物的兴趣点之类的事情,我们都有一个比较大的团队来计算。第二个,我们会有系统方面的一些工作,比如说我们要搭建一个个性化的搜索的系统,我们有实时的个性化系统,我们搜索引擎也会支持更多个性化。第三部分,算法方面需要利用用户的一些个性化信息,然后给他推出一个合适的搜索结果。其实就是数字与系统和算法这三部分,是我们个性化主要的部分。

记者:刚才你谈到会有很大一个团队专门在做数据的搜集整理,对于个性化推荐来讲会不会有很多用户觉得侵犯到他们的隐私,你们是怎么看待这个问题?

公达:目前的话,我们倒是没有收到明显的用户投诉说我们收集到了他的隐私,其实不太正常的。因为用户的行为在淘宝上有纪录应该是一个很正常的,大家都可以认可的事情。比如说你买了什么样的东西,这个肯定是需要有纪录的,而且自己也能查看的,当然淘宝肯定是有数据。如果说用户实在是不想我们收集的话,我们以后也会提供这样的一个功能,我们可以不对他做个性化或者怎么样,都是可以。

记者:在现在的互联网企业,在什么时候才能需要到一个个性化搜索?

公达:那肯定是它的一个通用的搜索,如果说已经做的比较成熟了。对用户的数据也搜集的足够多了,如果说他有一个比较稳定的客户群,这个时候他可以考虑给他一些稳定的客户,给他们一些定制的个性化的结果。

记者:在实时计算和离线计算对于个性化搜索哪个占的优势比较多一些?你们应用比较多的是哪一个?

公达:这个应该两方面都是占的比较多的,因为离线计算的话,它是对于那种长期的偏好是比较重要的,实时计算的话对于当前用户的时时的偏好是非常重要的。这方面目前在规划里面都是很重要的两个方面。

记者:个性化搜索有一个行为叫做时效性,我听你在演讲过程当中也有讲过这个问题,你们是怎么去处理这个问题?

公达:我们首先是用户默认的,或者一个长期的偏好的模式,比如说三个月或者六个月的兴趣来算的,他实时计算当天的行为就是会放到时时的数据里面。这个实时的数据,当它达到了一定的精确度之后,就会来修改他长期的偏好,所以它应该是一个互相结合的过程。

记者:你们怎么去排除一些过期的行为?比如说比较久的?这些可能在用户当中已经并不存在了,或者他们那些行为在过程当中也会改变的等等?

公达:比较久了,那就是从长期模型里面找。长期模型里面我们肯定会考虑所谓的时间,越近的行为肯定是越重要的,越远的行为越不重要。所以既然发生的时间很久了,那么它的重要性就降低了,这样也会被新的行为所取代了。

记者:你们一般做这块的话,都是以最新的一些行为作为标准,他以前的一般就不会考虑。

公达:如果他最近的行为已经足够丰富了,那么他以前的行为肯定不重要了。但如果他最近没有什么行为,那他很久以前的行为也是有一定的好处的。

#p#

记者:在个性化搜索当中,个性化定制的功能在一淘中用户体现的是怎么样的?有没有好的反馈?

公达:个性化定制,目前用户还是比较多的,因为已经上线了一段时间了,当然用的人还是比较多的。这些用的人他会通过这个性化定制可以修改他们个性化的信息。

记者:个性化搜索,它有数据挖掘技术在里面,而对于数据的来源要求还是挺高的。在这一块,对于数据的碎片化,你怎么去解决这个问题?

公达:碎片化其实就是说这个数据很稀疏,我们是尽量丰富数据的,比如说我们可以用三个月或者六个月,或者一年的数据,用的数据越多,肯定它的吸收性能也就越好了。我们会用一类人的一些数据,比如说对于用户来说,我们是给他分一些群体,而不是说每个用户都是不一样,然后再保密。我们会给他一些比较宽泛的定义,比如说像价格档位,我们也可以分五档,并不是说分十档,或者二十档,那可能太稀释了。

记者:很多时候大家讨论个性化搜索对于一个网站的SEO其实是有一些影响的,你怎么看待这个问题?就目前大部分的网站做SEO主要是排名的竞争,很少会用到个性化搜索,你怎么看这个问题?

公达:个性化搜索的话,其实是要求他,每一个卖家能够给它提出了更高的要求。就是说它需要服务好每一类人,如果说以前的话他服务好大众的人就行了。但是现在如果他想拿到更多的流量,他就需要对每一类人都服务的好,这样他在每一类人的排序上面,可能都会比较前面。所以对于个性格搜索 来说,需要考虑的更多了一点。

记者:在淘宝上,我看到很多卖家,在关键词上面,他做了很多SEO优化,这上面什么关键词都有。对于个性化搜索来说,它有没有能够精准的定位,卖家有没有什么影响?我是说在搜很多东西的时候,卖家的关键词几乎什么都覆盖掉了,对个性化搜索有什么影响?

公达:如果说体现的关键词太多,如果说太多的话,而且是一个不正当的,甚至和宝贝并不符合的关键词,那可能本身被排起来,他是不利的。因为我们对这种乱填的关键词会有一定的处罚,如果都是正常地描述一个宝贝的关键词,那肯定是不会有太大影响。即使是个性化也是都会考虑的。

记者:你目前在做这一块的话,能讲一些目前的难点吗?就是比较困难的地方。

公达:困难的地方,我们怎么样能够把用户的兴趣描述的更准了。比如说他的购买力、他的性别等等,就是说越准确的话,用户的体验就会越好。如果给他预测错的话,他的体验就不是很好。甚至是或者会修改,或者会关闭个性化。如果说越准确的话,他肯定是越喜欢用。所以我们会让用户的体验更加地好。

记者:在目前的移动互联网发展这么快,在移动端,用户对搜索的需求还是挺高的。一般他想定位一个产品,搜索一个产品的话,他两到三步就能够精准地定位到这个内容。一淘的移动端在这方面做的如何?

公达:移动端的话,目前肯定会考虑。比如说手机的类型是iPhone还是Android之类的,或者也会考虑其他的地方。这些信息的话,肯定是一个个性化的重要信息。但是在移动上面具体有什么样的特点?这肯定也是通过模型计算出来的。因为移动上面我们也会有移动方面个性化的模型,上面可能会体现出移动上面不同的特点来。

记者:在个性化搜索,目前你认为它对一个传统搜索,是不是一个发展的趋势?未来能不能代替传统搜索?

公达:至少从电子商务这个方面来说,我觉得个性化还是很重要,未来肯定是会越做越多的。因为我们最终的理想肯定是让每一个用户都能达到最好的体验,肯定是对每个用户的个性,如果说都能够满足的好,肯定他的体验是最好的。

 

责任编辑:林师授 来源: 51CTO.com
相关推荐

2013-07-13 14:11:11

个性化搜索

2020-06-28 07:00:00

推荐系统智能商务服务平台

2023-03-21 12:46:30

智慧城市人工智能大数据

2022-11-01 07:19:45

推荐系统非个性化

2016-09-29 12:09:47

大数据搜索个性化服务

2011-08-18 18:53:30

win7

2022-09-06 17:43:02

​​AISummit数据运营

2015-07-17 07:39:44

搜索下拉框产

2013-01-07 11:18:20

2015-11-09 10:12:08

大数据个性化推荐

2023-07-12 12:02:06

WOT大数据流式数据湖

2011-01-20 10:19:21

PowerShell个性化

2023-12-20 13:50:00

SpringBootJSON序列化

2014-06-03 17:11:39

FM数据挖掘数据处理

2009-07-13 15:33:24

桌面虚拟化虚拟化IT

2017-07-13 10:52:36

个性化系统商业化

2009-02-20 14:31:25

谷歌李开复整合搜索

2017-11-22 09:24:00

2021-10-19 08:00:00

Windows 11Windows微软

2012-03-28 14:58:37

手机推送移动应用
点赞
收藏

51CTO技术栈公众号