现在,大模型可以做私人导游,为你规划Citywalk路线了——
港大MIT等单位联合推出ITINERA,将LLM与空间优化相结合,实现个性化的开放域城市行程规划。
举个栗子,用户输入“给我规划一条包含‘巨富长’、以静安寺为终点的citywalk路线”。
ITINERA系统立马生成了一条包含若干地点的路线,并提供了相应的介绍文本。
甚至“适合情侣一起去的酒吧”“二次元圣地”“途经网红打卡点”这样的个性化需求,ITINERA也可以理解和满足。
单看可能没感觉,咱们直接对比ITINERA(左侧)和GPT-4 CoT生成的路线。
同一提示词:“我想要一个文艺的路线,要经过桥和渡轮。”
可以看到,ITINERA生成的行程会经过苏州河沿岸的几座桥和黄浦江渡轮,在文艺的朵云书店结束,并且路线较为合理,将地点集中在两个空间聚类中。
而右图中GPT选择的POI(个人偏好的兴趣点)则与用户要求的桥和渡轮不太相符,还出现了绕路、POI距离过远的情况。除了这个例子外,GPT有时还会出现幻觉,生成不存在的POI。
概括而言,ITINERA具有以下特色:
- 动态信息:实时更新POI和当前热门活动
- 个性定制:优先考虑个人喜好而非仅考虑热门景点
- 多样约束:灵活应对复杂、多样的用户需求
- 空间智能:结合空间优化算法,确保路线合理高效
ITINERA在四个城市的旅行行程数据集(1233条热门城市路线、7578个POI)上进行了训练评估。
结果显示,它可以生成比传统行程规划、直接使用LLM等方法更优的效果。
目前相关论文已被KDD Urban Computing Workshop (UrbComp) 2024收录。
五大模块组成ITINERA
下一个问题来了:咋做到的呢?
如下图所示,ITINERA由大模型驱动的五个模块组成。
首先, User-owned POI Database Construction(UPC)模块从社交平台上的旅游内容中收集、构建用户兴趣点数据库。
为了规划符合用户请求的行程,Request Decomposition(RD)模块对用户的偏好进行解读和整理,转换为结构化的数据形式。
Preference-aware POI Retrieval(PPR)模块将会根据用户偏好进行检索,获取最相关的若干个兴趣点。
为了确保行程在空间上连贯,作者采用了Cluster-aware Spatial Optimization(CSO)模块,通过解决分层旅行商问题来空间过滤和排列检索的兴趣点。
最后,Itinerary Generation(IG)模块将候选兴趣点集与多个约束相结合,使用大模型生成既空间合理又符合用户请求的旅行路线及相关描述。
原理摸清了,ITINERA实际表现如何呢?
为了搞清这个问题,作者收集了来自四个城市的旅行行程数据集,包括用户请求、相应的城市行程路线以及详细的兴趣点(POI)数据。
通过POI的召回率(RR)、总路程与理论最短路径的差值(AM)、路线中的交叉点个数(OL)、未知POI比例(FR)等客观指标,评测个性化推荐POI的准确度、与用户请求的匹配度,以及生成路线的空间合理度。
甚至为了解决兴趣点吸引力、用户请求匹配度等方面无法量化的问题,作者还采用了LLM自动评估POI的质量、路线的质量、行程和用户请求的匹配程度。
可以看到,与GPT-3.5、GPT-4和GPT-4 CoT等其他方法相比, ITINERA系统在所有指标上均表现更好。
在用户和专家评估的POI质量(POI Quality)、行程质量(Itinerary Quality)和匹配度(Match)方面,ITINERA系统也获得了更高的评分。
总体来说,ITINERA能够从自然语言请求直接生成个性化、空间连贯的citywalk行程,不仅探究了大模型时代的开放域行程规划问题,还提供了在城市应用中利用大模型解决复杂空间相关问题的思路。
更多方法细节和实验结果,欢迎阅读原文了解。
论文:https://arxiv.org/abs/2402.07204