26年CH数据科学 基于Spark国内旅游景点数据分析及推荐系统的设计与实现(26782字).docx

III摘要面向国内旅游平台信息分散、数据规模增长导致筛选困难与决策效率下降等痛点，设计并实现基于 Spark 的景点数据分析与推荐系统。系统以去哪儿旅行景点与评论为主要来源，构建城市与类别驱动的 URL 调度，结合 JSON 接口解析与 XPath 抽取完成景点属性、门票、销量、评分、评论等数据采集。利用 PySpark 完成去重、缺失填充、类型转换与异常剔除，生成列式 Parquet 数据集，并同步入 MySQL 支撑在线查询。在分析层使用 Spark SQL 进行等级、价格、评分、热度等多维统计，结合评论分词与 TF-IDF 构建语义特征，形成可视化指标与内容向量库，在推...