手把手教你用Python替代Mapinfo更快查找两张表中距离最近的点

开发 后端
本文介绍了如何利用Python计算两个经纬度点间的距离,并在两张表间进行最近点计算,这本来是Mapinfo的分内之事,但数据量大时就处理不动了,Python处理速度快,还能对数据进行预处理,正是由于可以自己优化代码,可以无限提高运行速度,比如数据切块处理。

[[387827]]

 一、前言

大家好,我是崔艳飞。工作中有时需要把A表中的经纬度点,从B表中匹配一个最近的点出来,用Mapinfo也可以实现,但处理速度慢,特别是数据量大时根本处理不动,此时用Python就能轻松实现,还能显示处理进度,详细如下。

二、项目目标

用Python实现两张表间最近点的计算。

三、项目准备

软件:PyCharm

需要的库:pandas, xlrd,os

四、项目分析

1)如何选择并读取要处理的Excel文件?

利用os、xlrd,选择要读取处理的Excel文件。

2)如何计算两个经纬度点的距离?

利用pandas库读取两张表的内容,再定义函数计算两个经纬度点的距离。

3)如何循环计算并保存最近一个点的数据?

利用For循环,对两张表的内容进行循环读取,通过If判断保留最近的距离点数据。

4)如何保存结果?

利用to_excel保存,得到最近点的数据。

五、项目实现

1、第一步导入需要的库

  1. import pandas as pd 
  2. import xlrd 
  3. import os 

2、第二步选择并读取要处理的Excel文件

  1. path="D:/a/" 
  2.    #获取文件夹下所有EXCEL名 
  3.    bb = path + 'result.xlsx' 
  4.    writer = pd.ExcelWriter(bb,engine='openpyxl'
  5.    xlsx_names = [x for x in os.listdir(path) if x.endswith(".xlsx")] 
  6.    # 获取第一个EXCEL名 
  7.    xlsx_names1 = xlsx_names[0] 
  8.    aa = path + xlsx_names1 
  9.    #打开第一个EXCEL 
  10.    first_file_fh=xlrd.open_workbook(aa) 
  11.    # 获取SHEET名 
  12.    first_file_sheet=first_file_fh.sheets() 

3、第三步循环计算并保存最近一个点的数据

  1. for i in range(h1): 
  2.      w1=df1.loc[i,'纬度'
  3.      j1 = df1.loc[i,'经度'
  4.      d1 = df1.loc[i, :] 
  5.      d0=10000000000000000000000000.0000 
  6.      print("原小区第%d个。" %(i+1)) 
  7.      test_dict = {'距离': [d0]} 
  8.      d3 = pd.DataFrame(test_dict) 
  9.  
  10.      for l in range(h2): 
  11.          w2=df2.loc[l, '纬度'
  12.          j2=df2.loc[l,'经度'
  13.          d=haversine(j1, w1, j2, w2) 
  14.          if d<d0: 
  15.              d0=d 
  16.              d2 = df2.loc[l, :] 
  17.              test_dict = {'距离': [d0]} 
  18.              d3 = pd.DataFrame(test_dict) 
  19.          else:continue 

4、第四步保存计算后的文件

  1. resultdata1.to_excel(excel_writer=writer, sheet_name='原小区', encoding="utf-8"index=False
  2. resultdata2.to_excel(excel_writer=writer, sheet_name='最近小区', encoding="utf-8"index=False
  3. resultdata3.to_excel(excel_writer=writer, sheet_name='距离', encoding="utf-8"index=False
  4. writer.save() 
  5. writer.close() 

六、效果展示

1、处理前数据:

2、处理进度显示:

3、处理结果:

七、总结

本文介绍了如何利用Python计算两个经纬度点间的距离,并在两张表间进行最近点计算,这本来是Mapinfo的分内之事,但数据量大时就处理不动了,Python处理速度快,还能对数据进行预处理,正是由于可以自己优化代码,可以无限提高运行速度,比如数据切块处理,有兴趣的同学可以进一步研究下。

 

责任编辑:姜华 来源: Python爬虫与数据挖掘
相关推荐

2021-12-11 20:20:19

Python算法线性

2021-08-09 13:31:25

PythonExcel代码

2022-10-19 14:30:59

2021-05-10 06:48:11

Python腾讯招聘

2021-02-02 13:31:35

Pycharm系统技巧Python

2021-05-08 08:04:05

Python爬取素材

2011-03-28 16:14:38

jQuery

2021-02-06 14:55:05

大数据pandas数据分析

2021-02-04 09:00:57

SQLDjango原生

2022-08-04 10:39:23

Jenkins集成CD

2021-05-17 21:30:06

Python求均值中值

2021-03-23 09:05:52

PythonExcelVlookup

2021-02-10 09:34:40

Python文件的压缩PyCharm

2009-04-22 09:17:19

LINQSQL基础

2021-01-21 09:10:29

ECharts柱状图大数据

2021-01-08 10:32:24

Charts折线图数据可视化

2020-03-08 22:06:16

Python数据IP

2021-08-02 23:15:20

Pandas数据采集

2012-01-11 13:40:35

移动应用云服务

2020-10-23 06:42:16

机器学习开发人工智能
点赞
收藏

51CTO技术栈公众号