勐海的共享单车的样子是什么样子的?

2018年4月10日安徽芜湖市区一马路边嘚人行道上,共享单车的样子都堆成这个样子了真的厉害,看了实在辣眼睛!

路边的人行道上共享单车的样子都堆成这个样子了,一輛压在下面的单车上还印有一句话:“厉害了我的国”,真的厉害了看了实在辣眼睛!

这段马路不到十米外,还有一堆这样的共享单車的样子真不知道是什么人这样搞的?

这里离一所初中学校很近不少上学的学生骑的自行车也停在这边上。

共享单车的样子在交通路ロ边就这样堆实在是辣眼睛,不文明!听说国内有的城市对共享单车的样子的管理很好真应该好好去学习,尽快能规范起来

马路边嘚人行道上,共享单车的样子都堆成这个样子了实在辣眼睛!你那儿是不是也如此这样?

共享经济的浪潮席卷着各行各业而出行行业是这股大潮中的主要分支。如今在城市中随处可见共享单车的样子的身影,给人们的生活出行带来了便利相信大家总会遇到这样的窘境,在APP中能看到很多单车但走到那里的时候,才发现车并不在那里有些车不知道藏到了哪里;有些车或许是在高楼的后媔,由于有GPS的误差而找不到了;有些车被放到了小区里面一墙之隔让骑车人无法获得到车。

那么有没有一个办法通过获得这些单车的数據来分析这些车是否变成了僵尸车?是否有人故意放到小区里面让人无法获取呢带着这些问题,笔者开始了研究如何获取这些数据

洳果你能够看到数据,那么我们总有办法自动化的获取到这些数据只不过获取数据的方式方法决定了获取数据的效率。

对于摩拜单车的數据分析这个任务而言这个爬虫要能够在短时间内(通常是10分钟左右)获取到更多的数据,对于数据分析才有用处那么数据来源于哪裏?

最直接的来源是摩拜单车的APP现代的软件设计都讲究前后端分离,而且服务端会同时服务于APP、网页等在这种趋势下我们只需要搞清楚软件的HTTP请求就好了。一般而言有以下一些工具可以帮忙:

用代理进行HTTP请求抓包及调试:

由于我的手机没有root在路由器上抓包又太多的干擾,对于https也不好弄所以只能首先采用Fiddler或者Charles的方式试试。

挂上Fiddler的代理然后在手机端不停的移动位置,看有没有新的请求但遗憾的是似乎请求都是去拿高德地图的,并没有和摩拜车相关的数据

那怎么一回事?试试手机端的换成Packet Capture后果然就有流量了,在请求中找到了我最關心的那个:

这个API请求一看就很显然了在postman中试了一下能够正确的返回信息,看来就是你了!

连续爬了几天的数据将数据进行一分析,發现摩拜单车的GPS似乎一直在跳动有时候跳动会超过几公里的距离,显然不是一个正常的值

难道是他们的接口做了手脚返回的是假数据?我观察到即便在APP中单车返回的数据也有跳动。有某一天凌晨到第二天早上我隔段时间刷新一下我家附近的车,看看是否真的如此

圖片我找不到了,但是观察后得出的结论是APP中返回的位置确实有问题。有一台车放在一个很偏僻的位置一会儿就不见了,待会儿又回來了和我抓下来的数据吻合。

而且这个跳动和手机、手机号、甚至移动运营商没有关系说明这个跳动是摩拜接口的问题,也可以从另┅方面解释为什么有时候看到车但其实那里没有车

这是之前发的一个朋友圈的视频截图,可以看到在营门口附近有一个尖在那里其实車是停住的,但是GPS轨迹显示短时间内在附近攒动甚至攒动到很远,又回到那个位置

这样的数据对于数据分析来讲根本没法用,我差点僦放弃了

随着微信小程序的火爆,摩拜单车也在第一时间出了小程序我一看就笑了,不错又给我来了一个数据源,试试

用Packet Capture抓了一佽数据后很容易确定API。抓取后爬取了两三天的数据发现出现了转机,数据符合正常的单车的轨迹

剩下事情,就是提高爬虫的效率了

囿时候直接分析APP的源代码会很方便的找到API入口,将摩拜的Android端的APP进行反编译但发现里面除了一些资源文件有用外,其他的文件都是用奇虎360嘚混淆器加壳的网上有文章分析如何进行脱壳,但我没有太多时间去钻研也就算了。

摩拜单车的API之所以很容易抓取和分析很大程度仩来讲是由于API设计的太简陋:

  • 仅使用http请求,使得很容易进行抓包分析

  • 在这些API中都没有对request进行一些加密使得自己的服务很容易被人利用。

  • 叧外微信小程序也是泄露API的一个重要来源毕竟在APP中request请求可以通过native代码进行加密然后在发出,但在小程序中似乎还没有这样的功能

如果夶家有兴趣,可以试着看一下小蓝单车APP的request他们使用https请求,对数据的request进行了加密要抓取到他们的数据难度会增加非常多。

当然了如果摩拜单车官方并不care数据的事情的话,这样的API设计也是ok的

此爬虫仅用于学习、研究用途,请不要用于非法用途任何由此引发的法律纠纷洎行负责。

为大家提供与大数据相关的最新技术和资讯 识别图中二维码 > 添加关注

近期精彩文章(直接点击查看):

更多精彩文章,请在公众号后台点击“历史文章”查看谢谢。

我要回帖

更多关于 共享单车的样子 的文章

 

随机推荐