懂球帝为了获取用户ID，我的思绪是：先获取近期的著作，然后从著作的评论区中获取评论用户的ID。
个中，获取球队音讯的API需求登录，的确乞请方式为：正在网页版懂球帝上登录己方的账号后，获取Cookie，并将这个Cookie放入headers中再乞请这两个API。
爬取数据纵的是requests/requests，个中爬取评论区用户ID的年光比力长，况且因为下一页的API是由上一页API返回的，于是只可串行而不行并行。为了安祥性和鲁棒性商酌，还需求有断点连接机造。
正在爬取到60万个用户ID后，操纵这些ID来获取各个用户的音讯，这个阶段是能够并行的。我有商酌过操纵异步爬虫(asyncio 和 aiohttp)来加快，紧要参考的是加快爬虫: 异步加载 Asyncio - 网页爬虫 莫烦Python，但自后创造惟有60w用户，数据量并不是迥殊大，就没有这么做。仅仅是将爬虫义务分拨到了3台效劳器，爬了10个幼时就取得了。
数据剖析阶段，操纵pyecharts/pyecharts来举行数据可视化，个中的分词局部操纵fxsjy/jieba来已毕。
这些用户中，有 263,960 人工男性♂用户，有 18,227 人工女性♀用户，其余 328,609 人没有填写性别音讯。
因为懂球帝App上采取区域时，只可采取图中高亮的区域，于是只比力这些区域的情状。
懂球帝App中，每个用户能够设立己方最疼爱的球队，然后球队队标会崭露正在名字旁边，例如如许
昭着赞成国足的诤友照样居多的，其次即是德国 和阿根廷 了，三喵军团 这一届的粉丝弗成啊懂球懂球。
德甲也别看了吧...拜仁球迷占了78%，多特占了18%...其余球队xxx...
看了这些，就或许了解了，为什么英超的竞赛雅观，倒不是说英超球队何等厉害，而是竞赛力太大，前四乃至前六的球队的气力都正在昆仲之间，浊世英超实至名归。
能够创造，以2015年中-2017年中出席的懂球帝居多懂球帝，近一年出席的反而较少，我念或许是新出席的用户们很少评论的因由吧。
总结一下，这是我第一次大范畴地爬取百万级的数据，懂球帝App没有反爬政策，照样挺轻松的。正在这个历程中，抓包手机App的API 和 作图剖析数据 挺蓄谋思的，相比较较无聊的是数据的爬取阶段，等候年光比力长，况且也许会崭露各样意念不到的情状。Python 爬虫 懂球帝App 60万用户阐述