云计算

原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！

原文链接地址：《docker之战》python的docker爬虫技术——引导学习(1)

这张专辑开始了从环境的搭建到app数据的抓取的一整套实战流程。

我们会学到什么？

老铁，只有电脑没有手机怎么办？没事的。我想到了用模拟器。说实话，模拟器效率没有手机高，但是模拟器能不能用手机还是个问题。

Android模拟器的构建

抓袋工具

自动控制工具使用

模拟点击、模拟输入等功能。

Python编写爬虫应用程序数据

基于docker的多应用数据采集系统

我能用这些数据做什么？

做一个没有基础数据的互联网项目？

数据库分析

对比其他公司的状况，对公司的运营有指导作用。分析用户行为和消费需求。

用户画像

精准定位用户，对用户进行分类。

统计制度

获取报告数据作为指导

商业竞争

通过对手app应用投放的数据，这类新品，最近在某个城市投放了一些营销数据和趋势，让我们了解竞争对手在某个城市的运营状况，并做出相应的应对。

为了你自己的利益

技能的提高

web端的抓取有很多思路，github是堆出来的。但是，该应用程序在捕获应用程序数据方面的技能很少。

面试必问

如何抓取App应用的数据？

你抢过哪些应用数据？

如何使用抓包工具？

App的数据好掌握吗？

简单又难。

简单的

app里的数据比web更容易抓取，反抓取能力也没那么强。大部分是http或者https协议，返回的数据类型大部分是json。直接解析json就可以了。

困难

您可能需要正确地反编译，解析出加密算法并获取信息。

可能会被加固，需要脱壳，然后反编译分析加密算法，抓取信息。

需要通过各种证书、签名、设备绑定等方法破解，找到隐藏的加密算法。

python爬虫工程师需要的技能点

Python爬虫开发经验

Java开发经验

Android开发经验

应用程序反向

应用脱壳

破解加密算法

最终目的

使用Python自动化应用程序、包抓取工具和解析app应用程序的方法来捕获数据。不需要破解加密算法。

PS:之前学过一段时间python，爬过一些数据和app。目前公司还停留在人工点击测试，同事也催我帮我写一套教程。最好是围绕docker完成python的自动化测试，使用app测试工具appium。我开始行动。但是有很多灰色技术，趋势技术，多工具对比，哈哈。希望老铁能得到！

更多关于云服务器，域名注册，虚拟主机的问题，请访问西部数码代理官网：www.chenqinet.cn。