用Charles对Http请求进行抓取

Charles 是在 Mac 下常用的网络封包截取工具,在做
移动开发时,我们为了调试与服务器端的网络通讯协议,常常需要截取网络封包来分析。

Charles 通过将自己设置成系统的网络访问代理服务器,使得所有的网络访问请求都通过它来完成,从而实现了网络封包的截取和分析。

除了在做移动开发中调试端口外,Charles 也可以用于分析第三方应用的通讯协议。配合 Charles 的 SSL 功能,Charles 还可以分析 Https 协议。

Charles 是收费软件,可以免费试用 30 天。试用期过后,未付费的用户仍然可以继续使用,但是每次使用时间不能超过 30 分钟,并且启动时将会有 10 秒种的延时。因此,该付费方案对广大用户还是相当友好的,即使你长期不付费,也能使用完整的软件功能。只是当你需要长时间进行封包调试时,会因为 Charles 强制关闭而遇到影响。

Charles 主要的功能包括:

  1. 截取 Http 和 Https 网络封包。
  2. 支持重发网络请求,方便后端调试。
  3. 支持修改网络请求参数。
  4. 支持网络请求的截获并动态修改。
  5. 支持模拟慢速网络。

Charles 4 新增的主要功能包括:

  1. 支持 Http 2。
  2. 支持 IPv6。

安装Charles


官网安装,速度有点慢

设置系统代理


  • 打开Proxy选项,选中其中的macOS proxy,打开系统代理
  • 在Chrome浏览器中是默认不使用系统代理的,需要在Chrome里手动设置,或者安装一个Chrome插件:SwitchyOmega 。在上面设置一个charles的情景模式,如下图:


Charles的主界面


  • 页面有StructureSequence两种显示模式。
  1. Structure 视图将网络请求按访问的域名分类。
  2. Sequence 视图将网络请求按访问的时间排序,Sequence类似于Chrome的开发者模式。
  • 对于显示在界面上的网页请求,可以在Filter中进行简单的筛选

筛选页面设置


  • 在主界面Filter中输入需要筛选的网页
  • 在Charles的菜单选项中选择Proxy->Recording Settings,然后选择Inlcude栏,Add你需要添加的网站。
  • 在想要过滤的网页右键选择Focus,后在Filter栏右边勾选Focused项。

抓取https信息


安装证书

如果没有设置这一步的话,你是抓取不到https信息的,如果需要截取分析Https协议相关的内容,就需要安装Charles的CA证书。

  1. 在Charles顶部菜单栏中选择Help,在选择SSL Proxying - > Install Chrales Root Certificate

  2. 在系统的KeyClain中将Charles的证书选为信任

  3. 设置某个网站或者所有网站都默认截取HTTPS请求,在SSL Proxyingz Settings中设置,Add一个新的规则。

修改GET请求的参数

在上面已经设置好了之后,就可以对抓取到的Http请求进行改包,以百度为例,可以看出,搜索的内容就是在GET方法中的wd属性的值来决定的。

所以我们给这个请求标记一个breakpoints,在Charles主界面enable breakpoints,然后Command + R刷新页面,页面请求会先经过Charles,再返回到浏览器中,可以看到目前搜索了一串字符test,将其改为测试,点击Execute,继续执行接受下一个请求,最后可以看到百度的结果为后面修改的内容。

-------------本文结束 感谢您的阅读-------------
0%