首页 » PHP » 正文

浏览器访问正常,但PHP curl模拟请求失败的原因

最近用PHP写了一个爬虫,抓取某个接口返回的json数据,过程中遇到不少问题,在此整理一下。

用浏览器一直都可以正常获取,所以记录curl模拟浏览器请求失败的原因和解决思路。

  1. 【问题】GET请求方式,和浏览器一样的url、header(但无cookie),却一直请求失败

    【原因】接口返回的是一个空responseHeader、responseBody的HTML页面,其中body内仅有一对<noscript></noscript>声明,真正的js放在head内的<script></script>,里面定义了2个变量和1个方法,由这三者计算出第3个变量值;再拿3个值POST请求当前url,得到cookie;再拿cookie重新发起GET请求。

    【解决办法】浏览器F12打开调试,选择Network面板,勾上Preserve log,查看完整的请求过程,有时接口为了防止爬虫,不是直接返回数据,而是需要有js运行环境的浏览器运行js脚本后再返回数据。

  2. 【问题】GET请求方式,和浏览器一样的url、header(包括cookie),请求200成功,却没有返回数据

    【原因】编码问题,需要将curl设置curl_setopt(CURLOPT_ENCODING, '');。这个问题就比较诡异了,按照PHP官方的说法,CURLOPT_ENCODING是HTTP请求头中"Accept-Encoding: "的值。 这使得能够解码响应的内容。 支持的编码有"identity""deflate""gzip"。如果为空字符串"",会发送所有支持的编码类型。,但我的header已经和浏览器一样,声明了Accept-Encoding为gzip, deflate,不应该出现与浏览器不一样的结果。目前只能推测,因为浏览器为了兼容多编码,自动发送全部编码,调试面板中的Accept-Encoding实际上没有失效,故curl模拟请求中的header中Accept-Encoding反而成了限制,需要设置CURLOPT_ENCODING为空来转换所有返回的数据编码。

    【解决办法】将curl设置curl_setopt(CURLOPT_ENCODING, '');

  3. 【问题】(看到很多人在问,这里顺便记录一下)和浏览器一样的url,却一直请求失败

    【原因】1、没有带上与浏览器一样的header,特别是其中的User-Agent、cookie(如果需要的话);2、curl没有设置curl_setopt(CURLOPT_RETURNTRANSFER, true);

    【解决办法】request的header、body等参数和浏览器比较,缺啥补啥;设置好curl_setopt各个参数。

以上就是写爬虫时,浏览器可以正常访问,但PHP curl模拟请求失败的原因,欢迎交流补充。

发表评论