2114人阅读
/demo.php#
http://lang.xp3.biz/index.php/60/s/
一个采集淘宝商品信息的采集
一个采集淘宝商品信息的采集
一个采集淘宝商品信息的采集，可以采集到商品的名称、价格、发货地点、运费、商家信息、商品描述、、、
写这个，一来是想以后肯定可以用的上，对新手朋友也应该有帮助。在市场信息 采集数据方面应该有帮助，这个文件可以将信息采集出来以excel表格导出，方便统计数据，分析数据用。
对于这个，新手可以看看了，高手就请飘过了、、、
下面是源代码：
header(&Content-Type: text/ charset=gbk&);
header(&Content-type:application/vnd.ms-excel&);
header(&Content-Disposition:filename=test.xls&);
$url = '/search?q=210000&s=0#J_FilterTabBar';
$content_str = get_content($url);
$total = get_total($content_str);
$arr = get_tab(get_all($total));
$count_arr = count($arr);
$fff = array_shift($arr);
$count_arr = count($arr);
for($i=0;$i&$count_$i++){
@preg_match('/title=&(.*?)&/is',$arr[$i],$title);
@preg_match('/&i&(.*?)&/i&/is',$arr[$i],$shoujia);
@preg_match('/shipping&&运费：(.*?)&/span&/is',$arr[$i],$yunfei);
@preg_match('/place&&(.*?)&/li&/is',$arr[$i],$diqu);
@preg_match('/sale&&最近售出(.*?)件&/li&/is',$arr[$i],$sale);
@preg_match('/如实描述&/span&&/a&(.*?)&/li&/is',$arr[$i],$miaoshu);
$field[$i]['title'] = $title[1];
$field[$i]['shoujia'] = $shoujia[1];
$field[$i]['yunfei'] = $yunfei[1];
$field[$i]['diqu'] = strip_tags($diqu[1]);
$field[$i]['sale'] = $sale[1];
$field[$i]['miao'] = trim(strip_tags($miaoshu[1]));
foreach($field as $key =&$value){
= $key +1;
$key .&t&.$value ['title'].&t&.$value ['shoujia'].&t&.$value ['yunfei'].&t&.$value ['diqu'].&t&.$value['sale'].&t&.$value ['miao'].&tn&;
function get_content($url){
for($i=0;$i&3;$i++){
$c=@file_get_contents($url);
if(strlen($c)&1000)
return $c;
function replace_content($content){
@preg_match('/&div id=&list:content&.*&!-- end list view --&/is',$content,$rs);
$rs[0] = preg_replace(&/(data-lazyload-)/i&,&&,$rs[0]);
$rs[0] = preg_replace(&/(combine-item)/i&,&&,$rs[0]);
$rs[0] = preg_replace(&/(&合并同卖家宝贝&/a&)/i&,&&&/a&&,$rs[0]);
$rs[0] = preg_replace(&/(&li class=&list-item&&)|(&li class=&list-item last-item&&)|(&li class=&list-item& &)/i&,&&!--# p #--&&li class=&list-item& &&,$rs[0]);
return $rs[0];
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：5468次
排名：千里之外&#x6B63;&#x5728;&#x4E3A;&#x60A8;&#x8DF3;&#x8F6C;&#x5230;&#x8BBF;&#x95EE;&#x9875;&#x9762;......&#x5982;&#x679C;&#x60A8;&#x7684;&#x6D4F;&#x89C8;&#x5668;&#x6CA1;&#x6709;&#x81EA;&#x52A8;&#x8DF3;&#x8F6C;&#xFF0C;&#x8BF7;&#x68C0;&#x67E5;&#x4EE5;&#x4E0B;&#x8BBE;&#x7F6E;&#x3002;(1)&#x8BF7;&#x786E;&#x4FDD;&#x6D4F;&#x89C8;&#x5668;&#x6CA1;&#x6709;&#x7981;&#x6B62;&#x53D1;&#x9001;Cookie&#x3002;(2)&#x8BF7;&#x786E;&#x4FDD;&#x6D4F;&#x89C8;&#x5668;&#x53EF;&#x4EE5;&#x6B63;&#x5E38;&#x6267;&#x884C;JavaScript&#x811A;&#x672C;&#x3002;(3)&#x82E5;&#x4F7F;&#x7528;IE&#x6D4F;&#x89C8;&#x5668;&#xFF0C;&#x8BF7;&#x4F7F;&#x7528;IE9&#x53CA;&#x4EE5;&#x4E0A;&#x7248;&#x672C;&#x3002;</php（239）
利用PHP从淘宝采集评论和成交数据
如果不想通过淘宝开放平台获取数据，那么另外一个很好的办法就是采集了。一般来说，采集一个网页上的内容，只需要用CURL获取源代码，然后用正则表达式取出需要的内容就可以，不过如果这样载入一个淘宝的页面，会发现根本没有评论和成交数据，直接查看源代码可以看到评论的是空的。分析页面后发现，淘宝的评论并不是直接输出在页面中，而是在点击评论和成交的时候，才会跨域获取数据，并用脚本解析显示。
这样的处理方式使得CURL页面的方式不好使用了，但是实际上获得数据反而更容易：使用CURL还必须考虑装修模板的问题，通用性并不好，而跨域获取的数据多数情况下是一个标准的&#26684;式，通过抓取数据包最后发现淘宝的评论数据是从/feedRateList.htm?使用URL直接GET方式过来的，并且是标准的JSON&#26684;式。&
数据地址：
/feedRateList.htm?callback=jsonp_reviews_list&userNumId=【掌柜的账号数字ID】&auctionNumId=【商品ID】&currentPageNum=【评论分页页码】
其他还有些参数可以不用。【掌柜的账号数字ID】抓包时可获取，商品ID在宝贝页面链接中的id&#20540;就是。
第二步：解析数&#20540;。因为淘宝的页面编码是GBK的，而在处理GBK编码的JSON文件时，对其中的中文处理是有问题的，会替换成空&#20540;，所以最后JSON数据decode出来的是一个NULL，解决办法是将GBK编码转换为UTF-8。如果你的网站是UTF-8的，那么把从淘宝抓来的JSON直接转成UTF-8然后decode就可用了，如果是GBK的，则转好后再转回GBK就可以。下面以为例，UTF-8页面的处理方法：
$ch = curl_init();//初始化，创建句柄
curl_setopt($ch, CURLOPT_URL, &/feedRateList.htm?callback=jsonp_reviews_list&userNumId=&auctionNumId=&currentPageNum=1&);//设置细节参数
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
$str = curl_exec($ch);//获取内容
$str = mb_convert_encoding($str,'UTF-8','GBK');//转换编码
$str = str_replace('jsonp_reviews_list(','',$str);//去掉多余的字符串
$str = str_replace(')','',$str);
$data = json_decode($str,TRUE);//得到数据了，第二个参数是转化为数组
print_r($data)//输出页面查看
注意几个细节：
1、从淘宝抓来的JSON是GBK编码的；
2、PHP的json_decode()处理GBK编码的中文数据是有问题的，需要转换UTF-8后处理；
3、iconv()和mb_convert_encoding()函数也各有优劣和BUG，注意处理。
4、curl函数的使用；
5、如果要采集不止一页评论，总的页面数可以在返回&#20540;中的maxpage获取。
购买记录数据的获取方法大同小异，天猫的评论获取地址也有所不同，不过方法都是一样的。
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：316407次
积分：4234
积分：4234
排名：第5604名
原创：140篇
转载：337篇
评论：52条
(23)(5)(9)(9)(30)(31)(26)(3)(7)(19)(72)(45)(55)(45)(61)(18)(3)(1)(1)(4)(2)(15)需求发布后1小时内收到服务商响应每个需求平均有10个服务商参与95%以上的需求得到了圆满解决所有需求不向雇主收取任何佣金1元做营销
php采集淘宝商品！
有相似问题想解决?专业顾问来帮助您
匹配服务商
选择服务商，签单
服务商工作
验收并付款
已投标服务商
综合评分：5颗星
速度：5.00
服务：5.00
态度：5.00
好评率：100%
共有6个服务商参与报价，查看更多服务商报价
参与报价,开始赚钱
提交你的报价和方案
中标后交付作品
获得任务赏金
极速：10分钟急速响应
高品质：精选服务商提供服务
放心：不满意可退款
交易成功的需求PHP实现采集抓取淘宝网单个商品信息
投稿：junjie
字体：[ ] 类型：转载 时间：
这篇文章主要介绍了PHP实现采集抓取淘宝网单个商品信息,本文是一种实现思路,使用file_get_contents函数实现,并给出了采集正则,需要的朋友可以参考下
调用淘宝的数据可以使用淘宝提供的api，如果只需调用淘宝商品图片名称等公开信息在自己网站上，使用php中的 file_get_contents 函数实现即可。
file_get_contents(url) 该函数根据 url 如
将该网页内容（源码）以字符串形式输出（一个整字符串），然后配合preg_match，preg_replace等这些正则表达式操作就可以实现获取该url特定div，img等信息了。当然前题是淘宝在单个商品页面的结构是固定的，如500图的img中id就是J_ImgBooth！
具体实现方法：（获取500图，名称，价格，属性及商品描述）
$text=file_get_contents("/item.htm&#63;id="); //将url地址上页面内容保存进$text
A.获取500图：
preg_match('/&img[^&]*id="J_ImgBooth"[^r]*rc=\"([^"]*)\"[^&]*&/', $text, $img);
//运用正则抓取img标签中id为J_ImgBooth的img，$img[0]为该500图img标签，$img[1]为500图的图片地址；
B. 获取名称：
preg_match('/&title&([^&&]*)&\/title&/', $text, $title);
//因为正文中的商品名称标签没有特殊class或id正则不好抓取，就抓&title&标签中的内容了，一般来说title中内容就是商品名称了（实际有些出入），$title[0]整个title标签 $title[1]标签中内容；
$title=iconv('GBK','UTF-8',$title);
//如果你的网站是utf8编码，那么需要进行一下转码（淘宝是gbk编码）
C.获取价格：
preg_match('/&([a-z]+)[^i]*id=\"J_StrPrice\"[^&]*&([^&]*)&\/\\1&/is', $text, $price);
//同理获取id为J_StrPrice的标签内容$price[2], $price[0]是整个标签， $price[1]为strong标签名；
$price=floatval($price);//放入数据库估计还有转一下变量类型
D.获取属性：
这之前获取的内容都是在单标签中相对只需一个正则就可搞定，然而如果要获取如
&div id=”xxx”&
这样特定div中有未知n个&&标签，获取该特定div将会非常的困难，搜了下网上，最接近的也只是”/&([a-z]+)[^&]*&([^&&]|(&#63;R))*&\/\\1&/”这样使用递归抓取标签对，但是他不能抓特定标签，所以想要轻松抓取class=”attributes”的div我是没法办到了。但是淘宝网页有其特殊性，就是它的各个标签结构基本是固定的…&div&…&/div&标签后面不是&/div&&div id=”description”&就是&/div&&div&，所以我们可以采用变通法达到获取属性标签内容的目的。
preg_match('/&(div)[^c]*class=\"attributes\"[^&]*&.*&\/\\1&/is', $text, $text0);
//这个正则会抓取&div开始到整个页面最后一个&/div&标签，当然我们属性标签就在这个的前面部分。
$text1=preg_replace("/&\/div&[^&]*&(div)[^c]*id=\"description\"[^&]*&.*&\/\\1&/is","",$text0);
//匹配到&/div &&div id=”description”&至最后&/div&然后用””代替（就是把匹配的删除了），所以如果attributes的div后面紧跟的是description那么我们已经达到目的了。
$attributes=preg_replace("/&\/div&[^&]*&(div)[^c]*class=\"box J_TBox\"[^&]*&.*&\/\\1&/is","",$text1);
//如果attributes后面紧跟box J_Tbox标签，那么我们还需要使用以上这步来剔除box J_Tbox标签，当然如果attributes的div后面紧跟的是description，这一步将不会匹配到任何即什么都不会做。
E.获取描述：
通过上面方法你肯定觉得淘宝页面上任何标签都可以很简单获取了吧（我之前也是这么想的），但是使用这个方法获取描述时得到的内容将会是“描述加载中”，是的，这个描述内容不是在源码中的，它是打开页面加载进一大堆js后，不知道从淘宝的哪个角落中加载进来的。
好吧，那么我们也可以模仿它放一些js进去。不知道哪些对加载描述有用？没事，全加载进来肯定没错。不知道需要放那些特定div上去有作用？抓一个源码，删掉一些div一步步试试看，你会发现“&div id=”detail”& &/div&
&div id="description"&
&div id="J_DivItemDesc"&描述加载中&/div&
这几个div是加载描述所必须的，那么下面就是写代码了：
preg_match_all('/&script[^&]*&[^&]*&\/script&/is', $text, $content);//页面js脚本
&$content=$content[0];
&$description='&div id="detail"& &/div&
&&&div id="description"&
&&&&div id="J_DivItemDesc"&描述加载中&/div&
&&&/div&';
foreach ($content as &$v){$description.=iconv('GBK','UTF-8',$v);};
//将这个$description放进页面，描述就会自动的加载进来了，当然多个商品描述在同一个页面也会只有一个描述会被加载的。
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具