PHP实现简单爬虫的方法
作者：DDIAN
字体：[ ] 类型：转载 时间：
这篇文章主要介绍了PHP实现简单爬虫的方法,涉及php页面抓取及分析的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下
本文实例讲述了PHP实现简单爬虫的方法。分享给大家供大家参考。具体如下：
* 爬虫程序 -- 原型
* 从给定的url获取html内容
* @param string $url
* @return string
function _getUrlContent($url) {
$handle = fopen($url, "r");
if ($handle) {
$content = stream_get_contents($handle, 1024 * 1024);
* 从html内容中筛选链接
* @param string $web_content
* @return array
function _filterUrl($web_content) {
$reg_tag_a = '/&[a|A].*?href=[\'\"]{0,1}([^&\'\"\ ]*).*?&/';
$result = preg_match_all($reg_tag_a, $web_content, $match_result);
if ($result) {
return $match_result[1];
* 修正相对路径
* @param string $base_url
* @param array $url_list
* @return array
function _reviseUrl($base_url, $url_list) {
$url_info = parse_url($base_url);
$base_url = $url_info["scheme"] . '://';
if ($url_info["user"] && $url_info["pass"]) {
$base_url .= $url_info["user"] . ":" . $url_info["pass"] . "@";
$base_url .= $url_info["host"];
if ($url_info["port"]) {
$base_url .= ":" . $url_info["port"];
$base_url .= $url_info["path"];
print_r($base_url);
if (is_array($url_list)) {
foreach ($url_list as $url_item) {
if (preg_match('/^http/', $url_item)) {
// 已经是完整的url
$result[] = $url_
// 不完整的url
$real_url = $base_url . '/' . $url_
$result[] = $real_
* @param string $url
* @return array
function crawler($url) {
$content = _getUrlContent($url);
if ($content) {
$url_list = _reviseUrl($url, _filterUrl($content));
if ($url_list) {
return $url_
* 测试用主程序
function main() {
$current_url = "/"; //初始url
$fp_puts = fopen("url.txt", "ab"); //记录url列表
$fp_gets = fopen("url.txt", "r"); //保存url列表
$result_url_arr = crawler($current_url);
if ($result_url_arr) {
foreach ($result_url_arr as $url) {
fputs($fp_puts, $url . "\r\n");
} while ($current_url = fgets($fp_gets, 1024)); //不断获得url
希望本文所述对大家的php程序设计有所帮助。
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具你正在使用的浏览器版本过低，将不能正常浏览和使用知乎。一个PHP实现的轻量级简单爬虫
投稿：junjie
字体：[ ] 类型：转载 时间：
这篇文章主要介绍了一个PHP实现的轻量级简单爬虫,本文总结了爬虫的一些知识如爬虫的结构、正则表达式、其他问题等,然后给出了爬虫实现代码,需要的朋友可以参考下
最近需要收集资料，在浏览器上用另存为的方式实在是很麻烦，而且不利于存储和检索。所以自己写了一个小爬虫，在网上爬东西，迄今为止，已经爬了近百 万张网页。现在正在想办法着手处理这些数据。
爬虫的结构：
&& 爬虫的原理其实很简单，就是分析下载的页面，找出其中的连接，然后再下载这些链接，再分析再下载，周而复始。在数据存储方面，数据库是首选，便于检索，而 开发语言，只要支持正则表达式就可以了，数据库我选择了mysql，所以，开发脚本我选择了php。它支持perl兼容正则表达式，连接mysql很方 便，支持http下载，而且windows系统和linux系统都可以部署。
正则表达式:
& 正则表达式是处理文字的基本工具，要取出html中的链接和图片，使用的正则表达式如下。
&& "#&a[^&]+href=(['\"])(.+)\\1#isU"&& 处理链接
&&& "#&img[^&]+src=(['\"])(.+)\\1#isU" 处理图片
& 写爬虫还需要注意的一个问题是，对于已经下载过的url，不能重复进行下载，而有些网页的链接会形成环路，所以需要处理这个问题，我的处理方法是计算已经 处理的url的MD5 值，并存入数据库，这样就可以检验是否已经下载过。当然还有更好的算法，有兴趣的话，可以在网上找一下。
& 爬虫也有自己的协议，有个robots.txt文件定义了那些是网站允许遍历的，但是由于我的时间有限，没有实现这个功能。
& php支持类编程,我写的爬虫主要的类.
& 1.url处理web_site_info，主要用处理url，分析域名等。
& 2.数据库操作mysql_insert.php,处理和数据库相关的操作。
& 3.历史记录处理，记录已经处理的url。
& 4.爬虫类。
存在的问题和不足
& 这个爬虫在小数据量的情况下，运行良好，但是在大数据量的情况下，历史记录处理类的效率就不是很高，通过在数据库结构中，对相关字段进行了索引，速度有了 提高，但是需要不断得读取数据，可能和php本身的array实现有关系，如果一次加载10万条历史记录，速度非常慢。
& 不支持多线程，每次只能处理一个url。
& php运行本身有内存使用量限制，有一次在抓取深度为20的页面的时候，内存用尽程序被杀。
下面的url是源码下载。
使用的时候，先在mysql中创建net_spider数据库，然后用db.sql创建相关表。再在config.php中设置mysql 的用户名口令。
php -f spider.php 深度(数值) url
就可以开始工作。如
php -f spider.php 20
现在感觉下来，其实做个爬虫没那么复杂，难的是数据的存储和检索。我现在的数据库，最大一个数据表已经15G，正在想办处理这些数据，mysql进 行查询已经感觉有点力不从心了。这点上还真佩服google
function curl_get($url){
$ch=curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,CURLOPT_HEADER,1);
$result=curl_exec($ch);
$code=curl_getinfo($ch,CURLINFO_HTTP_CODE);
if($code!='404' && $result){
curl_close($ch);
#获取页面url链接
function get_page_urls($spider_page_result,$base_url){
$get_url_result=preg_match_all("/&[a|A].*?href=[\'\"]{0,1}([^&\'\"\]*).*?&/",$spider_page_result,$out);
if($get_url_result){
return $out[1];
#相对路径转绝对路径
function xdtojd($base_url,$url_list){
if(is_array($url_list)){
foreach($url_list as $url_item){
if(preg_match("/^(http:\/\/|https:\/\/|javascript:)/",$url_item)){
$result_url_list[]=$url_
if(preg_match("/^\//",$url_item)){
$real_url = $base_url.$url_
$real_url = $base_url."/".$url_
#$real_url = '/'.$url_
$result_url_list[] = $real_
return $result_url_
#删除其他站点url
function other_site_url_del($jd_url_list,$url_base){
if(is_array($jd_url_list)){
foreach($jd_url_list as $all_url){
echo $all_
if(strpos($all_url,$url_base)===0){
$all_url_list[]=$all_
return $all_url_
#删除相同URL
function url_same_del($array_url){
if(is_array($array_url)){
$insert_url=array();
$pizza=file_get_contents("/tmp/url.txt");
if($pizza){
$pizza=explode("\r\n",$pizza);
foreach($array_url as $array_value_url){
if(!in_array($array_value_url,$pizza)){
$insert_url[]=$array_value_
if($insert_url){
foreach($insert_url as $key =& $insert_url_value){
#这里只做了参数相同去重处理
$update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
foreach($pizza as $pizza_value){
$update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value);
if($update_insert_url==$update_pizza_value){
unset($insert_url[$key]);
$insert_url=array();
$insert_new_url=array();
$insert_url=$array_
foreach($insert_url as $insert_url_value){
$update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
$insert_new_url[]=$update_insert_
$insert_new_url=array_unique($insert_new_url);
foreach($insert_new_url as $key =& $insert_new_url_val){
$insert_url_bf[]=$insert_url[$key];
$insert_url=$insert_url_
return $insert_
$current_url=$argv[1];
$fp_puts = fopen("/tmp/url.txt","ab");//记录url列表
$fp_gets = fopen("/tmp/url.txt","r");//保存url列表
$url_base_url=parse_url($current_url);
if($url_base_url['scheme']==""){
$url_base="http://".$url_base_url['host'];
$url_base=$url_base_url['scheme']."://".$url_base_url['host'];
$spider_page_result=curl_get($current_url);
#var_dump($spider_page_result);
$url_list=get_page_urls($spider_page_result,$url_base);
#var_dump($url_list);
if(!$url_list){
$jd_url_list=xdtojd($url_base,$url_list);
#var_dump($jd_url_list);
$result_url_arr=other_site_url_del($jd_url_list,$url_base);
var_dump($result_url_arr);
$result_url_arr=url_same_del($result_url_arr);
#var_dump($result_url_arr);
if(is_array($result_url_arr)){
$result_url_arr=array_unique($result_url_arr);
foreach($result_url_arr as $new_url) {
fputs($fp_puts,$new_url."\r\n");
}while ($current_url = fgets($fp_gets,1024));//不断获得url
preg_match_all("/&a[^&]+href=[\"']([^\"']+)[\"'][^&]+&/",$spider_page_result,$out);
# echo a href
#var_dump($out[1]);
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具提供主流cms教程
提供数据库教程和设计
提供各种常见网页js代码
提供常用的JS特效代码及在线演示
提供jQuery插件教程及插件下载
提供服务器常见问题及教程
提供站长技术、站长资讯等内容
提供常用开发手册和开发工具
您现在的位置：& >
PHP实现简单爬虫代码
导读：&?php/** * 爬虫程序 -- 原型 * * 从给定的url获取html内容 *
* @param string $url
* @return string
*/function ...
* 爬虫程序 -- 原型
* 从给定的url获取html内容
* @param string $url
* @return string
function _getUrlContent($url) {
$handle = fopen($url, &r&);
if ($handle) {
$content = stream_get_contents($handle, 1024 * 1024);
* 从html内容中筛选链接
* @param string $web_content
* @return array
function _filterUrl($web_content) {
$reg_tag_a = '/&[a|A].*?href=[\'\&]{0,1}([^&\'\&\ ]*).*?&/';
$result = preg_match_all($reg_tag_a, $web_content, $match_result);
if ($result) {
return $match_result[1];
* 修正相对路径
* @param string $base_url
* @param array $url_list
* @return array
function _reviseUrl($base_url, $url_list) {
$url_info = parse_url($base_url);
$base_url = $url_info[&scheme&] . '://';
if ($url_info[&user&] && $url_info[&pass&]) {
$base_url .= $url_info[&user&] . &:& . $url_info[&pass&] . &@&;
$base_url .= $url_info[&host&];
if ($url_info[&port&]) {
$base_url .= &:& . $url_info[&port&];
$base_url .= $url_info[&path&];
print_r($base_url);
if (is_array($url_list)) {
foreach ($url_list as $url_item) {
if (preg_match('/^http/', $url_item)) {
// 已经是完整的url
$result[] = $url_
// 不完整的url
$real_url = $base_url . '/' . $url_
$result[] = $real_
* @param string $url
* @return array
function crawler($url) {
$content = _getUrlContent($url);
if ($content) {
$url_list = _reviseUrl($url, _filterUrl($content));
if ($url_list) {
return $url_
* 测试用主程序
function main() {
$current_url = &/&; //初始url
$fp_puts = fopen(&url.txt&, &ab&); //记录url列表
$fp_gets = fopen(&url.txt&, &r&); //保存url列表
$result_url_arr = crawler($current_url);
if ($result_url_arr) {
foreach ($result_url_arr as $url) {
fputs($fp_puts, $url . &\r\n&);
} while ($current_url = fgets($fp_gets, 1024)); //不断获得url
转载请注明（B5教程网）原文链接：
网友评论：