抓取的网页如何存入mysql数据库
[问题点数：100分，结帖人telikang666]
抓取的网页如何存入mysql数据库
[问题点数：100分，结帖人telikang666]
不显示删除回复
显示所有回复
显示星级回复
显示得分回复
只显示楼主
2012年2月 PHP大版内专家分月排行榜第一2012年1月 PHP大版内专家分月排行榜第一2011年11月 PHP大版内专家分月排行榜第一2011年9月 PHP大版内专家分月排行榜第一
2012年3月 PHP大版内专家分月排行榜第二2011年12月 PHP大版内专家分月排行榜第二2011年10月 PHP大版内专家分月排行榜第二
2017年3月 PHP大版内专家分月排行榜第三2016年12月 PHP大版内专家分月排行榜第三2016年11月 PHP大版内专家分月排行榜第三2014年10月 PHP大版内专家分月排行榜第三2014年8月 PHP大版内专家分月排行榜第三2014年3月 PHP大版内专家分月排行榜第三2014年1月 PHP大版内专家分月排行榜第三2012年8月 PHP大版内专家分月排行榜第三2012年2月 PHP大版内专家分月排行榜第三2012年1月 PHP大版内专家分月排行榜第三2011年12月 PHP大版内专家分月排行榜第三2011年11月 PHP大版内专家分月排行榜第三2011年6月 PHP大版内专家分月排行榜第三
2012年2月 PHP大版内专家分月排行榜第一2012年1月 PHP大版内专家分月排行榜第一2011年11月 PHP大版内专家分月排行榜第一2011年9月 PHP大版内专家分月排行榜第一
2012年3月 PHP大版内专家分月排行榜第二2011年12月 PHP大版内专家分月排行榜第二2011年10月 PHP大版内专家分月排行榜第二
2017年3月 PHP大版内专家分月排行榜第三2016年12月 PHP大版内专家分月排行榜第三2016年11月 PHP大版内专家分月排行榜第三2014年10月 PHP大版内专家分月排行榜第三2014年8月 PHP大版内专家分月排行榜第三2014年3月 PHP大版内专家分月排行榜第三2014年1月 PHP大版内专家分月排行榜第三2012年8月 PHP大版内专家分月排行榜第三2012年2月 PHP大版内专家分月排行榜第三2012年1月 PHP大版内专家分月排行榜第三2011年12月 PHP大版内专家分月排行榜第三2011年11月 PHP大版内专家分月排行榜第三2011年6月 PHP大版内专家分月排行榜第三
2017年3月 PHP大版内专家分月排行榜第三2016年12月 PHP大版内专家分月排行榜第三2016年11月 PHP大版内专家分月排行榜第三2014年10月 PHP大版内专家分月排行榜第三2014年8月 PHP大版内专家分月排行榜第三2014年3月 PHP大版内专家分月排行榜第三2014年1月 PHP大版内专家分月排行榜第三2012年8月 PHP大版内专家分月排行榜第三2012年2月 PHP大版内专家分月排行榜第三2012年1月 PHP大版内专家分月排行榜第三2011年12月 PHP大版内专家分月排行榜第三2011年11月 PHP大版内专家分月排行榜第三2011年6月 PHP大版内专家分月排行榜第三
2017年3月 PHP大版内专家分月排行榜第三2016年12月 PHP大版内专家分月排行榜第三2016年11月 PHP大版内专家分月排行榜第三2014年10月 PHP大版内专家分月排行榜第三2014年8月 PHP大版内专家分月排行榜第三2014年3月 PHP大版内专家分月排行榜第三2014年1月 PHP大版内专家分月排行榜第三2012年8月 PHP大版内专家分月排行榜第三2012年2月 PHP大版内专家分月排行榜第三2012年1月 PHP大版内专家分月排行榜第三2011年12月 PHP大版内专家分月排行榜第三2011年11月 PHP大版内专家分月排行榜第三2011年6月 PHP大版内专家分月排行榜第三
2017年3月 PHP大版内专家分月排行榜第三2016年12月 PHP大版内专家分月排行榜第三2016年11月 PHP大版内专家分月排行榜第三2014年10月 PHP大版内专家分月排行榜第三2014年8月 PHP大版内专家分月排行榜第三2014年3月 PHP大版内专家分月排行榜第三2014年1月 PHP大版内专家分月排行榜第三2012年8月 PHP大版内专家分月排行榜第三2012年2月 PHP大版内专家分月排行榜第三2012年1月 PHP大版内专家分月排行榜第三2011年12月 PHP大版内专家分月排行榜第三2011年11月 PHP大版内专家分月排行榜第三2011年6月 PHP大版内专家分月排行榜第三
2012年2月 PHP大版内专家分月排行榜第一2012年1月 PHP大版内专家分月排行榜第一2011年11月 PHP大版内专家分月排行榜第一2011年9月 PHP大版内专家分月排行榜第一
2012年3月 PHP大版内专家分月排行榜第二2011年12月 PHP大版内专家分月排行榜第二2011年10月 PHP大版内专家分月排行榜第二
2012年2月 PHP大版内专家分月排行榜第一2012年1月 PHP大版内专家分月排行榜第一2011年11月 PHP大版内专家分月排行榜第一2011年9月 PHP大版内专家分月排行榜第一
2012年3月 PHP大版内专家分月排行榜第二2011年12月 PHP大版内专家分月排行榜第二2011年10月 PHP大版内专家分月排行榜第二
2017年3月 PHP大版内专家分月排行榜第三2016年12月 PHP大版内专家分月排行榜第三2016年11月 PHP大版内专家分月排行榜第三2014年10月 PHP大版内专家分月排行榜第三2014年8月 PHP大版内专家分月排行榜第三2014年3月 PHP大版内专家分月排行榜第三2014年1月 PHP大版内专家分月排行榜第三2012年8月 PHP大版内专家分月排行榜第三2012年2月 PHP大版内专家分月排行榜第三2012年1月 PHP大版内专家分月排行榜第三2011年12月 PHP大版内专家分月排行榜第三2011年11月 PHP大版内专家分月排行榜第三2011年6月 PHP大版内专家分月排行榜第三
2012年2月 PHP大版内专家分月排行榜第一2012年1月 PHP大版内专家分月排行榜第一2011年11月 PHP大版内专家分月排行榜第一2011年9月 PHP大版内专家分月排行榜第一
2012年3月 PHP大版内专家分月排行榜第二2011年12月 PHP大版内专家分月排行榜第二2011年10月 PHP大版内专家分月排行榜第二
匿名用户不能发表回复！|在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。
问题对人有帮助，内容完整，我也想知道答案
问题没有实际价值，缺少关键内容，没有改进余地
一个帖子有3个标签，存数据库里要怎么存？如果存的是标签id 例如：存为 1-2-3那么查询的时候怎么查呢？使用like匹配不行！
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
1.从你的需求来看，帖子可以有多个标签，然后标签也可以被多个帖子使用，这关系就是N对N。2.需要一张中间表，所以、帖子表，标签表，帖子标签关系表。3.表形式如下
id content
id tag_name
id content_id tag_id
4.如上，查询就没必要用LIKE
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
type = 1,2,3select * from article where FIND_IN_SET('2',type) 如何？
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
看你标签的量级，像sef的标签的话他们肯定是有一个帖子标签对应表的。(question,tag,quesion_tag)如果有的标签表的数据可能永远就那么点数据，这个时候为了减少表数量，倒是可以使用存标签id，存为 1,2,3 然后可以通过FIND_IN_SET('2',tag)来搜索。
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
标签这个真的看业务的发展了，数量小一般就是和question平级，如（问题id,内容,标签）其中的标签直接用逗号分隔，稍微量大了一点可以按照数据库范式那样来设计，量非常大了后一般要做统计，查询，分类了，这种就不好整了，这个时候就一般需要上elasticsearch全文索引功能，很容易实现分组，聚合，查询等
同步到新浪微博
分享到微博？
关闭理由：
删除理由：
忽略理由：
推广（招聘、广告、SEO 等）方面的内容
与已有问题重复（请编辑该提问指向已有相同问题）
答非所问，不符合答题要求
宜作评论而非答案
带有人身攻击、辱骂、仇恨等违反条款的内容
无法获得确切结果的问题
非开发直接相关的问题
非技术提问的讨论型问题
其他原因（请补充说明）
我要该，理由是：
在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。thinkphp把HTML+PHP写的一个页面代码存入数据库以后 读取出来的效果HTML代码解析了PHP代码被直接输出_百度知道
thinkphp把HTML+PHP写的一个页面代码存入数据库以后 读取出来的效果HTML代码解析了PHP代码被直接输出
这个是要写入数据库的代码
里面的PHP变量是控制器赋值过来的
读取出来后PHP代码不被解析 各位TP高手给点意见
怎么才可以实现读取出来后就像直接写了 个这样的HTML模版文件一样的效果.
或者要怎么实现模版的二次解析 附上代码
我有更好的答案
用Widget，渲染输出是可以做到的.在Lib/Widget/下新建一个文件命名为TestWidget.class.php文件:代码&?phpclass TestWidget extends Widget{
public function render($data) {
return $this-&renderFile(&test_page&,$data);
}}在Lib/Widget/Test/下新建一个文件test_page.html把你上面从数据库中读的代码放入test_page.html中。然后在其它模板中这样调用{:W('Test',array())}这只是一个基本例子。具体项目中你可以把你从数据库读出的代码动态保存入Lib/Widget/Test/test_page.html中。在调用 return $this-&renderFile(&test_page&,$data);
采纳率：74%
thinkphp里面有不解析的代码可以使用 literal 标签来防止模板标签被览枂，例如：&literal&&if condition="$name eq 1 "& value1&elseif condition="$name eq 2"/&value2&else /& value3&/if&&/literal&上面癿 if 标签被 literal 标签包含，因此 if 标签里面癿内容开丌会被模板引擎览枂，而是保持原样输出。如果佝癿 php 标签中需要输出类似{$user} 戒者 XML 标签&volist&&/volist&癿情冴，可以通过添加 literal 标签览决混淆问题，例如：&php&echo '{$Think.config.CUSTOM.'.$key.'}';&/php&返个 php 标签中癿{$Think
可能会被模板引擎诣当做标签览枂，览决癿办法就是加上 literal，例如：&php&&literal&echo '{$Think.config.CUSTOM.'.$key.'}';&/literal&&/php&Literal 标签迓可以用亍页面癿 JS 代码外层，确保 JS 代码中癿某些用法和模板引擎丌产生混淆。总乀，所有可能和内置模板引擎癿览枂觃则冲突癿地方都可以使用 literal 标签处理。
你将是变量的值存放到数据库，取出来的时候系统是无法识别的。你只能存放没有动态数据的代码到数据库。至于这个解决的办法：要么你不要把代码存放到数据库，如果一定要存放到数据库，反正动态数据的代码存放进去是无法识别出来的，你可以将代码分成几个部分存进去，读取出来，然后动态数据的代码再单独写，不过会比较麻烦。这个不仅仅是thinkphp，任何一个框架，你存放动态的数据进去，都是无法识别的
为您推荐：
其他类似问题
thinkphp的相关知识
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。php菜单怎实现保存的是id，取出来的是文字？我要用文字做关键字_搜外问答
比如年龄菜单，18以下是1，，18以上是2，保存到数据库中lian字段值位1,或2，在编辑的时候我不想取值1，2，我想取值“18以上”“18以下”这两个中文件作为关键字。这个怎么实现
2,904 次浏览
分享到微信
判断啊，if不就行了
30天内高手都在交流什么
(1 个回答)
(1 个回答)
(1 个回答)
(1 个回答)
(8 个回答)
(34 分钟前)
(1 小时前)
(3 小时前)
(3 小时前)
(4 小时前)
给问题设置一定金额，将更容易获得关注与回答。
选择支付方式抓取网页数据怎么保存到数据库 php_百度知道
抓取网页数据怎么保存到数据库 php
我已经把整个网页的数据抓取下来了怎么用php进行修改和存入自己的数据库啊？请高手帮忙
我有更好的答案
这个用正则吧
采纳率：24%
抓取网页是我的强项，呵呵给你几点建议1、将整个文章的编码转换成你数据库的默认编码，否则会报错。2、用正则表达式或者字符串截取等方式，将需要的内容分离出来3、编制SQL语句，最好，呵呵，当然，就是执行SQL了。如果还有图片，就需要把图片的链接，转换成你自己的链接在存储。或者只保存图片文件名也行。在显示的时间设置图片路径之类的呵呵，希望能够帮到你。
给一个例子你看看吧.if($pro_list_contents=@file_get_contents(''))
preg_match_all(&/&td width=\&50%\& valign=\&top\&&(.*)&td width=\&10\&&&img src=\&images\/spacer.gif\&/isU&, $pro_list_contents, $pro_list_contents_ary);
for($i=0; $i&count($pro_list_contents_ary[1]); $i++)
preg_match_all(&/&a href=\&(.*)\&&&img src=\&(.*)\&.*&span&(.*)&\/span&/isU&, $pro_list_contents_ary[1][$i], $url_img_price);
$url=addslashes($url_img_price[1][0]);
$img=str_replace(' ', '20%', trim(''.$url_img_price[2][0]));
$price=(float)str_replace('$', '', $url_img_price[3][0]);
preg_match_all(&/&a class=\&ml1\& href=\&.*\&&(.*)&\/a&/isU&, $pro_list_contents_ary[1][$i], $proname_ary);
$proname=addslashes($proname_ary[1][0]);
include(&inc/db_connections.php&);
$rs=mysql_query(&select * from pro where Url='$url' and CateId='{$cate_row['CateId']}'&); //是否已经采集了
if(mysql_num_rows($rs))
echo &跳过：{$url}&br&&;
$basedir='/u_file/pro/img/'.date('H/');
$save_dir=Build_dir($basedir); //创建目录函数
$ext_name = GetFileExtName( $img
); //取得图片后辍名
$SaveName = date( 'mdHis' ) . rand( 1 ) . '.' . $ext_
if( $get_file=@file_get_contents( $img ) )
$fp = @fopen( $save_dir . $SaveName, 'w' );
@fwrite( $fp, $get_file );
@fclose( $fp );
@chmod( $save_dir . $SaveName, 0777 );
@copy( $save_dir . $SaveName, $save_dir . 'small_'.$SaveName );
$imgpath=$basedir.'small_'.$SaveN
$imgpath='';
if($pro_intro_contents=@file_get_contents($url))
preg_match_all(&/&\/h1&(.*)&\/td&&\/tr&/isU&, $pro_intro_contents, $pro_intro_contents_ary);
$p_contents=addslashes(str_replace('src=&', 'src=&', $pro_intro_contents_ary[1][0]));
$p_contents=SaveRemoteImg($p_contents, '/u_file/pro/intro/'.date('H/')); //把远程html代码里的图片保存到本地
$t=time();
mysql_query(&insert into pro(CateId, ProName, PicPath_0, S_PicPath_0, Price_0, Contents, AddTime, Url) values('{$cate_row['CateId']}', '$proname', '$imgpath', '$img', '$price', '$p_contents', '$t', '$url')&);
echo $url.$img.$cate.&&br&\r\n&;
要这干什么，批量盗取网页???
其他1条回答
为您推荐：
其他类似问题
您可能关注的内容
php的相关知识
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。