自动生成正则表达式 | WooYun知识库
自动生成正则表达式
自动生成正则表达式这个话题其实国外有相关的研究，这次的使用的方法是我按一个论文的思路做实现的时候想到的。所谓的自动生成其实没有想象的那么高大上，其实就是使用了一些非常简单的思路进行组合。文中提到的方法已经使用python进行了实现，效果就我本身提供的几个二逼的数据来说是不错的，但是我不好评价真实场景下的效果，还有需要注意的就是我文中提供的代码适合生成一些简单的正则表达式。
正则表达式本身的存在是为了匹配具有某个固定模式的文本，既然目标具有固定的模式，那么自动生成就是存在可能性的，先思考一个思路，我们写一个正则表达式的时候我们在思考什么，我们在思考例子，比如我们想去匹配网址，那么我们就会思考不同的例子，比如 www.python.org ,都代表了不同的例子，我们会从其中抽取他们共有的模式编写可以进行匹配的正则表达式语法。
0x01 思考模式
1. 正则表达式
我们需要先去思考正则表达式本身所具有的模式，我们先做一个简单的假设，假设正则表达式本身具有两种模式，一种用于匹配具体的字符串 比如 “baidu”，“google”，“fuck you”，我们称为 FullPatten，另外一种用于匹配模仿的字符串，比如纯数字等等，称为HalfPatten。
2. 共有模式
所谓的共有，就是都拥有的元素。比如
。我们可以显而易见的看出，三个例子共同存在的元素很多，比如都存在 "www.", ".com" 或者点号和 w,c,o,m....可以看出这我们思考的这几个例子都有一些共同的模式。
现在把我们思考出来的模式组合到一起，就是说我们要做的事只是简单的给计算机输入几个栗子，然后让计算机得出共有的模式去生成我们想要的正则表达式。打个比方，我们现在有几个栗子:
example ＝ [, , ]
然后计算机得出最长的的共有字符串:
union = ['www.', '.com']
我们转化成正则表达式的模式后:
regexPatten = [FullPatten, HalfPatten, FullPatten]
然后迭代生成正则表达式:
re = "www.\w+.com"
好了，本次教程就到这里。
开个玩笑，这种二逼的东西就怎么可能浪费我这几天的美剧时间，只要思考几个相反的例子我们就会很容易的得出上面基于规则生成的破逼玩意有多么坑爹。比如如果我们想匹配 “www.” 比如 我们想匹配 .com 和 .au 结尾的怎么办，或者我们只是想匹配所有的url？下面我们就需要去解决这个问题。
当年香农大神提出了信息熵这个概念用于描述事物的不确定性，什么是不确定性，比如1+1=？对于学过加法的你来说它具有不确定性吗？没有，那么他的信息熵就是0。如果问的是 你明天会不会在公司楼下碰见美女，它具有不确定性么？有，很大。。。。。
0x02 数据的多样性
上面的机制的缺点在于没有考虑到数据的多样化，和外面的世界太危险。我们先思考HalfPatten然后将其写成模块，那么现在我们先思考HalfPatten的价值，就是用于匹配模糊的数据，比如 数字 \d ，字母\w 任意字符 . ，有一个问题，所谓的模糊数据是所有的，还是有固定长度的。比如上面的模糊字符串 google,hello,baidu 我们是匹配长度为 5到6的还是 直接任意字符 ？
我们需要一种简单暴力的方式可以描述数据的不确定性，就是我刚才说的信息熵。比如我们有一些需要模糊匹配的数字长度为 length= [5,6,5,6]，那么它的信息熵就是 (1/2) · log(1/2) – (1/2) · log(1/2) ≈ 0.693 又或者说我们有 5，5，5，5这有的数字长度，那么他的shan就是0. 接下来我们转化成代码。
from math import log
def shan(x):
for i in set(x):
shan -= (float(x.count(i))/len(x))*log(float(x.count(i))/len(x))
return shan
print shan([5,6,5,6])
print shan([5,5,5,5])
1. HalfPatten
现在我们可以来写HalfPatten模块了。我们可以从下面的代码看出 halfPatten其实也存在 all zone length这三种模式，比如我们检测长度的信息熵为0那么我们只需要单纯的返回 \d{长度} 同时我们加入了一个 熵参数shan，只要长度的信息熵超过这个值就说明数据不确定性太大，匹配任意长度就行，低于这个值 我们就只需要匹配某个区间的长度就行。
class HalfPatten:
def __init__(self,x):
self.x = x
self.type = "halfPatten"
self.shan = 0.
self.regShan= 0.
self.x_length = [len(i) for i in x]
for i in set(self.x_length):
self.shan -= (float(self.x_length.count(i))/len(self.x_length))*log(float(self.x_length.count(i))/len(self.x_length))
for c in set(self.x):
self.regShan -= (float(self.x.count(c))/len(self.x))*log(float(self.x.count(c))/len(self.x))
def detection(self,string):
s = ''.join(string)
if len(s)==0:
if s.isalnum():
if s.isdigit():
return "\d"
return "\w"
return "."
def gener(self,patten):
if patten=="all":
return "%s+"%(self.detection(self.x))
elif patten=="zone":
x_len = self.x_length
x_len.sort()
return "%s{%i,%i}"%(self.detection(self.x),x_len[0],x_len[-1])
return "%s{%i}"%(self.detection(self.x),self.x_length[0])
def regex(self,shanRule):
if self.detection(self.x)=="":
if self.shan&0:
if self.shan&shanRule:
return self.gener("all")
return self.gener("zone")
return self.gener("length")
def main(shan=1.):
exmple = ['123','123']
exmple2 = ['123','1234']
half = HalfPatten(exmple)
half2 = HalfPatten(exmple2)
print half.regex(shan)
print half2.regex(shan)
if __name__ =="__main__":
我们可以看到我们得出了一个非常不错的结果，那么接下来我们需要来写FullPatten模块。
2. FullPatten
fullPatten其实相对于half来说要简单了许多，我们只需要根据确定性的字符串生成对应的正则表达式就好了。需要注意的是所谓的确定性其实也有不同的模式， 比如 我们想匹配 .com 和 .cn结尾的url而不想要其他的东西。现在写成代码：
class FullPatten:
def __init__(self,x):
self.x = x
self.type = "fullPatten"
self.shan = 0.
self.regShan = 0.
def gener(self,patten):
if patten=="all":
return "(%s)"%(self.x[0])
return "(%s)"%('|'.join(list(set(self.x))))
def regex(self,shanRule):
if len(set(self.x))&1:
return self.gener("half")
return self.gener("all")
def main():
example = ['.fuck','.fuck']
example1 = ['.com','.cn']
full = FullPatten(example)
full1 = FullPatten(example1)
print full.regex(example)
print full1.regex(example1)
if __name__ == "__main__":
(.com|.cn)
接下来我们来把这两个模块组合到一起。
在把这几个玩意丢一起之前我们需要先思考我们要的是什么，我们需要一个模块，能够根据我们提供的确定性的字符串对数据分割成序列的形式。写成代码：
class strspl:
def __init__(self,y,shan):
self.sentence = []
self.y = y
self.shan = shan
def re_split(self,string):
for x in self.y:
s.append([x[:x.index(string)],string,x[x.index(string)+len(string):]])
half_1 = []
full_1 = []
half_2 = []
for q,w,e in s:
half_1.append(q)
full_1.append(w)
half_2.append(e)
self.sentence.append(HalfPatten(half_1))
self.sentence.append(FullPatten(full_1))
self.sentence.append(HalfPatten(half_2))
for l,i in enumerate(self.sentence):
if i.shan!=0.:
if i.regShan&self.shan:
self.sentence[l]=FullPatten(i.x)
def main(shan=1.5):
example = ['asb.baidu.go','','www.baidu.fuck']
a = strspl(example,shan)
a.re_split('.baidu.')
sentence=[]
regex = []
for i in a.sentence:
sentence.append(i.type)
regex.append(i.regex(0.))
return sentence,''.join(regex)
if __name__ == "__main__":
s,r = main()
s,r = main(0.)
['fullPatten', 'fullPatten', 'fullPatten']
(ww|asb|www)(.baidu.)(go|com|fuck)
['halfPatten', 'fullPatten', 'halfPatten']
\w+(.baidu.)\w+
我们可以看到我们在模块中又提供了一个参数，这个参数在于决定，.com 和 .cn 是full还是half，我们可以看到我们对保存着 类型序列的sentence进行了一次迭代，抽取其中的regShan进行判断，regShan与刚才的长度不同，由数据本身的的差异得出，由于full的regShan写死了0.所以其实是判断half的。目的在于选定一个值来判断 这个类型是否需要改为full类型。
现在我们需要把他组成一个成品了，现在我们已经有了各种模块，我们就还需要一个能够自动提取共有模式并且转换的模块，我们可以从上面的代码看到，算法切割数据的方式是找到第一个匹配的字符串然后进行切割，那么，比如这样的数据
.ho .as 我们经过切割后会变成 [www., ] [www., ] [www, .sb.com.as] 会被转化成类似 www..{7,8} 类似的玩意，但是我们知道剩下的字符串还存在可以被提取的共有模式就是.com，所以我们设置一个迭代值iter,让机器能够多次提取共有模式，为了让我们能够更好的调整算法的参数，在有多个halfPatten的情况下，每次机器只会对其中一个halfPatten进行提取，每次迭代算法会选取其中 regShan最大的进行再提取，就是说，不确定性更大的数据其中存在共有模式的可能性越高，but一但其中提取不到共有模式就会自动退出循环。写成代码：
class Auto:
def __init__(self,x,shan=.3,regShan=.8):
self.x = x
self.sentence = []
self.U = ReU()
self.shan = shan
self.regShan = regShan
def __guess(self,x,y):
if y in x:
def generation(self,iter=1):
x = self.x
location = 0.
for i in range(iter):
if len(self.sentence)==0:
str = strspl(self.x,self.regShan)
di['data']= x
frame = pd.DataFrame(di)
#这个proccess是我之前写的一个坑爹的模块，其实就是提取共有的字符串，然后key = sorted(x,key=len,reverse=True) return key[0]
key = self.U.proccess(frame,'data')
sen = str.re_split(key)
self.sentence
= str.sentence
print "counting %i"%(i)
chanceShan = 0.
chance = None
for l,i in enumerate(self.sentence):
if i.regShan !=0.:
if chanceShan&i.regShan:
chance = l
chanceShan = i.regShan
if chance!=None:
di['data']=self.sentence[chance].x
str = strspl(di['data'],self.regShan)
frame = pd.DataFrame(di)
key = self.U.proccess(frame,'data')
except IndexError,e:
sen = str.re_split(key)
self.sentence = self.sentence[:chance]+str.sentence+self.sentence[chance+1:]
def build(self):
for i in self.sentence:
reg.append(i.regex(self.shan))
shan.append(i.regShan)
return shan,"".join(reg)
def main(shan=.7,regShan=.3,it=1):
s = ['www.','www.','www.']
a = Auto(s,shan,regShan)
a.generation(it)
shan,reg =
print shan
if __name__=="__main__":
main(0,0,)
main(0,1.5)
main(0,1.5,it=2)
main(it=2)
[1., 0.8128]
.{6,7}(.bai).{6}
[1., 0.8128]
.+(.bai).{6}
[0.0, 0.0, 0.8128]
(www.ww|www.www|www.asb)(.bai).{6}
counting 1
[0.0, 0.0, 0., 0.0]
(www.ww|www.www|www.asb)(.bai)\w{2}(.com)
counting 1
[0.0, 0.0, 1., 0.8128]
(www.)\w{2,3}(.bai).{6}
我们可以看到，三个参数的不同可以导致生成不同类型的正则表达式。其实到这里差不多就结束了，这里的代码其实在于提供一种思路，里面的逻辑非常简单，关键在于我们可以通过类似信息熵这种可以量化不确定性的方式来生成正则表达式，整个算法思路其实还有很多需要改进的地方。不过还是有另外一点需要讲.
5. 选取最佳
我们可以看到上面的代码必要时候需要我们自己调整参数，再数据较为简单的情况下，不同参数的生成的正则其实是可以被枚举完的，我们就需要一种可以度量性能的公式。
函数R 表示正则表达式匹配，t表示要匹配的文本 R(t)表示，正则表达式匹配后的值，s表示要匹配的值，函数d表示编辑距离。这样我们就可以度量他的性能，枚举枚举所有的可能性并选取最小值。
几个事说下，如果有幸你打算把这个方法用在项目中请重写代码，我文中的代码是为了快速实现而写的，其中有很多需要优化的地方，支持的正则符号也不多，主要还是思路本身的可行性。
我记得splunk就有自动生成正则表达式的功能，不知到原理上是不是一样
妈蛋。。要回去补补高数。算法一起补了
卧槽，看不懂
妈蛋。。要回去补补高数。。
虽然不懂什么意思。。。感觉好nb
我觉的我要回炉重造了....连sigma求和中的d是啥意思都没看懂....
第一次觉得写的不错的文章，虽然我看不懂
感谢知乎授权页面模版新手园地& & & 硬件问题Linux系统管理Linux网络问题Linux环境编程Linux桌面系统国产LinuxBSD& & & BSD文档中心AIX& & & 新手入门& & & AIX文档中心& & & 资源下载& & & Power高级应用& & & IBM存储AS400Solaris& & & Solaris文档中心HP-UX& & & HP文档中心SCO UNIX& & & SCO文档中心互操作专区IRIXTru64 UNIXMac OS X门户网站运维集群和高可用服务器应用监控和防护虚拟化技术架构设计行业应用和管理服务器及硬件技术& & & 服务器资源下载云计算& & & 云计算文档中心& & & 云计算业界& & & 云计算资源下载存储备份& & & 存储文档中心& & & 存储业界& & & 存储资源下载& & & Symantec技术交流区安全技术网络技术& & & 网络技术文档中心C/C++& & & GUI编程& & & Functional编程内核源码& & & 内核问题移动开发& & & 移动开发技术资料ShellPerlJava& & & Java文档中心PHP& & & php文档中心Python& & & Python文档中心RubyCPU与编译器嵌入式开发驱动开发Web开发VoIP开发技术MySQL& & & MySQL文档中心SybaseOraclePostgreSQLDB2Informix数据仓库与数据挖掘NoSQL技术IT业界新闻与评论IT职业生涯& & & 猎头招聘IT图书与评论& & & CU技术图书大系& & & Linux书友会二手交易下载共享Linux文档专区IT培训与认证& & & 培训交流& & & 认证培训清茶斋投资理财运动地带快乐数码摄影& & & 摄影器材& & & 摄影比赛专区IT爱车族旅游天下站务交流版主会议室博客SNS站务交流区CU活动专区& & & Power活动专区& & & 拍卖交流区频道交流区
UID411480空间积分0 积分827阅读权限20帖子精华可用积分827 信誉积分108 专家积分0 在线时间533 小时注册时间最后登录
丰衣足食, 积分 827, 距离下一级还需 173 积分
帖子主题精华可用积分827 信誉积分108 专家积分0 在线时间533 小时注册时间最后登录
论坛徽章:0
最近在学编译原理，想自己写一个简单的正则表达式引擎。
包含的运算符号有+、*、|、(、)、
其语义与普通正则表达式相同。
我现在卡在第一步，就是语法树的生成。
请问，应该如何生成一个表达式？
&&nbsp|&&nbsp&&nbsp|&&nbsp&&nbsp|&&nbsp&&nbsp|&&nbsp
UID1815677空间积分0 积分1879阅读权限30帖子精华可用积分1879 信誉积分907 专家积分25 在线时间3611 小时注册时间最后登录
家境小康, 积分 1879, 距离下一级还需 121 积分
帖子主题精华可用积分1879 信誉积分907 专家积分25 在线时间3611 小时注册时间最后登录
论坛徽章:0
用状态机，regex --& NFA --& DFA
编译原理的书上应该有算法
Show me the money
UID411480空间积分0 积分827阅读权限20帖子精华可用积分827 信誉积分108 专家积分0 在线时间533 小时注册时间最后登录
丰衣足食, 积分 827, 距离下一级还需 173 积分
帖子主题精华可用积分827 信誉积分108 专家积分0 在线时间533 小时注册时间最后登录
论坛徽章:0
原帖由 prc 于
18:13 发表
用状态机，regex --& NFA --& DFA
编译原理的书上应该有算法
嗯,应该是这样.
也可以这样regex--& 语法树 --& (NFA) --&DFA
NFA完全可以跳过.
但问题是,我不知道该如何生成语法树.
或者说,不知道如何从regex--&NFA.书上介绍的Tomposon算法,我完全理解.但具体如何做呢?
UID1815677空间积分0 积分1879阅读权限30帖子精华可用积分1879 信誉积分907 专家积分25 在线时间3611 小时注册时间最后登录
家境小康, 积分 1879, 距离下一级还需 121 积分
帖子主题精华可用积分1879 信誉积分907 专家积分25 在线时间3611 小时注册时间最后登录
论坛徽章:0
都理解算法了，那就设计一下存储结构，把伪代码变成c代码就可以了吧
Show me the money
UID空间积分0 积分462阅读权限20帖子精华可用积分462 信誉积分148 专家积分0 在线时间868 小时注册时间最后登录
稍有积蓄, 积分 462, 距离下一级还需 38 积分
帖子主题精华可用积分462 信誉积分148 专家积分0 在线时间868 小时注册时间最后登录
论坛徽章:0
可以看一下lex,我也想做一个
认识你自己
UID411480空间积分0 积分827阅读权限20帖子精华可用积分827 信誉积分108 专家积分0 在线时间533 小时注册时间最后登录
丰衣足食, 积分 827, 距离下一级还需 173 积分
帖子主题精华可用积分827 信誉积分108 专家积分0 在线时间533 小时注册时间最后登录
论坛徽章:0
可能是我没讲清楚....
我理解了Tompson算法,但龙书上讲述的Tompson算法只是说如何从语法分析树中得到NFA,却没有说明如何构造该分析树.
所以我的问题就是如何从正则表达式转换到分析树.
我尝试过使用自顶向下的超前预则法进行语法树的生成.
但由于正则表达式的文法具有左递归.而改写文法,使其不再具有左递归的时候,却无法生成语法树.
不知道有什么解决的方法呢?
UID219826空间积分1041 积分1865阅读权限30帖子精华可用积分1865 信誉积分0 专家积分0 在线时间8 小时注册时间最后登录
家境小康, 积分 1865, 距离下一级还需 135 积分
帖子主题精华可用积分1865 信誉积分0 专家积分0 在线时间8 小时注册时间最后登录
论坛徽章:0
可不可以先消除左递归，再使用自顶向下的超前预则法进行语法树的生成
UID411480空间积分0 积分827阅读权限20帖子精华可用积分827 信誉积分108 专家积分0 在线时间533 小时注册时间最后登录
丰衣足食, 积分 827, 距离下一级还需 173 积分
帖子主题精华可用积分827 信誉积分108 专家积分0 在线时间533 小时注册时间最后登录
论坛徽章:0
原帖由 tyz 于
13:53 发表
可不可以先消除左递归，再使用自顶向下的超前预则法进行语法树的生成
左递归应该可以消除，但文法改写后，语法树的生成比较困难。
UID1815677空间积分0 积分1879阅读权限30帖子精华可用积分1879 信誉积分907 专家积分25 在线时间3611 小时注册时间最后登录
家境小康, 积分 1879, 距离下一级还需 121 积分
帖子主题精华可用积分1879 信誉积分907 专家积分25 在线时间3611 小时注册时间最后登录
论坛徽章:0
好像NFA不能做语法分析吧，DFA可以
NFA可以转化成等价的DFA呀
Show me the money
Santa Monica
UID空间积分802 积分4269阅读权限50帖子精华可用积分4269 信誉积分110 专家积分65 在线时间1652 小时注册时间最后登录
小富即安, 积分 4269, 距离下一级还需 731 积分
帖子主题精华可用积分4269 信誉积分110 专家积分65 在线时间1652 小时注册时间最后登录
论坛徽章:0
转成NFA一般认为是比较简单的步骤，直接翻译你要的语法就行。比如假设字符集只有一个字符 a ，简单NFA就是（e是正则表达式，E是非空正则表达式，epsilon是空串）：
e -- epsilon
把这个NFA转成DFA以后直接coding就行了。
Santa Monica
北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号：
广播电视节目制作经营许可证(京) 字第1234号
中国互联网协会会员&&联系我们：
感谢所有关心和支持过ChinaUnix的朋友们
转载本站内容请注明原作者名及出处当前访客身份：游客 [
当前位置：
30分钟内让你明白正则表达式是什么，并对它有一些基本的了解，让你可以在自己的程序或网页里使用它。
如何使用本教程
最重要的是&&请给我30分钟， 如果你没有使用正则表达式的经验，请不要试图在30秒内入门&&除非你是超人 :)
别被下面那些复杂的表达式吓倒，只要跟着我一步一步来，你会发现正则表达式其实并没有你 想像中的那么困难。当然，如果你看完了这篇教程之后，发现自己明白了很多，却又几乎什么都记不得，那也是很正常的&&我认为，没接触过正则表达式的人在看 完这篇教程后，能把提到过的语法记住80%以上的可能性为零。这里只是让你明白基本的原理，以后你还需要多练习，多使用，才能熟练掌握正则表达式。
除了作为入门教程之外，本文还试图成为可以在日常工作中使用的正则表达式语法参考手册。就作者本人的经历来说，这个目标还是完成得不错的 &&你看，我自己也没能把所有的东西记下来，不是吗？
清除格式&文本格式约定：专业术语&元字符/语法格式&正则表达式&正则表达式中的一部分(用于分析)&对其进行匹配的源字符串&对正则表达式或其中一部分的说明
隐藏边注&本文右边有一些注释，主要是用来提供 一些相关信息，或者给没有程序员背景的读者解释一些基本概念，通常可以忽略。
正则表达式到底是什么东西？
字符是计算机软件处理文字时最基本的单位，可能是字母，数字， 标点符号，空格，换行符，汉字等等。字符串是0个或更多个字符的序列。文本也就是文字，字符串。说某个字符串匹配某个正则表达 式，通常是指这个字符串里有一部分（或几部分分别）能满足表达式给出的条件。
在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要。正则表达式就 是用于描述这些规则的工具。换句话说，正则表达式就是记录文本规则的代码。
很可能你使用过Windows/Dos下用于文件查找的通配符(wildcard)， 也就是*和?。如果你想查找某个目录下的所 有的Word文档的话，你会搜索*.doc。在这里，*会被解释成任意的字符串。和通配符类似，正则表达式也是用来进行文本匹配的工具，只不过比起通配符，它能更精 确地描述你的需求&&当然，代价就是更复杂&&比如你可以编写一个正则表达式，用来查找所有以0开头，后面跟着 2-3个数字，然后是一个连字号&-&，最后是7或8位数字的字符串(像010-或)。
学习正则表达式的最好方法是从例子开始，理解例子之后再自己对例子进行修改，实验。下面给出了不少简单的例子，并对它们作了详细的说明。
假设你在一篇英文小说里查找hi，你可以使用正则表达式hi。
这几乎是最简单的正则表达式了，它可以精确匹配这样的字符串：由两个字符组成，前一个字符是h,后 一个是i。通常，处理正则表达式的工具会提供一个忽略大小写的选项，如果选中了这个选项，它可以匹配hi,HI,Hi,hI这四种情况中的任意一种。
不幸的是，很多单词里包含hi这两个连续的字符，比如him,history,high等等。用hi来查找的话，这里边的hi也会被找出来。如果要精确地查找hi这个单词的 话，我们应该使用\bhi\b。
\b是正则表达式规定的一个特殊代码（好吧，某些人叫它元字符，metacharacter），代表着单词的开头或结尾，也就 是单词的分界处。虽然通常英文的单词是由空格，标点符号或者换行来分隔的，但是\b并 不匹配这些单词分隔字符中的任何一个，它只匹配一个位置。
如果需要更精确的说法，\b匹配这样的位置：它的前一个字符 和后一个字符不全是(一个是,一个不是或不存在)\w。
假如你要找的是hi后面不远处跟着一个Lucy，你应该用\bhi\b.*\bLucy\b。
这里，.是另一个元字符，匹配除了换行符以 外的任意字符。*同样是元字符，不过它代表的不是字符，也不是位置，而是数量&&它 指定*前边的内容可以连续重复使用任意次以使整个表达式得到匹配。因此，.*连在一起就意味着任意数量的不包含换行的字符。现在\bhi\b.*\bLucy\b的意思就很明显了：先是一个单词 hi,然后是任意个任意字符(但不能是换行)，最后是Lucy这个单词。
换行符就是'\n',ASCII编码为10(十六进制0x0A)的字符。
如果同时使用其它元字符，我们就能构造出功能更强大的正则表达式。比如下面这个例子：
0\d\d-\d\d\d\d\d\d\d\d匹配这样的字符串：以0开头，然后是两个数字，然后是一个连字号&-&，最后是8个数字(也就是中国的电话号码。当然，这个例子只 能匹配区号为3位的情形)。
这里的\d是个新的元字符，匹配一位数字 (0，或1，或2，或&&)。-不是元字符，只匹配它本身&&连字符(或者减号，或 者中横线，或者随你怎么称呼它)。
为了避免那么多烦人的重复，我们也可以这样写这个表达式：0\d{2}-\d{8}。
这里\d后面的{2}({8})的意思是前面\d必须连续重复匹配2次(8次)。
测试正则表达式
其它可用的测试工具:
如果你不觉得正则表达式很难读写的话，要么你是一个天才，要么，你不是地球人。正则表达式的语法很令人头疼，即使对经常使用它的人来说也是 如此。由于难于读写，容易出错，所以找一种工具对正则表达式进行测试是很有必要的。
不同的环境下正则表达式的一些细节是不相同的，本教程介绍的是微软 .Net Framework
2.0下正则表达式的行为，所以，我向你介绍一个.Net下的工具。首先你确保已经安装了，然后。这是个绿色软件，下载完 后打开压缩包,直接运行RegexTester.exe就可以了。
下面是Regex Tester运行时的截图：
现在你已经知道几个很有用的元字符了，如\b,.,*，还有\d. 正则表达式里还有更多的元字符，比如\s匹配任意的空白 符，包括空格，制表符(Tab)，换行符，中文全角空格等。\w匹配字母或数字或下划线或汉字等。
对中文/汉字的特殊处理是由.Net提供的正则表达式引擎支持的，其它环境下的具体情况请查看 相关文档。
下面来看看更多的例子：
\ba\w*\b匹配以字母a开头的单词&&先是某个单词开始处(\b)，然后是字 母a,然后是任意数量的字母或数字(\w*)， 最后是单词结束处(\b)。
好吧，现在我们说说正则表达式里的单词是什么意思吧：就是不少于一个的连续的\w。不错，这与学习英文时要背的成千上万个同名的东西的确关系不大 :)
\d+匹配1个或更多连续的数字。 这里的+是和*类似的元字符，不同的是*匹配重复任意次(可能是0次)，而+则匹配重复1次或更多次。
\b\w{6}\b 匹配刚好6个字符的 单词。
表1.常用的元字符
匹配除换行符以外的任意字符
匹配字母或数字或下划线或汉字
匹配任意的空白符
匹配单词的开始或结束
匹配字符串的开始
匹配字符串的结束
正则表达式引擎通常会提供一个&测试指定的字符串是否匹配一个正则表达式&的方法，如JavaScript里的 RegExp.test()方法或.NET里的Regex.IsMatch()方法。这里的匹配是指是字符串里有没有符合表达式规则的部分。如果不使用^和$的话，对于\d{5,12}而言，使用这样的方法就只能保证字符串里包含5到 12连续位数字，而不是整个字符串就是5到12位数字。
元字符^（和数字6在同一个键位上的符号）和$都 匹配一个位置，这和\b有点类似。^匹配你 要用来查找的字符串的开头，$匹配结尾。这两个代码在验证输入的内容时非常有用，比如一个网站如果 要求你填写的QQ号必须为5位到12位数字时，可以使用：^\d{5,12}$。
这里的{5,12}和前面介绍过的{2}是 类似的，只不过{2}匹配只能不多不少重复2次，{5,12}则是重复的次数不能少于5次，不能多于12次， 否则都不匹配。
因为使用了^和$，所以输入 的整个字符串都要用来和\d{5,12}来匹配，也就是说整个输入必须是5到12个数字，因此如果输入的QQ号能匹配这个正则表达式的话，那就符合要求了。
和忽略大小写的选项类似，有些正则表达式处理工具还有一个处理多行的选项。如果选中了这个选项，^和$的意义就变成了匹配行的开始处和结束处。
如果你想查找元字符本身的话，比如你查找.,或者*,就出现了问题：你没办法指定它们，因为它们会被解释成别的意思。这时你就得使用\来取消这些字符的特殊意义。因此，你应该使用\.和\*。当然，要查找\本身，你也得用\\.
例如：deerchao\.net匹配deerchao.net，C:\\Windows匹配C:\Windows。
你已经看过了前面的*,+,{2},{5,12}这几个匹配重复的方式了。下面是 正则表达式中所有的限定符(指定数量的代码，例如*,{5,12}等)：
表2.常用的限定符
代码/语法 说明
重复零次或更多次
重复一次或更多次
重复零次或一次
重复n次或更多次
重复n到m次
下面是一些使用重复的例子：
Windows\d+匹配Windows 后面跟1个或更多数字
^\w+匹配一行的第一个单词(或整个字 符串的第一个单词，具体匹配哪个意思得看选项设置)
要想查找数字，字母或数字，空白是很简单的，因为已经有了对应这些字符集合的元字符，但是如果你想匹配没有预定义元字符的字符集合(比如元 音字母a,e,i,o,u),应该怎么办？
很简单，你只需要在方括号里列出它们就行了，像[aeiou]就匹配任何一个英文元音字母，[.?!]匹配标点符号(.或?或!)。
我们也可以轻松地指定一个字符范围，像[0-9]代 表的含意与\d就是完全一致的：一位数字； 同理[a-z0-9A-Z_]也完全等同于\w（如 果只考虑英文的话）。
下面是一个更复杂的表达式：\(?0\d{2}[) -]?\d{8}。
&(&和&)&也是元字符，后面的里会提 到，所以在这里需要使用。
这个表达式可以匹配几种格式的电话号码，像(010)，或022-， 或等。我们对它进行一些分析吧：首先是一个转义字符\(,它能出现0次或1次(?),然后是一个0，后面跟着2个数字(\d{2})，然后是)或-或空格中 的一个，它出现1次或不出现(?)，最后是8个数字(\d{8})。
不幸的是，刚才那个表达式也能匹配010)或(022-这样的&不正确&的格式。要解决这个问题，我们需要用到分枝条件。正则表达式里的分枝条件指的是有几种规则，如 果满足其中任意一种规则都应该当成匹配，具体方法是用|把不同的规则分隔开。听不明白？没关系，看 例子：
0\d{2}-\d{8}|0\d{3}-\d{7}这个表达式能匹配两种以连字号分隔的电话号码：一种是三位区号，8位本地号(如010-)，一种是4位区号，7位本地号 ()。
\(0\d{2}\)[- ]?\d{8}|0\d{2}[- ]?\d{8}这 个表达式匹配3位区号的电话号码，其中区号可以用小括号括起来，也可以不用，区号与本地号间可以用连字号或空格间 隔，也可以没有间隔。你可以试试用分枝条件把这个表达式扩展成也支持4位区号的。
\d{5}-\d{4}|\d{5}这个表达式用于匹配美国的邮政编码。美国邮编 的规则是5位数字，或者用连字号间隔的9位数字。之所以要给出这个例子是因为它能说明一个问题：使用分枝条件时，要注意各个条件的顺序。 如果你把它改成\d{5}|\d{5}-\d{4}的话，那么就只会匹配5位的邮编(以及9位邮 编的前5位)。原因是匹配分枝条件时，将会从左到右地测试每个条件，如果满足了某个分枝的话，就不会去再管其它的条件了。
我们已经提到了怎么重复单个字符（直接在字符后面加上限定符就行了）；但如果想要重复多个字符又该怎么办？你可以用小括号来指定子表达式(也叫做分组)，然后你就可以指定这个子表达 式的重复次数了，你也可以对子表达式进行其它一些操作(后面会有介绍)。
(\d{1,3}\.){3}\d{1,3}是一个简单的IP地址匹配表达式。要理解这个表达式，请按下列顺序分析它：\d{1,3}匹 配1到3位的数字，(\d{1,3}\.){3}匹 配三位数字加上一个英文句号(这个整体也就是这个分组)重 复3次，最后再加上一个一到三位的数字(\d{1,3})。
IP地址中每个数字都不能大于255，大家千万不要被《24》第三季的编剧给忽悠了&&
不幸的是，它也将匹配256.300.888.999这种不可能存在的IP地 址。如果能使用算术比较的话，或许能简单地解决这个问题，但是正则表达式中并不提供关于数学的任何功能，所以只能使用冗长的分组，选择，字符类来描述一个 正确的IP地址：((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)。
理解这个表达式的关键是理解2[0-4]\d|25[0-5]|[01]?\d\d?， 这里我就不细说了，你自己应该能分析得出来它的意义。
有时需要查找不属于某个能简单定义的字符类的字符。比如想查找除了数字以外，其它任意字符都行的情况，这时需要用到反义：
表3.常用的反义代码
代码/语法 说明
匹配任意不是字母，数字，下划线，汉字的字符
匹配任意不是空白符的字符
匹配任意非数字的字符
匹配不是单词开头或结束的位置
匹配除了x以外的任意字符
匹配除了aeiou这几个字母以外的任意字符
例子：\S+匹配不包含空白符的字符串。
&a[^&]+&匹配用 尖括号括起来的以a开头的字符串。
使用小括号指定一个子表达式后，匹配这个子表达式的文本(也就是此分组捕获的内容)可以在表达式或其它 程序中作进一步的处理。默认情况下，每个分组会自动拥有一个组号，规则是：从左向右，以分组的左括 号为标志，第一个出现的分组的组号为1，第二个为2，以此类推。
呃&&其实,组号分配还不像我刚说得那么简单：
分组0对应整个正则表达式
实际上组号分配过程是要从左向右扫描两遍的：第一遍只给未命名组分配，第二遍只给命名组分配－－因此所有命名组的组号都大于未命名的组 号
你可以使用(?:exp)这样的语法来剥夺一个分组对组号分配的参与权．
后向引用用于重复搜索前面某个分组匹配的文本。例如，\1代表分组1匹配的文本。难以理解？请看示例：
\b(\w+)\b\s+\1\b可以用来匹配重复的单词，像go go, 或者kitty kitty。这个表达式首先是一个单词， 也就是单词开始处和结束处之间的多于一个的字母或数字(\b(\w+)\b)， 这个单词会被捕获到编号为1的分组中，然后是1个或几个空白符(\s+)，最后是分组1中捕获的内容（也就是前面匹配的那个单词）(\1)。
你也可以自己指定子表达式的组名。要指定一个子表达式的组名，请使用这样的语法：(?&Word&\w+)(或者把尖括号换成'也 行：(?'Word'\w+)),这样就把\w+的 组名指定为Word了。要反向引用这个分组捕获的 内容，你可以使用\k&Word&,所以上一个例子也可以写成这样：\b(?&Word&\w+)\b\s+\k&Word&\b。
使用小括号的时候，还有很多特定用途的语法。下面列出了最常用的一些：
表4.常用分组语法
分类 代码/语法 说明
匹配exp,并捕获文本到自动命名的组里
(?&name&exp)
匹配exp,并捕获文本到名称为name的组里，也可以写成 (?'name'exp)
匹配exp,不捕获匹配的文本，也不给此分组分配组号
匹配exp前面的位置
匹配exp后面的位置
匹配后面跟的不是exp的位置
匹配前面不是exp的位置
(?#comment)
这种类型的分组不对正则表达式的处理产生任何影响，用于提供注释让人阅 读
我们已经讨论了前两种语法。第三个(?:exp)不会改变正则表达式的处理方式，只 是这样的组匹配的内容不会像前两种那样被捕获到某个组里面，也不会拥有组号。&我为什么会想要这样 做？&&&好问题，你觉得为什么呢？
地球人，是不是觉得这些术语名称太复杂，太难记了？我也有同感。知道有这么一种东西就行了，它叫什么，随它去 吧！人若无名，便可专心练剑；物若无名，便可随意取舍&&
接下来的四个用于查找在某些内容(但并不包括这些内容)之前或之后的东西，也就是说它们像\b,^,$那样用于指定一个位置，这个位置应该满足一定的 条件(即断言)，因此它们也被称为零宽断言。最好还是拿例子来说明吧：
断言用来声明一个应该为真的事实。正则表达式中只有当断言为真时才会继续进行匹配。
(?=exp)也叫零宽度正预测先行断言， 它断言自身出现的位置的后面能匹配表达式exp。比如\b\w+(?=ing\b)， 匹配以ing结尾的单词的前面部分(除了ing以外的部分)，如查找I'm singing while you're dancing.时，它会匹配sing和danc。
(?&=exp)也叫零宽度正回顾后 发断言，它断言自身出现的位置的前面能匹配表达式exp。比如(?&=\bre)\w+\b会匹配以re开头的单词的后半部 分(除了re以外的部分)，例如在查找reading a book时，它匹配ading。
假如你想要给一个很长的数字中每三位间加一个逗号(当然是从右边加起了)，你可以这样查找需要在前面和里面添加逗号的部分：((?&=\d)\d{3})+\b，用它对进 行查找时结果是。
下面这个例子同时使用了这两种断言：(?&=\s)\d+(?=\s)匹配以空白符间隔的数字(再次强调，不包括这些空白符)。
负向零宽断言
前面我们提到过怎么查找不是某个字符或不在某个字符类里的字符的方法(反义)。但是如果我们只是想要确 保某个字符没有出现，但并不想去匹配它时怎么办？例如，如果我们想查找这样的单词--它里面出现了字母q,但是q后面跟的不是字母u, 我们可以尝试这样：
\b\w*q[^u]\w*\b匹配包含后 面不是字母u的字母q的单词。但是如果多做测试(或者你思维足够敏锐，直接就观察出来了)，你会发现，如果q出现在单词 的结尾的话，像Iraq,Benq，这个表达式就会出错。这是因为[^u]总要匹配一个字符，所以如果q是单词的最后一个字符的话，后面的[^u]将 会匹配q后面的单词分隔符(可能是空格，或者是句号或其它的什么)，后面的\w*\b将会匹配下一 个单词，于是\b\w*q[^u]\w*\b就能匹配整个Iraq fighting。负向零宽断言能解决这 样的问题，因为它只匹配一个位置，并不消费任何字符。现在，我们可以这样来解决这个问题：\b\w*q(?!u)\w*\b。
零宽度负预测先行断言(?!exp)，断言此位置的后面不能匹配表达式exp。例如：\d{3}(?!\d)匹 配三位数字，而且这三位数字的后面不能是数字；\b((?!abc)\w)+\b匹 配不包含连续字符串abc的单词。
同理，我们可以用(?&!exp),零 宽度负回顾后发断言来断言此位置的前面不能匹配表达式exp：(?&![a-z])\d{7}匹配前面不是小写字母的七位数 字。
请详细分析表达式(?&=&(\w+)&).*(?=&\/\1&)， 这个表达式最能表现零宽断言的真正用途。
一个更复杂的例子：(?&=&(\w+)&).*(?=&\/\1&)匹 配不包含属性的简单HTML标签内里的内容。(&?(\w+)&)指 定了这样的前缀：被尖括号括起来的单词(比 如可能是&b&)，然后是.*(任意的字符串),最后是一个后缀(?=&\/\1&)。注意后缀里的\/，它用到了前面提过的字符转义；\1则是一个反向 引用，引用的正是捕获的第一组，前面的(\w+)匹 配的内容，这样如果前缀实际上是&b&的话，后缀就是&/b&了。整个表达式匹配的是&b&和&/b& 之间的内容(再次提醒，不包括前缀和后缀本身)。
小括号的另一种用途是通过语法(?#comment)来包含注释。例如：2[0-4]\d(?#200-249)|25[0-5](?#250-255)|[01]?\d\d?(?#0-199)。
要包含注释的话，最好是启用&忽略模式里的空白符&选项，这样在编写表达式时能任意的添加空格，Tab，换行，而实际使用时这些都将被忽 略。启用这个选项后，在#后面到这一行结束的所有文本都将被当成注释忽略掉。例如，我们可以前面的一个表达式写成这样：
# 断言要匹配的文本的前缀
&(\w+)& # 查找尖括号括起来的字母或数字(即HTML/XML标签)
# 前缀结束
# 匹配任意文本
# 断言要匹配的文本的后缀
# 查找尖括号括起来的内容：前面是一个"/"，后面是先前捕获的标签
# 后缀结束
贪婪与懒惰
当正则表达式中包含能接受重复的限定符时，通常的行为是（在使整个表达式能得到匹配的前提下）匹配尽可能多的 字符。以这个表达式为例：a.*b，它将会匹配最长的以 a开始，以b结束的字符串。如果用它来搜索aabab的话，它会匹配整个字符串aabab。这被称为贪婪匹配。
有时，我们更需要懒惰匹配，也就是匹配尽可能少的 字符。前面给出的限定符都可以被转化为懒惰匹配模式，只要在它后面加上一个问号?。这样.*?就意味着匹配任意数量的重复，但是在能使整个匹配成功的前提 下使用最少的重复。现在看看懒惰版的例子吧：
a.*?b匹配最短的，以a开始，以b结 束的字符串。如果把它应用于aabab的话，它会匹配aab（第一到第三个字符）和ab（第四到第五个字符）。
为什么第一个匹配是aab（第一到第三个字符）而不是ab（第二到第三个字符）？简单地说，因为正则表达式有另 一条规则，比懒惰／贪婪规则的优先级更高：最先开始的匹配拥有最高的优先权&&The match that begins earliest
表5.懒惰限定符
代码/语法 说明
重复任意次，但尽可能少重复
重复1次或更多次，但尽可能少重复
重复0次或1次，但尽可能少重复
重复n到m次，但尽可能少重复
重复n次以上，但尽可能少重复
在C#中，你可以使用来设置正则表达式的处理选项。 如：Regex regex = new Regex(@"\ba\w{6}\b", RegexOptions.IgnoreCase);
上面介绍了几个选项如忽略大小写，处理多行等，这些选项能用来改变处理正则表达式的方式。下面是.Net中常用的正则表达式选项：
表6.常用的处理选项
IgnoreCase(忽略大小写)
匹配时不区分大小写。
Multiline(多行模式)
更改^和$的 含义，使它们分别在任意一行的行首和行尾匹配，而不仅仅在整个字符串的开头和结尾匹配。(在此模式下,$的 精确含意是:匹配\n之前的位置以及字符串结束前的位置.)
Singleline(单行模式)
更改.的含义，使它与每一个字符匹配（包括换行 符\n）。
IgnorePatternWhitespace(忽略空白)
忽略表达式中的非转义空白并启用由#标记的注释。
ExplicitCapture(显式捕获)
仅捕获已被显式命名的组。
一个经常被问到的问题是：是不是只能同时使用多行模式和单行模式中的一种？答案是：不是。这两个选项之间没有任何关系，除了它们的名字比较 相似（以至于让人感到疑惑）以外。
平衡组/递归匹配
这里介绍的平衡组语法是由.Net
Framework支持的；其它语言／库不一定支持这种功能，或者支持此功能但需要使用不同的语法。
有时我们需要匹配像( 100 * ( 50 + 15 ) )这样的可嵌套的层次性结构， 这时简单地使用\(.+\)则只会匹配到最左边的左括号和最右边的右括号之间的内容(这里我们讨论 的是贪婪模式，懒惰模式也有下面的问题)。假如原来的字符串里的左括号和右括号出现的次数不相等，比如( 5
/ ( 3 + 2 ) ) )，那我们的匹配结果里两者的个数也不会相等。有没有办法在这样的字符串里匹配到最长的，配对的括号之间的 内容呢？
为了避免(和\(把你的大脑 彻底搞糊涂，我们还是用尖括号代替圆括号吧。现在我们的问题变成了如何把xx &aa
&bbb& &bbb& aa& yy这样的字符串里，最长的配对的尖括号内的内容捕获出来？
这里需要用到以下的语法构造：
(?'group') 把捕获的内容命名为group,并压入堆栈(Stack)
(?'-group') 从堆栈上弹出最后压入堆栈的名为group的捕获内容，如果堆栈本来为空，则本分组的匹配失败
(?(group)yes|no) 如果堆栈上存在以名为group的捕获内容的话，继续匹配yes部分的表达式，否则继续匹配no部分
(?!) 零宽负向先行断言，由于没有后缀表达式，试图匹配总是失败
如果你不是一个程序员（或者你自称程序员但是不知道堆栈是什么东西），你就这样理解上面的三种语法吧：第一个就 是在黑板上写一个"group"，第二个就是从黑板上擦掉一个"group"，第三个就是看黑板上写的还有没有"group"，如果有就继续匹配yes部 分，否则就匹配no部分。
我们需要做的是每碰到了左括号，就在压入一个"Open",每碰到一个右括号，就弹出一个，到了最后就看看堆栈是否为空－－如果不为空那就 证明左括号比右括号多，那匹配就应该失败。正则表达式引擎会进行回溯(放弃最前面或最后面的一些字符)，尽量使整个表达式得到匹配。
#最外层的左括号
#最外层的左括号后面的不是括号的内容
(?'Open'&)
#碰到了左括号，在黑板上写一个"Open"
#匹配左括号后面的不是括号的内容
(?'-Open'&)
#碰到了右括号，擦掉一个"Open"
#匹配右括号后面不是括号的内容
(?(Open)(?!))
#在遇到最外层的右括号前面，判断黑板上还有没有没擦掉的"Open"；如果还有，则匹配失败&
#最外层的右括号
平衡组的一个最常见的应用就是匹配HTML,下面这个例子可以匹配嵌套的&div&标签：&div[^&]*&[^&&]*(((?'Open'&div[^&]*&)[^&&]*)+((?'-Open'&/div&)[^&&]*)+)*(?(Open)(?!))&/div&.
还有些什么东西没提到
上边已经描述了构造正则表达式的大量元素，但是还有很多没有提到的东西。下面是一些未提到的元素的列表，包含语法和简单的说明。你可以在网 上找到更详细的参考资料来学习它们--当你需要用到它们的时候。如果你安装了MSDN
Library,你也可以在里面找到.net下正则表达式详细的文档。
这里的介绍很简略，如果你需要更详细的信息，而又没有在电脑上安装MSDN Library,可以查看。
表7.尚未详细讨论的语法
代码/语法 说明
报警字符(打印它的效果是电脑嘀一声)
通常是单词分界位置，但如果在字符类里使用代表退格
制表符，Tab
竖向制表符
ASCII代码中八进制代码为nn的字符
ASCII代码中十六进制代码为nn的字符
Unicode代码中十六进制代码为nnnn的字符
ASCII控制字符。比如\cC代表Ctrl+C
字符串开头(类似^，但不受处理多行选项的影响)
字符串结尾或行尾(不受处理多行选项的影响)
字符串结尾(类似$，但不受处理多行选项的影响)
当前搜索的开头
Unicode中命名为name的字符类，例如\p{IsGreek}
贪婪子表达式
(?&x&-&y&exp)
(?im-nsx:exp)
在子表达式exp中改变处理选项
为表达式后面的部分改变处理选项
(?(exp)yes|no)
把exp当作零宽正向先行断言，如果在这个位置能匹配，使用yes作为 此组的表达式；否则使用no
(?(exp)yes)
同上，只是使用空表达式作为no
(?(name)yes|no)
如果命名为name的组捕获到了内容，使用yes作为表达式；否则使用 no
(?(name)yes)
同上，只是使用空表达式作为no
好吧,我承认,我骗了你,读到这里你肯定花了不止30分钟.相信我,这是我的错,而不是因为你太笨.我之所以说"30分钟",是为了让你有 信心,有耐心继续下去.既然你看到了这里,那证明我的阴谋成功了.被忽悠的感觉很爽吧？
要投诉我,或者觉得我其实可以忽悠得更高明,或者有任何其它问题,欢迎来让我知道.
共有45个评论
记得将近三年前，学数据采集的时候就用过这份文档，确实是不错的文档，顶一个！
红薯老大这边的这种资料比javaeye就少很多了。这篇在javaeye上看过。呵呵呵，顶
这个网站的正则测试是我比较喜欢的
我自己写了一个小工具,想拿出来分享,怎么上传???
引用来自#5楼&mrlong&的帖子
我自己写了一个小工具,想拿出来分享,怎么上传???
目前oschina不提供上传软件的功能，可以发给我，我帮你上传到服务器，然后给你一个链接。
顶红薯哥，留着学习
这个...30分钟看不完的吧...
好东西 收藏 有时间一定要学
有什么技术问题吗？
红薯的其他问题
类似的话题