用正则表达式怎么处理中文? - V2EX
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
commoccoom

用正则表达式怎么处理中文?

  •  
  •   commoccoom May 7, 2015 5656 views
    This topic created in 4028 days ago, the information mentioned may be changed or developed.
    用Python 爬了一个网页下来,怎么处理网页里的中文字符啊。

    中文都是\xe7\xa9\xbf\xe5\xb1\xb1\xe7\x94\xb2\xe5\x88\xb0\xe5\xba\x95\xe8\xaf\xb4\xe4\xba\x86\xe4\xbb\x80\xe4\xb9\x88\xef\xbc\x9f


    看不懂!

    或者有什么相关的资料书籍。谢谢!
    18 replies    2015-05-10 12:06:15 +08:00
    Cee
        1
    Cee  
       May 7, 2015
    三 \x** 一 成字
    fzinfz
        2
    fzinfz  
       May 7, 2015
    In [30]: s = b'\xe7\xa9\xbf\xe5\xb1\xb1\xe7\x94\xb2\xe5\x88\xb0'

    In [31]: sd = s.decode('utf-8')

    In [32]: sd
    Out[32]: '穿山甲到'

    In [33]: rs = re.search('山',sd)

    In [34]: rs
    Out[34]: <_sre.SRE_Match object; span=(1, 2), match='山'>
    huanglk
        3
    huanglk  
       May 7, 2015
    re.compile(r'^([\x80-\xff]{3})+$')
    liuhaotian
        4
    liuhaotian  
       May 7, 2015
    穿山甲到底说了什么?
    这个是汉字的 utf-8 编码
    我只会 php 就用 php,用 php 做了一个快速转换的 sample : http://cloud.vexio.net/prog/za/utf8_decode.php
    核心部分就是:urldecode(str_replace('\x','%',$input));
    likuku
        5
    likuku  
       May 7, 2015
    试试:

    str.encode('utf-8')

    正则没用过,但 count 和 find 都可。
    py 头部加
    # encoding: utf-8

    str.encode('utf-8').count(u'中文')
    str.encode('utf-8').find(u'中文')

    python 2.7 下。
    likuku
        6
    likuku  
       May 7, 2015
    python 2.x 使用引号字串前加 u 来明确使用 utf-8 编码,否则中文不行。
    buginux
        7
    buginux  
       May 7, 2015
    书籍的话,推荐楼主去看看《正则指引》, 余晟老师写的,是国内的正则书,里面有关于中文的。
    imn1
        8
    imn1  
       May 7, 2015
    先判断类型
    如果是string,就按latin-1转为bytes,decode utf-8
    如果本身就是bytes,直接decode就行了
    imn1
        9
    imn1  
       May 7, 2015
    >>> s='\xe7\xa9\xbf\xe5\xb1\xb1\xe7\x94\xb2\xe5\x88\xb0\xe5\xba\x95\xe8\xaf\xb4\xe4\xba\x86\xe4\xbb\x80\xe4\xb9\x88\xef\xbc\x9f'
    >>> s.encode('latin-1').decode('utf-8')
    '穿山甲到底说了什么?'
    >>>
    >>> s=b'\xe7\xa9\xbf\xe5\xb1\xb1\xe7\x94\xb2\xe5\x88\xb0\xe5\xba\x95\xe8\xaf\xb4\xe4\xba\x86\xe4\xbb\x80\xe4\xb9\x88\xef\xbc\x9f'
    >>> s.decode('utf-8')
    '穿山甲到底说了什么?'

    第一个s是string,第二个s是bytes


    错误的例子:
    >>> s='\xe7\xa9\xbf\xe5\xb1\xb1\xe7\x94\xb2\xe5\x88\xb0\xe5\xba\x95\xe8\xaf\xb4\xe4\xba\x86\xe4\xbb\x80\xe4\xb9\x88\xef\xbc\x9f'
    >>> s.encode('utf-8').decode('utf-8')
    '±±\x94\x88°\x95è\x86\x80\x88\x9f'

    用 utf-8 或者 ascii 来 encode 都是不对的
    picasso250
        10
    picasso250  
       May 8, 2015
    做爬虫,请用PHP或者python3。

    人生苦短。
    picasso250
        11
    picasso250/strong>  
       May 8, 2015
    比如 preg_match('/我就是要处理中文/u', $html_code);
    ultimate010
        12
    ultimate010  
       May 8, 2015 via iPhone
    2和9正解,用好decode encode python 2正则很好弄,建议用lxml库。
    commoccoom
        13
    commoccoom  
    OP
       May 8, 2015
    @picasso250
    python 2.7 有什么坑吗?
    caomaocao
        14
    caomaocao  
       May 8, 2015
    可以用这个%\w{2}){3,} 但要主要gbk编码的...
    commoccoom
        15
    commoccoom  
    OP
       May 9, 2015
    @ultimate010 再问一个问题:为什么 "^[0\\\-9]$" 和 "^[0\\\\-9]$" 是等价的?
    ultimate010
        16
    ultimate010  
       May 10, 2015 via iPhone
    commoccoom
        17
    commoccoom  
    OP
       May 10, 2015
    @ultimate010

    我用 r"^[0\\-9]$" == "^[0\\\-9]$" 返回True 用 r"^[0\\-9]$" == "^[0\\\\-9]$" 返回True
    "^[0\\\-9]$" == "^[0\\\\-9]$" 同样返回 True 这样我就看不懂了。
    ultimate010
        18
    ultimate010  
       May 10, 2015
    In [1]: a = "^[0\\\-9]$"

    In [2]: a
    Out[2]: '^[0\\\\-9]$'

    In [3]: b = "^[0\-9]"

    In [4]: b
    Out[4]: '^[0\\-9]'

    In [5]: c = "^[0\\\\-9]"

    In [6]: c
    Out[6]: '^[0\\\\-9]'

    我理解 "^[0\\\-9]$" 这种情况,前两个'\\'表示转义'\'就是原始'\',后面单独的'\'后是'-',不是转义情况,所以理解为'\',存储是表示成转义'\',所以输出中有'\\\\'四个'\'。
    In [1]: r"^[0\\-9]$"
    Out[1]: '^[0\\\\-9]$'
    加了r后,就自动帮你加了转义需要的'\'。
    About     Help     Advertise     Blog     API     FAQ     Solana     2947 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 47ms UTC 05:59 PVG 13:59 LAX 22:59 JFK 01:59
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86