189 8069 5689

写简单的爬虫都需要什么

写爬虫都需要些什么呢,
写简单的爬虫都需要什么
A要爬取的网址难度的大小 (选择谷歌对要爬取的网址源代码进行分析)
写简单的爬虫都需要什么
B借用Python中的模块urllib与requests 对网址进行请求与访问
以requests为例:(requests模块的导入见:https://blog.51cto.com/13747953/2321389)
a 下载图片

成都创新互联是一家集网站建设,南宁企业网站建设,南宁品牌网站建设,网站定制,南宁网站建设报价,网络营销,网络优化,南宁网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

import requests            

ret=requests.get('http://×××w.xiaohuar.com/d/file/20180724/40d83a6709eca21137dcdd80ee28c31b.jpg')
print(ret,type(ret))
print(ret.status_code)
print(ret.content)
with open(r'E:\text1\爬虫\text_png\p1.png','wb') as f:
    f.write(ret.content)

写简单的爬虫都需要什么
b 基本文字信息的获取

import requests
from urllib import request

# ret=requests.get('http://maoyan.com/board')
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

}
ret=request.Request('http://maoyan.com/board',headers=headers)
resp=request.urlopen(ret)
print(resp,type(resp))
print(resp.read().decode('utf-8'))

这里不用requests 模块是因为在请求的过程中返回了403的错误
猜想可能的原因是:网址的反爬虫机制发现了来自pycharm的请求;
所以可以用urllib(Python自带的模块)提供的request模块
写简单的爬虫都需要什么
结果如下:
写简单的爬虫都需要什么

C如何从B-b中获取的文字数据中提取出自己想要的数据呢
a 分析数据的相同点
写简单的爬虫都需要什么
写简单的爬虫都需要什么

b 利用正则表达式与re模块

'
(?:.*?)src="(?P.*?)"(?:.*?)(?P.*?)(?:.*?)'
        '(?P.*?)', re.S)
'
  # 匹配开始的标志
(?:.*?)      # 匹配任意的字符,但用?取消了分组优先显示和贪婪匹配
src="(?P.*?)"    # 要获取的数据优先显示,并?P<名字>命名了
(?:.*?)

(?P.*?)

(?:.*?)
''
(?P.*?)
'
,re.S      # 声明 . 可以匹配任意的字符
)

俩个实例:
1爬取简单的文字信息:https://blog.51cto.com/13747953/2321800
2爬取图片: https://blog.51cto.com/13747953/2321803
(程序猿很无聊多多指教交流)


分享标题：写简单的爬虫都需要什么
文章分享：http://jkwzsj.com/article/jjedop.html

其他资讯