获取html资源
获取HTML资源
主要模块为urllib.request
1、使用urlopen和urlretrieve获取http资源
和open内置方法可以读取文件一样，urlopen可以用来读取url资源。不同的是，urlopen不能对获取的资源数据进行seek操作，而是返回值中包含一个可读文件的handler，从而可以对文件进行读取。
>>> from urllib.request import urlopen
>>> f=urlopen("http://192.168.90.162") #注意，读取网络数据需一定时间，这里将会使用阻塞模式，需等待一段时间
>>> f.read()
b'<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.针对数据来实现相应的文件操作，包括部分读取等。
from urllib.request import urlopen
fp=urlopen("http://www.python.org")
op=open("d:\python.html",'wb')
n=0
while True:
s=fp.read(1024)
if not s: #s为真，not s为假；s为假如EOF，那么not s为真，即遇到文本结束，则跳出循环，结束文章读取
break
op.write(s)
n=n+1024
fp.close()
op.close()说明：1、生成的pythn.html文字内容和官方时一样的。但显示时还是有区别。图片的缺失，其次html文档布局不同。实际原因是html文档中图片和CSS的url使用的是相对url。
2、urlopen的可选参数data为空时候，支持多种协议，包括本地文件，http协议等。如果为http数据，urlopen将使用get方法获取相关资源。
3、可选参数data非空，则前面协议字段必须为http，此时urlopen将使用post方法获取url资源，当然data需要使用urlencode编码过后的查询数据。
##直接保存URL资源
转载于:https://blog.51cto.com/5918475/2401149