论一只爬虫的自我修养——python使用代理

import urllib.request
import random

url = 'https://www.kuaidaili.com/free/intr/'

iplist = ['117.141.155.243:53281','58.249.55.222:9797']
proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})

opener = urllib.request.build_opener(proxy_support)
opener.addheaders = [('User-Agent','Mozilla/5.0 (X11; Linux x86_64) ')]

urllib.request.install_opener(opener)

response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')

print(html)

相关文章：

Android Studio打开工具栏

Android Studio入门小例子

如何证明素数个数无限个

java运用itextpdf批量添加书签

Python3学习第四天

解决中国大学MOOC遮挡字幕问题

Deepin_wine安装超星阅读器及解决乱码问题

linux为文件创建软链接

判断回文数

两数相加_详解

第N高的薪水

合并两个有序链表(merge-two-sorted-lists)

移除元素remove-element

删除排序数组中的重复项Remove Duplicates from Sorted Array

字符串转换整数 (string-to-integer-atoi)

【干货分享】SpringCloud微服务架构分布式组件如何共享session对象

2017 前端面试准备 - 收藏集 - 掘金

codis proxy处理流程

FineReport中如何实现自动滚屏效果

Java新版本的开发已正式进入轨道，版本号18.3

js

mysql外键的使用

oschina

React-生命周期杂记

Webpack 4x 之路 （ 四 ）

关于 Linux 进程的 UID、EUID、GID 和 EGID

码农张的Bug人生 - 见面之礼

判断客户端类型，Android，iOS，PC

如何利用MongoDB打造TOP榜小程序

消息队列系列二（IOT中消息队列的应用）

HanLP分词命名实体提取详解

Java数据解析之JSON

Java性能优化之JVM GC（垃圾回收机制）

RDS-Mysql 物理备份恢复到本地数据库上

阿里云ACE认证之理解CDN技术

​批处理文件中的errorlevel用法

#传输# #传输数据判断#

$分析了六十多年间100万字的政府工作报告，我看到了这样的变迁

（C语言）fread与fwrite详解

(delphi11最新学习资料) Object Pascal 学习笔记---第8章第5节（封闭类和Final方法）

（附源码）node.js知识分享网站 毕业设计 202038

（附源码）springboot码头作业管理系统 毕业设计 341654

（附源码）基于ssm的模具配件账单管理系统 毕业设计 081848

（转） ns2/nam与nam实现相关的文件

**PHP分步表单提交思路（分页表单提交）

.NET HttpWebRequest、WebClient、HttpClient

.NET企业级应用架构设计系列之应用服务器

.NET业务框架的构建

@RequestMapping处理请求异常

[2544]最短路 （两种算法）（HDU）

[51nod1610]路径计数

[BUG] Hadoop-3.3.4集群yarn管理页面子队列不显示任务

[C# 基础知识系列]专题十六：Linq介绍

[Gym-102091E] How Many Groups

[hdu1561] The more, The Better 【树形DP】