python http代理_python HTTP代理中转服务
不知道该取一个什么名字，所以叫HTTP代理中转服务，其实就是将客户端HTTP请求转发给代理IP，再把代理IP的响应返回给客户端，这个有什么用处呢？
很简单，像python的爬虫为了防爬会使用代理IP，代码如下：
import requests
def jc_proxies():
try:
s = requests.session()
proxies={
"http": "x.x.x.x:yyyy",
}
r = s.get('http://www.baidu.com')
print r.content
except Exception,e:
if isinstance(e,requests.exceptions.ReadTimeout):
print e
else:
print(e)
jc_proxies()
但是一个代理IP被封了咋办，所以会准备很多，然后要不断改变 proxies 里的http，这样就很麻烦，能不能ip一直不换，后台开一个服务帮我自动请求不同的代理IP呢？
哈哈哈......
走过路过不要错过
这个HTTP代理中转就是干这事儿用的，不过我这里只用了一个代理IP，不过稍微改一下代码就可以多个代理IP了
代码很简单，就用到socket变成，有注释就不啰嗦了
代码如下：
# -*-coding:utf-8-*-
"""
ayou
"""
import socket
from socket import error
import threading
class ProxyServerTest():
def __init__(self):
#本地socket服务
self.ser=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
def run(self):
try:
#本地服务IP和端口
self.ser.bind(('127.0.0.1', 9999))
#最大连接数
self.ser.listen(5)
except error as e:
print("The local service : "+str(e))
return "The local service : "+str(e)
while 1:
try :
#接收客户端数据
client,addr=self.ser.accept()
print 'accept %s connect'%(addr,)
data=client.recv(1024)
if not data:
break
print data
except error as e:
print("Local receiving client : "+str(e))
return "Local receiving client : "+str(e)
try:
#目标代理服务器，将客户端接收数据转发给代理服务器
mbsocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
mbsocket.connect(('202.171.253.72', 80))
mbsocket.send(data)
except error as e:
print("Sent to the proxy server : "+str(e))
return "Sent to the proxy server : "+str(e)
while 1:
try:
#从代理服务器接收数据，然后转发回客户端
data_1 = mbsocket.recv(1024)
if not data_1:
break
print data_1
client.send(data_1)
except error as e:
print("Back to the client : "+str(e))
return "Back to the client : "+str(e)
#关闭连接
client.close()
mbsocket.close()
def main():
try:
pst = ProxyServerTest()
#多线程
t = threading.Thread(target=pst.run, name='LoopThread')
print 'Waiting for connection...'
#关闭多线程
t.start()
t.join()
except Exception as e:
print("main : "+str(e))
return "main : "+str(e)
if __name__ == '__main__':
main()
客户端测试代码：
import requests
def jc_proxies():
try:
s = requests.session()
proxies={
"http": "127.0.0.1:9999",
}
r = s.get('http://1212.ip138.com/ic.asp',proxies=proxies,timeout=10)
print r.content
except Exception,e:
if isinstance(e,requests.exceptions.ReadTimeout):
print e
else:
print(e)
jc_proxies()
http://1212.ip138.com/ic.asp 是查看你当前IP的网站
结果：
可以看到检测到的是代理IP
稍微改一下代码，实现随机向多个代理ip发请求
代码如下：
# -*-coding:utf-8-*-
"""
ayou
"""
import socket
from socket import error
import threading
import random
class ProxyServerTest():
def __init__(self,proxyip):
#本地socket服务
self.ser=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
self.proxyip = proxyip
def run(self):
try:
#本地服务IP和端口
self.ser.bind(('127.0.0.1', 9999))
#最大连接数
self.ser.listen(5)
except error as e:
print("The local service : "+str(e))
return "The local service : "+str(e)
while 1:
try :
#接收客户端数据
client,addr=self.ser.accept()
print 'accept %s connect'%(addr,)
data=client.recv(1024)
if not data:
break
print data
except error as e:
print("Local receiving client : "+str(e))
return "Local receiving client : "+str(e)
try:
#目标代理服务器，将客户端接收数据转发给代理服务器
mbsocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
iplen = len(self.proxyip)
prip = self.proxyip[random.randint(0,iplen-1)][0]
prpo = self.proxyip[random.randint(0,iplen-1)][1]
mbsocket.connect((prip, prpo))
mbsocket.send(data)
except error as e:
print("Sent to the proxy server : "+str(e))
return "Sent to the proxy server : "+str(e)
while 1:
try:
#从代理服务器接收数据，然后转发回客户端
data_1 = mbsocket.recv(1024)
if not data_1:
break
print data_1
client.send(data_1)
except error as e:
print("Back to the client : "+str(e))
return "Back to the client : "+str(e)
#关闭连接
client.close()
mbsocket.close()
def main():
#这里只有一个代理IP，可以添加很多，换个思路也可以从数据库里取ip和端口
ip_list = [("202.171.253.72",80)]
try:
pst = ProxyServerTest(ip_list)
#多线程
t = threading.Thread(target=pst.run, name='LoopThread')
print 'Waiting for connection...'
#关闭多线程
t.start()
t.join()
except Exception as e:
print("main : "+str(e))
return "main : "+str(e)
if __name__ == '__main__':
main() 因为比较穷只能去免费的代理IP网站抓免费的代理IP，然后验证是否能用，再存进数据库里，要用的时候从数据库里取