爬虫工作量由小到大的思维转变---＜第三十章 Scrapy Redis 第一步(配置同步redis)＞
前言:
要迈向scrapy-redis进行编写了;首要的一步是,如何让他们互通?也就是让多台电脑连一个任务(这后面会讲); 现在来做一个准备工作,配置好redis的同步!!
针对的是windows版本的redis同步,实现`主服务`和`从服务`共享一个redis库;
正文:
正常的redis for windows 的安装这里就不说了; 讲一下如何配置两台或者多台电脑的共享redis吧!
需要硬件:
>=两台电脑(或者你自己配的虚拟环境也行)
修改配置:
1.查看你主电脑的ip网关:
cmd-->ipconfig
2.到你的redis根服务器里面,找到.conf文件:
3.打开之后,修改3个值:
bind：将其设置为台式机的 IP 地址，以允许笔记本电脑连接到台式机上的 Redis 服务器。
protected-mode：将其设置为 no，以允许来自其他 IP 地址的连接。
port：设置 Redis 监听的端口号，默认为 6379。
4.启动主服务器的redis服务端:
在redis根目录下,cmd-->
#例如redis-server.exe D:\redis\redis.windows.conf
redis-server.exe <你刚刚改的conf路径>
5.启动好之后,去你的从服务器上:
(相当于,这时候已经有一个共享的服务端了,我们不管开多少个客户端,随意~ 只要连接这个地址和端口就行)
cmd-->
例如:redis-cli.exe -h 192.168.2.11 -p 6379redis-cli.exe -h <你那个ip地址> -p <端口号>
6.成功!
输入:keys *
--->看一下同步没有~~
归纳语:
要想实现scrapy-redis,首先把这个配置好! 不然其他一切白搭,学了也白学,不能够实战呀!!!
所以,先把这个先决条件整明白了,咱再整其他的好么.