当前位置：首页 > news >正文

亚马逊云科技re_Invent 2023产品体验：亚马逊云科技产品应用实践国赛选手带你看Elasticache Serverless

news 来源：原创 2024/5/24 1:51:36

本篇文章授权活动官方亚马逊云科技文章转发、改写权，包括不限于在亚马逊云科技开发者社区, 知乎，自媒体平台，第三方开发者媒体等亚马逊云科技官方渠道

抛砖引玉

讲一下作者背景，曾经参加过国内世界技能大赛云计算的选拔，那么在竞赛中包含两类，一类是架构类竞赛，另一类就是TroubleShooting竞赛，对应的分别为AWS GameDay和AWS Jam，想必也有朋友玩过此类竞赛，那么最经典的一个Gameday，我认为是Gameday 2015那个比赛，感兴趣的朋友可以在这里看看哈
AWS-Gameday-2015-Runbook:https://github.com/fedorovdima/aws-gameday/blob/master/runbook.md

上图为一个简易架构示例图
那么在这场比赛中，是有好几个版本的，如果说延伸到后面的版本，那么Elasticache是一个拿分的好物(在不考虑Cloudfront的情况下)，因为从客户端发送来的数据，会被缓存到Elasticache中，在这里当然是用的Elasticache for memcached，当客户端再次发送同样的数据请求过来的时候，首先会往memcache的查询数据，如果有就即刻返回。
那么在这个实践的过程中，我们抛开架构上的设计，我们使用Elasticache for Memcached首先是要去创建。
OK，那么问题来了

在生产实践中，我们需要考虑到成本的问题，创建多大呢？我们如何去预估这个缓存数据库的一个规模大小，这是第一个问题(虽然在竞赛中，都是扣一样的)
创建缓存数据库需要花时间，如果设置错误，删除也需要花费时间，在每个阶段会需要时间等待，大约4-5分钟

总结起来就是：弹性伸缩，成本管控

视频简介

亚马逊云科技re:Invent 2023产品体验：亚马逊云科技产品应用实践国赛选手带你看Elasticache Serverless

Serverless助力数据拓展无极限

在2023 亚马逊云科技 re:Invent大会中，Peter宣布推出 Amazon ElastiCache Serverless，这是一种新的无服务器选项，允许客户在一分钟内创建缓存并根据应用程序流量模式立即扩展容量。Amazon ElastiCache Serverless 与两种流行的开源缓存解决方案 Redis 和 Memcached 兼容。

Amazon ElastiCache Serverless 具有以下优势：

无需管理基础设施：ElastiCache Serverless 自动管理容量和扩展，因此您只需为您使用的内存和计算付费。
快速启动：您只需几分钟即可创建和启动 ElastiCache Serverless 缓存。
按需扩展：ElastiCache Serverless 会根据您的应用程序需求自动扩展或缩减缓存的容量。
高可用性：ElastiCache Serverless 自动将数据复制到多个 Availability Zone，以确保高可用性。

通过这样简单介绍，我相信大家已经明了我的意思了，Amazon Elasticache Serverless可以满足咱们在之前所遇到的问题，一个是硬件弹性扩缩容，一个是创建/删除时间长的问题。那么我们实际来看看 Amazon Elasticache Serverless的实际表现如何。

实践环节

在本次实践测试中，使用Elasticache for Memcached的Serverless版本

控制台创建

创建时间

默认就会已经选择了Serverless版本,大家可以通过下面2个截图看到咱们一整个创建时间是在1分钟左右的，和官方宣称的1分钟内其实是有一点差异的。那么针对于这种现象呢，个人认为也许是底层资源的调用的影响，才导致这样一个差异化的出现，也许在后续的一个版本升级后，可以实现任何时间都可以在1分钟内创建出缓存数据库。

连接及使用

在我们测试某个服务端口是否开放的时候，我们用telnet来进行连接，那么在常规使用中，我们在网上看到连接redis和memcached的方法也是使用telnet,例如

telnet Cache_host:port

那么，我们可用用这个命令连接上咱们一般创建的redis/memcache，请注意，为什么我在这里说的是“一般”
在默认和自定义的情况下，亚马逊云科技的Elasticache的Redis/memcached都会有一个选项，叫做“传输中加密”，该选项是“始终启用”，且无法关闭

加密连接

openssl s_client -connect Cache_host:Port

弹性测试

弹性拓展

当然，Elasticache Serverless，重就重在Serverless，在创建之初，咱们就已经提到过，我们可以自行定义可用内存和每秒ElastiCache 处理单位，当然默认情况下是不设限的。

并发测试

测试视频

并发测试-亚马逊云科技re:Invent 2023产品体验：亚马逊云科技产品应用实践国赛选手带你看Elasticache Serverless

测试配置

Elasticache类别	Redis	测试客户端机型
Serverless	7.1	Ubuntu-C7i.metal.48xl
t4g.micro	7.1	Ubuntu-C7i.metal.48xl

测试脚本

首先是要安装redis
然后在脚本中定义redis终端节点
脚本每秒钟会并发10000写入

pip3 install redis

import redis
import concurrent.futures
import random
import string
import time# 定义你的redis终端节点
redis_host = ''
redis_port = 6379
redis_ssl = True
num_writes_per_second = 10000
key_prefix = "data"def generate_random_string(length=10):"""Generate a random string of the specified length."""letters = string.ascii_lowercasereturn ''.join(random.choice(letters) for _ in range(length))def write_to_redis(client, key_prefix, num_writes):"""Write data to Redis with random keys and values."""for _ in range(num_writes):key = f"{key_prefix}_{generate_random_string()}"value = generate_random_string()client.set(key, value)# Create a Redis client
client = redis.Redis(host=redis_host, port=redis_port, ssl=redis_ssl)# Function to write to Redis continuously
def continuous_writes():with concurrent.futures.ThreadPoolExecutor() as executor:while True:# Submit write tasks to the thread poolfutures = [executor.submit(write_to_redis, client, key_prefix, num_writes_per_second) for _ in range(num_writes_per_second)]# Wait for all tasks to completeconcurrent.futures.wait(futures)# Introduce a delay to control the rate of writestime.sleep(1)# Start the continuous writes
continuous_writes()

客户端情况

Serverless版本写入基本保持在124%的CPU利用率

传统预配置机型t4g.micro
客户端CPU利用率

测试小节

从实际并发测试来看，Serverless版本的Elasticache在超高并发下的写入是完全可以接住，并且内存量随着写入数据的增长是没有感知的。反观传统创建出的T4g.micro数据库实例，也许在一开始是能够写入数据，但是再往后写入数据，T4g.micro机型的redis似乎就宕机了一样，从监控上的数据来看没有任何写入的迹象。