我们把用户访问系统造成的数据传输定义为流量,那么在用户访问系统的过程中,我们可以把进入和流出的数据复制下来,进行保存,待后续使用,即离线模式,或者转发到一个新的服务器,立即使用,即在线模式。
性能测试中我们可以使用诸如 ab, wrk, httperf, locust, JMeter 等工具模拟用户请求,也可以使用流「流量复制」工具,实时捕捉生产环境流量并导向目标测试系统。同时,这些「流量复制」工具可以支持对真实流量进行放大或缩小。
于是有人说,就是因为这样才应该直接用真实流量的方式来做嘛,这样就不用管业务模型了,直接就有生产的业务模型了。没错,只要你能通过生产流量扩大回放的方式实现压力部分,确实可以不用考虑业务场景了。但这么做的前提也必须是你的生产流量来源是可以覆盖想要测试的业务场景的。
这里要批驳一个观点,就是有些人觉得只有通过生产流量回放的方式,才是真实地 模拟了线上的流量。事实上,这个观点是偏颇的。
总结一下,流量复制工具的优势就是可以将线上流量拷贝到测试机器,实时的模拟线上环境,真实的模拟线上流量的变化规律,达到在程序不上线的情况下实时承担线上流量的效果。
流量复制工具一般分成这几类:
基于web 服务器的请求复制 优点:请求多样化、成本缺点:不具备通用性、丢失 *** 延迟、占用在线资源比较严重基于应用层的流量复制工具 优点:实现简单缺点:但会挤占线上应用的资源(比如连接资源,内存资源等),还可能会因为耦合度高而影响正常业务。基于 *** 栈的流量复制工具,直接从链路层抓取数据包 优点:应用影响较小缺点:但是其实现也就相对复杂一些该模块目前只实现了两个配置指令,用法相当简单:
location / { mirror /mirror; proxy_pass }
location /mirror { internal; proxy_pass http://test_backend$request_uri; }
每一条 mirror 配置项对应用户请求的一个副本,我们就可以通过配置多次 mirror 指令来实现 “流量 放大” 的效果。当然,你也可以将多个副本转发给不同的后端目标系统。
示例配置:
server { listen 8080; access_log /home/work/log/nginx/org.log; root html/org; }
server { listen 8081; access_log /home/work/log/nginx/mir.log ; root html/mir; }
upstream backend { server 127.0.0.1:8080; }
upstream test_backend { server 127.0.0.1:8081; }
server { listen 80; server_name localhost;
# original 配置 location / { # mirror指定镜像uri为 /mirror mirror /mirror; # off|on 指定是否镜像请求body部分(开启为on,则请求自动缓存;) mirror_request_body off; # 指定上游server的地址 proxy_pass http://backend; } # mirror 配置 location /mirror { # 指定此location只能被“内部的”请求调用 internal; # 指定上游server的地址 proxy_pass http://test_backend$request_uri; # 设置镜像流量的头部 proxy_set_header X-Original-URI $request_uri; } }
流量放大, 配置两个 mirror 即可:
location / { mirror /mirror; mirror /mirror; proxy_pass http://backend; }
使用很方便,但是线上 nginx 一般都承载了不止一个业务,修改 nginx 配置后需要 nginx -s reload 来使之生效,这种操作在线上还是尽量需要避免的。
TCPCopy 由两部分组成:TCPCopy 和 intercept。TCPCopy 在线上服务器上运行并捕获在线请求,intercept 运行在辅助服务器上并执行一些辅助工作,例如将响应信息传递给 TCPCopy。测试应用程序则在目标服务器上运行。也就是使用上其实还需要一个辅助服务器。
TCPCopy 的主要优势:
协议无感知,可以透明转发,能够支持基于 TCP 的任意应用层协议,如 MySQL,Kafka,Redis 等实时转发,延时较低可以保留原始请求 IP 端口信息,测试服务器可用于统计同时,也具有以下不足:
无法动态添加多个下游服务器由于透明转发,不做协议解析,无法发现数据异常,如部分 TCP 包丢失,测试服务器将收到不完整的数据;此外,也无法对应用层数据进行筛选和修改进行修改核心组件设计时未进行多线程设计,处理能力存在瓶颈需要修改 iptables 来丢弃下游服务的回包,用在生产或公共的测试环境存在较大风险与 TCPCopy 相比它的架构更简单,只有一个 gor 组件,如下:
只需要在生产服务器上启动一个 gor 进程,它负责所有的工作包括监听、过滤和转发。 它的设计遵循 Unix 设计哲学:一切都是由管道组成的,各种输入将数据复用为输出。
敲下命令,即可进行流量复制。无需理解复杂的概念。同样支持在线直接转发。存储到文件进行重放,N 倍重放。
sudo ./gor --input-raw :8000 --output-http="http://localhost:8001" sudo ./gor --input-raw :8000 --output-file=requests.gor
相比 tcpcopy 只能复制 HTTP 和 HTTPS 的流量。 使用时编译很麻烦,一般直接使用编译好的版本。
一般配合 diffy 一起使用,diffy 提供 diff 能力,可以智能降噪音。
diffy 地址:https://github.com/twitter-archive/diffy整体架构图:
沙箱有两种启动方式:
使用jvm的attach机制,线上随时可进行attachjava agent启动,需要在命令行增加参数,故需要重启。流量复制的场景下基本就是选择 attach了。提供的脚本非常简单易用,直接在安装目录下敲入命令即可。
# 假设目标JVM进程号为'2343' ./sandbox.sh -p 2343
其他的就是编写 AOP相关代码然后编译成 jar 包放入到安装目录。官网的例子非常详细,有兴趣可以了解了解。
整体架构图:
recorder: 流量录制模块,录制流量本地文件存储、发送流量到录制agent等。recorder-agent:流量录制agent,单独进程启动,控制录制比例、流量存储等。replayer: 流量回放模块,重定向连接到Mock Server、Mock时间、添加流量标识等。replayer-agent:流量回放agent,单独进程启动,查询流量、查询/上报噪音、流量diff、批量回放、生成覆盖率报告等。整体架构图:
www.gj *** g.com
Atlassian解决了其Jira Seraph软件中的一个严重漏洞,该漏洞编号为CVE-2022-0540(CVSS 评分 9.9),未经身份验证的攻击者可以利用该漏洞绕过身份验证。威胁参与者可以通过向易受攻击的软件发送特制的HTTP 请求来触发漏洞。 该漏洞会对Jira软件多版本产生影响,比如...
受俄乌冲突影响,俄罗斯 Sber 银行建议其客户暂时停止安装任何应用程序的软件更新,因为担心这些软件可能包含专门针对俄罗斯用户的恶意代码,被一些人称为“抗议软件”(protestware)。 Sber 的公告写道:“目前,挑衅性媒体内容被引入免费分发的软件的情况已经变得更加频繁。此外,各种内容和...
BHI是一种影响大多数英特尔和Arm CPU的新型投机执行漏洞,它攻击分支全局历史而不是分支目标预测。不幸的是,这些公司以前对Spectre V2的缓解措施也无法保护BHI的威胁,尽管AMD处理器大多是免疫的。消息传出后,供应商应该很快就会发布安全补丁,而最新得Linux内核已经打了补丁。...
新的研究表明,黑客经常使用相同的常用密码,通常是默认密码获得服务器的访问权。来自Bulletproof的数据还显示,在黑客使用的顶级默认凭证列表中,默认的Raspberry Pi用户名和登录信息占据了突出位置。 在整个2021年,利用蜜罐进行的研究表明,目前总网络活动的70%是机器人流量。随着黑客越...
欧洲议会周四投票决定成立一个新的 “调查委员会”,调查针对欧洲成员国获取和使用Pegasus(飞马)手机间谍软件的指控。议员们基本上投票赞成设立该委员会,该委员会将调查欧盟27个成员国使用Pegasus和其他监控间谍软件的情况。 调查委员会允许立法者调查可能违反欧洲法律的行为。欧洲议会在一份声明中说...
在最新活动中,恶意软件 Magniber 利用虚假的 Windows 10 更新实现传播。这款恶意软件非常善于紧跟最新时事进行传播,在 2021 年使用 PrintNightmare 漏洞来感染受害者;在 2022 年 1 月,它再次通过 Edge 和 Chrome 浏览器进行传播。 援引科...