当前位置: 首页 > news >正文

网络编程(8)+字节序处理

八、day8

进行学习如何处理字节序问题。

1)什么是字节序

字节序,就是大于一个字节类型的数据在内存中的存放顺序,一般分为以下两类:

  • 大端序(Big-Endian):高位字节排放在内存的低地址端,低位字节排放在内存的高地址端
  • 小端序(Little-Endian):低位字节排放在内存的低地址端,高位字节排放在内存的高地址端

举例:

假设我们有一个 16 进制数0x12345678(4 个字节)需要存储在内存中,按照大端序,它的存储方式如下:

  • 0x12(最高字节)存储在最低的内存地址处
  • 0x34 存储在下一个地址
  • 0x56 存储在再下一个地址
  • 0x78(最低字节)存储在最高的内存地址处

假设内存从地址0x1000开始,按照大端序的存储顺序会是:

地址        数据
0x1000      0x12
0x1001      0x34
0x1002      0x56
0x1003      0x78

同理,将该16进制数按照小端序的方式存储,那么它的存储方式如下:

  • 0x78(最低字节)存储在最低的内存地址处
  • 0x56 存储在下一个地址
  • 0x34 存储在再下一个地址
  • 0x12(最高字节)存储在最高的内存地址处

同样内存从地址 0x1000 开始,按照小端序的存储顺序会是:

地址        数据
0x1000      0x78
0x1001      0x56
0x1002      0x34
0x1003      0x12

由于不同的计算机使用的 CPU 架构会导致字节顺序不同,比如:

  • x86、MOS Technology 6502、Z80、VAX、PDP-11等处理器为小端序;
  • Motorola 6800、Motorola 68000、PowerPC 970、System/370、SPARC(除V9外)等处理器为大端序;
  • ARM、PowerPC(除PowerPC 970外)、DEC Alpha、SPARC V9、MIPS、PA-RISC及IA64的字节序是可配置的。

因此,在传输数据时需要对数据的字节序进行统一,以保证数据能够正常传输和解析,这就是网络字节序的作用。在网络通信过程中,通常使用的是大端序。这是因为早期的网络硬件大多采用了 Motorola 处理器,而 Motorola 处理器使用的是大端序。此外,大多数网络协议规定了网络字节序必须为大端序。因此,在进行网络编程时,需要将主机字节序转换为网络字节序,也就是将数据从本地字节序转换为大端序。可以使用诸如 htonl、htons、ntohl 和 ntohs 等函数来实现字节序转换操作。

综上所述,网络字节序的主要作用是统一不同计算机间的数据表示方式,以保证数据在网络中的正确传输和解析。

2)如何判断本机字节序

因为int类型通常占用4个字节,所以通过最低有效字节即可判断字节序。首先定义整数num,并赋值1,其二进制表示为:

00000000 00000000 00000000 00000001
  • 在 大端序中,最高有效字节(00000000)会存储在内存的最低地址处。
  • 在 小端序中,最低有效字节(00000001)会存储在内存的最低地址处。

所以通过 '*(char*)&num == 1' 即可判断本机字节序类型:

  • &num: 这是 num 的地址,即 num 在内存中的起始位置。
  • (char*)&num: 将 num 的地址强制转换为 char* 类型。char 通常是 1 字节(8 位),这意味着现在我们可以通过 char* 来逐字节(int类型占用4个字节,被强制转换为char*之后,char*代表低地址的内存快)访问 num 在内存中的内容。
  • *(char*)&num: 通过解引用(*)char* 指针,获得 num 在最低地址处的那个字节(因为 char* 只访问 1 字节)。

如果这个最低地址的字节是 1,说明最低有效字节(00000001)存储在最低的内存地址,因此系统是 小端序。如果最低地址的字节不是 1,那么系统是 大端序。

bool is_big_endian() {int num = 1;if (*(char*)&num == 1) {// 当前系统为小端序return false;} else {// 当前系统为大端序return true;}
}int main() {int num = 0x12345678;char* p = (char*)&num;cout << "原始数据:" << hex << num << endl;if (is_big_endian()) {cout << "当前系统为大端序" << endl;cout << "字节序为:";for (int i = 0; i < sizeof(num); i++) {cout << hex << (int)*(p + i) << " ";}cout << endl;} else {cout << "当前系统为小端序" << endl;cout << "字节序为:";for (int i = sizeof(num) - 1; i >= 0; i--) {cout << hex << (int)*(p + i) << " ";}cout << endl;}return 0;
}

在上述代码中,使用了一个 is_big_endian() 函数来判断当前系统的字节序是否为大端序。该函数通过创建一个整型变量 num,并将其最低位设置为 1,然后通过指针强制转换成字符指针,判断第一个字节是否为 1 来判断当前系统的字节序。

在 main 函数中,定义了一个整型变量 num,并将其初始化为 0x12345678。接着,使用 char* 类型的指针 p 来指向 num 的地址。然后,通过判断当前系统的字节序来输出 num 的字节序。

如果当前系统为大端序,则按照原始顺序输出各个字节;如果当前系统为小端序,则需要逆序输出各个字节。例如,如果当前系统为大端序,则输出结果为:

原始数据:12345678
当前系统为大端序
字节序为:12 34 56 78
地址:0x00 0x01 0x02 0x03

如果当前系统为小端序,则输出结果为:

原始数据:12345678
当前系统为小端序
字节序为:78 56 34 12
地址:0x00 0x01 0x02 0x03

3)服务器使用网络字节序

为保证字节序一致性,网络传输使用网络字节序,也就是大端模式。

在 boost::asio 库中,可以使用 boost::asio::detail::socket_ops::host_to_network_long() 和 boost::asio::detail::socket_ops::host_to_network_short() 函数将主机字节序转换为网络字节序。具体方法如下:

#include <boost/asio.hpp>
#include <iostream>
int main()
{uint32_t host_long_value = 0x12345678;uint16_t host_short_value = 0x5678;uint32_t network_long_value = boost::asio::detail::socket_ops::host_to_network_long(host_long_value);uint16_t network_short_value = boost::asio::detail::socket_ops::host_to_network_short(host_short_value);std::cout << "Host long value: 0x" << std::hex << host_long_value << std::endl;std::cout << "Network long value: 0x" << std::hex << network_long_value << std::endl;std::cout << "Host short value: 0x" << std::hex << host_short_value << std::endl;std::cout << "Network short value: 0x" << std::hex << network_short_value << std::endl;return 0;
}

上述代码中,使用了 boost::asio::detail::socket_ops::host_to_network_long() 和 boost::asio::detail::socket_ops::host_to_network_short() 函数将主机字节序转换为网络字节序。

host_to_network_long() 函数将一个 32 位无符号整数从主机字节序转换为网络字节序,返回转换后的结果。host_to_network_short() 函数将一个 16 位无符号整数从主机字节序转换为网络字节序,返回转换后的结果。

在上述代码中,分别将 32 位和 16 位的主机字节序数值转换为网络字节序,并输出转换结果。需要注意的是,在使用这些函数时,应该确保输入参数和返回结果都是无符号整数类型,否则可能会出现错误。同样的道理,我们只需要在服务器发送数据时,将数据长度转化为网络字节序,在接收数据时,将长度转为本机字节序。在服务器的HandleRead函数里,添加对data_len的转换,将网络字节转为本地字节序

short data_len = 0;
memcpy(&data_len, _recv_head_node->_data, HEAD_LENGTH);
//网络字节序转化为本地字节序
data_len=boost::asio::detail::socket_ops::network_to_host_short(data_len);
cout << "data_len is " << data_len << endl;

boost::asio::detail::socket_ops::network_to_host_short()函数将网络字节转换为本机字节序。

在服务器的发送数据时会构造消息节点,构造消息节点时,将发送长度由本地字节序转化为网络字节序。

注意,仅有需要两个参数的消息节点构造函数(写节点)才需要构造消息节点时,将发送长度由本地字节序转化为网络字节序,因为需要把转换为大端序的数据长度记录在头节点发出去;有一个参数的消息节点构造函数(读节点)不需要进行转换

    MsgNode(char * msg, short max_len):_total_len(max_len + HEAD_LENGTH),_cur_len(0){_data = new char[_total_len+1]();//转为网络字节序int max_len_host = boost::asio::detail::socket_ops::host_to_network_short(max_len);memcpy(_data, &max_len_host, HEAD_LENGTH);memcpy(_data+ HEAD_LENGTH, msg, max_len);_data[_total_len] = '\0';}

客户端也遵循同样的处理

#include <iostream>
#include <boost/asio.hpp>
#include <thread>
using namespace std;
using namespace boost::asio::ip;
const int MAX_LENGTH = 1024 * 2;
const int HEAD_LENGTH = 2;
int main()
{try {//创建上下文服务boost::asio::io_context   ioc;//构造endpointtcp::endpoint  remote_ep(address::from_string("127.0.0.1"), 10086);tcp::socket  sock(ioc);boost::system::error_code   error = boost::asio::error::host_not_found; ;sock.connect(remote_ep, error);if (error) {cout << "connect failed, code is " << error.value() << " error msg is " << error.message();return 0;}// 发送线程,不断发送hello worldthread send_thread([&sock] {for (;;) {this_thread::sleep_for(std::chrono::milliseconds(2));const char* request = "hello world!";size_t request_length = strlen(request);char send_data[MAX_LENGTH] = { 0 };//转为网络字节序short request_host_length = boost::asio::detail::socket_ops::host_to_network_short(request_length);memcpy(send_data, &request_host_length, 2);memcpy(send_data + 2, request, request_length);boost::asio::write(sock, boost::asio::buffer(send_data, request_length + 2));}});// 接收线程,不断接收thread recv_thread([&sock] {for (;;) {this_thread::sleep_for(std::chrono::milliseconds(2));cout << "begin to receive..." << endl;char reply_head[HEAD_LENGTH];size_t reply_length = boost::asio::read(sock, boost::asio::buffer(reply_head, HEAD_LENGTH));short msglen = 0;memcpy(&msglen, reply_head, HEAD_LENGTH);//转为本地字节序msglen = boost::asio::detail::socket_ops::network_to_host_short(msglen);char msg[MAX_LENGTH] = { 0 };size_t  msg_length = boost::asio::read(sock, boost::asio::buffer(msg, msglen));std::cout << "Reply is: ";std::cout.write(msg, msglen) << endl;std::cout << "Reply len is " << msglen;std::cout << "\n";}});send_thread.join();recv_thread.join();}catch (std::exception& e) {std::cerr << "Exception: " << e.what() << endl;}return 0;
}

4)消息队列控制

发送时我们会将发送的消息放入队列里以保证发送的时序性,每个session都有一个发送队列,因为有的时候发送的频率过高会导致队列增大,所以要对队列的大小做限制,当队列大于指定数量的长度时,就丢弃要发送的数据包,以保证消息的快速收发。

const short MAX_SENDQUE = 1000;void CSession::Send(char* msg, int max_length) {bool pending = false; // 发送标志,true时有未完成的发送操作,false为空// 使用lock_guard锁住_send_lock,确保_send_lock(发送队列)访问的线程安全的// 锁的存在确保了多个线程不会同时修改发送队列std::lock_guard<std::mutex> lock(_send_lock);int send_que_size = _send_que.size();if (send_que_size > MAX_SENDQUE) {cout << "session: " << _uuid << " send que fulled, size is " << MAX_SENDQUE << endl;return;}// 判断队列是否有未完成的发送操作if (_send_que.size() > 0) {pending = true;}_send_que.push(std::make_shared<MsgNode>(msg, max_length)); // 将发送消息存储至队列if (pending) { // 如果有未完成的发送,直接返回return;}// 异步发送auto& msgnode = _send_que.front();boost::asio::async_write(_socket, boost::asio::buffer(msgnode->_msg, msgnode->_total_len),std::bind(&CSession::haddle_write, this, std::placeholders::_1, shared_from_this()));
} // 当'}'结束后,_send_lock解锁,发送队列解锁

相关文章:

  • Redis 五大基本数据类型及其应用场景进阶(缓存预热、雪崩 、穿透 、击穿)
  • SpringCloud-Netflix第一代微服务快速入门
  • u盘拷贝文件管控怎么设置?禁止往U盘拷贝文件的8种方法!(图文详解)
  • Java面试题真题·人才招聘系统项目介绍
  • autogen改变屏幕亮度
  • VMware搭建DVWA靶场
  • 【Vue】为什么 Vue 不使用 React 的分片更新?
  • 如何提升网页加载和跳转速度:Flask 模板渲染 vs Nginx 静态资源处理
  • 第二百五十五节 JPA教程 - JPA 多对多连接表示例
  • Springboot + netty + rabbitmq + myBatis
  • C++冷门知识点1
  • jeesite集成redis,redis工具类
  • Iptables,ufw,firewalld的关系与区别
  • 鸿蒙界面开发(九):列表布局 (List)
  • XSS | DOM 型 XSS 攻击
  • Angular 响应式表单之下拉框
  • CentOS学习笔记 - 12. Nginx搭建Centos7.5远程repo
  • HTML5新特性总结
  • Java 内存分配及垃圾回收机制初探
  • JS笔记四:作用域、变量(函数)提升
  • KMP算法及优化
  • Node项目之评分系统(二)- 数据库设计
  • ReactNativeweexDeviceOne对比
  • 工作踩坑系列——https访问遇到“已阻止载入混合活动内容”
  • 三分钟教你同步 Visual Studio Code 设置
  • 视频flv转mp4最快的几种方法(就是不用格式工厂)
  • nb
  • 400多位云计算专家和开发者,加入了同一个组织 ...
  • # Swust 12th acm 邀请赛# [ K ] 三角形判定 [题解]
  • #1015 : KMP算法
  • $.each()与$(selector).each()
  • (4)Elastix图像配准:3D图像
  • (C#)Windows Shell 外壳编程系列4 - 上下文菜单(iContextMenu)(二)嵌入菜单和执行命令...
  • (C语言)求出1,2,5三个数不同个数组合为100的组合个数
  • (day 12)JavaScript学习笔记(数组3)
  • (第9篇)大数据的的超级应用——数据挖掘-推荐系统
  • (附源码)springboot青少年公共卫生教育平台 毕业设计 643214
  • (附源码)计算机毕业设计SSM教师教学质量评价系统
  • (机器学习的矩阵)(向量、矩阵与多元线性回归)
  • (力扣)1314.矩阵区域和
  • (免费领源码)python+django+mysql线上兼职平台系统83320-计算机毕业设计项目选题推荐
  • (算法)N皇后问题
  • (算法)大数的进制转换
  • (万字长文)Spring的核心知识尽揽其中
  • ... fatal error LINK1120:1个无法解析的外部命令 的解决办法
  • .cn根服务器被攻击之后
  • .gitattributes 文件
  • .gitignore文件_Git:.gitignore
  • .Net - 类的介绍
  • .NET C# 使用 SetWindowsHookEx 监听鼠标或键盘消息以及此方法的坑
  • .NET CF命令行调试器MDbg入门(四) Attaching to Processes
  • .NET Core使用NPOI导出复杂,美观的Excel详解
  • .NET Framework与.NET Framework SDK有什么不同?
  • .Net 路由处理厉害了
  • .NET 项目中发送电子邮件异步处理和错误机制的解决方案