从零手写的 C++11 多线程 Reactor 网络库,接口和分层参考 muduo,附带一个 echo/bank 演示服务端和测试客户端。
- 主从 Reactor:主事件循环只负责
accept,从事件循环处理已连接 socket 的读写,one loop per thread - epoll 边缘触发(ET)+ 非阻塞 IO,读事件一次读到
EAGAIN - eventfd 唤醒:跨线程投递任务,事件循环不会卡在
epoll_wait() - timerfd 空闲检测:定期清理超时连接(默认 10s 检查一次,80s 空闲断开)
- 两级线程池:IO 线程池跑事件循环,业务线程池跑耗时回调
- 4 字节长度前缀分帧,处理 TCP 粘包/半包
- 跨线程安全 send:数据先拷贝,再通过任务队列交给 IO 线程串行写入,配合发送缓冲区处理部分写
main thread IO threads (n) worker threads (m)
┌────────────────┐ ┌────────────────────────┐ ┌──────────────────┐
accept ──▶│ EventLoop(main)│──分发───▶│ EventLoop #0 ... #n-1 │───────▶│ ThreadPool(WORKS)│
│ Acceptor │ │ Connection / Channel │◀───┐ │ 业务回调 │
└────────────────┘ │ Epoll (ET) │ │ └──────────────────┘
└────────────────────────┘ │
│ queueinloop() │ conn->send()
└───────────────────┘
一条连接的生命周期:Acceptor::newconnection() → TcpServer 按 fd 取模选一个从循环 → Connection 注册读事件 → 读到完整报文后回调业务 → 业务线程 send() → IO 线程写发送缓冲区 → EPOLLOUT 写完后取消关注。
| 文件 | 作用 |
|---|---|
EventLoop.* |
事件循环,持有 Epoll、任务队列、eventfd、timerfd |
Epoll.* |
epoll 的封装,增删改 Channel,返回就绪事件 |
Channel.* |
fd 及其关注的事件、回调的封装 |
Acceptor.* |
监听 socket,接受新连接 |
TcpServer.* |
管理主从循环、连接表、线程池 |
Connection.* |
一条 TCP 连接:收发缓冲区、生命周期、回调 |
Buffer.* |
应用层缓冲区,按 4 字节长度头拆包 |
Socket.* |
socket 系统调用的 RAII 封装 |
InetAddress.* |
sockaddr_in 封装 |
Timestamp.* |
时间戳,用于空闲检测和日志 |
ThreadPool.* |
固定线程数的任务队列线程池 |
EchoServer.* |
演示业务:把收到的报文回成 reply + 原内容 |
bankserver.cpp |
服务端入口,处理 SIGINT/SIGTERM 优雅退出 |
client.cpp |
测试客户端,发送一条报文并等待回复 |
环境:Linux + g++(C++11 及以上),需要 epoll/eventfd/timerfd。
make # 生成 bankserver 和 client
./bankserver 127.0.0.1 5085
# 另开一个终端
./client 127.0.0.1 5085bankserver 参数:ip port。启动 3 个 IO 线程、2 个业务线程,按 Ctrl+C 或 kill 退出。
每条报文 = 4 字节小端长度 + 报文内容,长度只算内容,不含头。示例:
[0x0B 0x00 0x00 0x00] "hello world"
服务端回复同样的格式,内容为 replyhello world。
- 报文头不完整时不能读长度:必须先判断缓冲区至少有 4 字节,再用
uint32_t取长度,最后判断size() - 4 >= len。 - EPOLLIN 和 EPOLLOUT 可能同时就绪,事件分发不能写成
else if。 - EPOLLRDHUP 不等于立刻关闭:先走读回调把剩余数据读完,
read()返回 0 再关。 - ET 模式必须循环读/写直到
EAGAIN,只调一次read/send会丢事件。 enablewriting()也要epoll_ctl(MOD),只改内存里的events_不会生效。- 连接建立时不要在构造函数里注册读事件:此时
shared_from_this()还不可用,IO 线程可能立刻回调导致bad_weak_ptr。改为构造完、放进连接表后,用queueinloop()在 IO 线程里注册。 - 跨线程 send 要拷贝数据:任务队列里保存调用方的裸指针会在稍后执行时悬空。
- 事件循环里执行任务前先换出队列,否则任务中再次
queueinloop()会死锁。 - 不要在遍历 map 时 erase,用
it = map.erase(it)。 - 空闲连接清理不要在持锁时回调上层,否则和建连路径的锁顺序相反会死锁。
2026-10 对代码做了一轮 review 和修复,主要包括:
Buffer::pickmessage()在不足 4 字节时越界读取长度头Channel::handleevent()用else if导致读写同时就绪时丢写事件、RDHUP 时丢数据Channel::enablewriting()没有更新 epoll 关注的事件Connection::writecallback()只 send 一次,ET 下会漏发;未处理EINTR/EAGAINConnection::send()跨线程传裸指针的生命周期问题Connection构造期注册读事件引发的bad_weak_ptr竞态EventLoop::handlewakeup()持锁执行任务导致重入死锁EventLoop::handletimer()遍历中 erase 的迭代器失效,以及持锁回调的锁序问题read()返回其他错误时死循环、epoll_wait()未处理EINTRSocket::bind()/listen()失败时重复 close(fd)
此外:源码从 GBK 转为 UTF-8;补充 .gitignore,移除仓库里的 .vs/、可执行文件和编译中间产物;makefile 改为按目标文件增量编译,开启 -Wall -Wextra。
- 单条报文长度没有上限,恶意长度会撑大接收缓冲区
- 业务线程池并发处理同一条连接的消息,回包顺序不保证
- 没有日志库、定时器轮、TLS、背压/高水位回调
- 未做性能压测;
Acceptor是水平触发,一次事件只accept一个连接 stop()后没有等待所有连接优雅关闭
- 陈硕《Linux 多线程服务端编程》与 muduo
- 施磊《C++ 服务器开发》课程