c#服务器中基于udp的多人通信的丢包问题

我编写了一个c#中的udp通信服务器。该服务器每秒钟广播25次数据包（每个数据包的信息量为100Byte）。服务器是异步UDP，代码是BeginSendTo()和BeginReceiveFrom()。
如果只有1人监听，则这个人能够收到全部udp数据包（丢包率<0.1%）。
如果有2或3人监听，则他们的丢包率会高达20%以上。
在我的程序中，服务器广播的次数并不算太高；每个包也不是很大；监听用户数也只有2或3个。请问为什么会有这么大的丢包率？会是什么问题呢？