该起诉就起诉吧

一、是否能要回借款
尽管你们之间没有书面欠条，但这并不意味着无法要回借款。根据《中华人民共和国民法典》相关规定，借贷关系可以通过口头协议成立，你有权要求对方归还这4万元。
二、如何证明借贷关系
没有书面欠条时，证明借贷关系可能较困难。但只要你能够提供一些借款的证据或补充证据，仍然可以主张还款。以下证据可能帮助你证明借款事实：
1. 转账记录
2. 聊天记录
3. 证人证言
三、如何追讨借款
1. 协商还款
2. 要求对方补签借条
3. 向法院提起诉讼
四、法律风险和实际困难
虽然法院判决会支持你要回这笔钱，但如果对方确实没有还款能力，追讨可能会有一定困难。即便如此，法院判决书具备法律效力，你可在判决生效后申请强制执行，并在未来一定期限内不断申请，防止对方赖账。
总结
建议你：
1. 先尝试与对方协商，还款计划；
2. 尽量获取补充证据（聊天记录、转账记录）；
3. 若协商无果，可考虑向法院起诉。
尽早咨询当地律师，可以帮助你更好地整理证据并指导后续操作。

让他给你补一张借条

民间借贷关系，可以要求返还。建议还是起诉解决吧