当被打事件没有证人且没有直接证据时，处理起来确实有一定难度，但并非无法可依。以下是一些建议的处理步骤：
及时报警
无论是否有证人，受害人都应立即报警。警方会依法展开调查，并收集相关证据，包括但不限于现场勘查、物证搜集、伤情鉴定等。
收集其他证据
物证：警方会勘查现场，收集血迹、打斗痕迹等物证。
医疗记录：受害人应尽快就医，诊断证明和病历等医疗记录也是重要证据。
监控录像：查看周边是否有监控摄像头，录像可能记录下案发情况。
通讯记录：检查受害人和嫌疑人之间的电话记录、短信、社交媒体聊天记录等，可能找到与案件相关的线索。
嫌疑人供述：如果嫌疑人承认殴打，其供述也是关键证据。
法律程序
公安机关调查：公安机关在接到报警后，会进行案件审查，符合立案标准的会立案侦查，并通过侦查手段获取证据。
法院审理：如果案件进入刑事诉讼阶段，受害人可以向法院提起诉讼。在缺乏证据的情况下，可以申请法院依法调查取证。
法律依据
《治安管理处罚法》第四十三条：殴打他人或故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
《中华人民共和国刑法》相关条款：故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑。
综上所述，即使没有证人，通过警方的积极调查和其他合法有效的证据收集，仍有可能还原案件事实，并追究打人者的法律责任。因此，建议受害人在遭遇此类事件时，及时报警并配合警方调查，尽可能收集相关证据，以便在法律程序中维护自己的权益。