Plusieurs FAI opérant leurs propres AS BGP et leurs propres blocks IP sont peu regardant sur les usages de leurs clients.
Afin de soulager les ressources de votre serveur, en évitant à fail2ban de trop travailler, le plus simple est de bloquer des blocs entiers en entrée sur votre serveur. S'agissant de blocks entiers allant jusqu'au /11, je ne bloque que le port 22 pour empêcher les tentatives de bruteforce en SSH.
Ces blocs sont chinois, ce n'est pas hasard, les équipes abuse ne répondent jamais et ne font jamais rien. Comme il y peu de chances que je me connecte depuis la Chine, ça ne devrait pas trop m'impacter.
https://bgp.he.net/AS4134 61.177.0.0/16 49.64.0.0/11 222.184.0.0/13 218.90.0.0/15 218.92.0.0/15
https://bgp.he.net/AS9808 112.0.0.0/10
https://bgp.he.net/AS4837 112.80.0.0/13
Bannir ces blocs ne devrait pas vous gêner et devrait soulager vos logs et votre CPU.