Боты сбора данных для ИИ тормозят сайты

Git-хостинг SourceHut пожаловался, что боты для сбора информации, которая нужна для обучения нейросетей, стали действовать уже не как парсеры, а почти что как DDoS-еры: они заходят на сайты со множества разных IP и активно выкачивают данные, что приводит к ухудшению работы ресурсов и проблемам для их создателей, особенно если речь идет о небольших сайтах, запущенных на простых хостингах. Причем по данным SourceHut пока что нет гарантированных способов защититься от таких «ИИ-ботов», а техногиганты, владеющие нейросетями, делают вид что проблемы не существует, к тому же нередко таким парсингом занимаются не они, а компании на аутсорсе.