Twitter в файле robot.txt запретил поисковым роботам индексировать контент сервиса. Тем не менее, запрет не имеет большого значения. Нормальная индексация требует полного доступа к firehose – потоку твитов в режиме, близкому к реальному времени, который уже есть и у Google, и у Яндекса. Twitter заключил сделку с Google, чтобы облегчить поиск своих 140-символьных обновлений в интернете, в феврале этого года. Соглашение вступило в действие в мае, твиты появились в мобильной выдаче в США. В настоящее время Google индексирует на 466% больше твитов, чем в феврале. UPDATE: На текущий момент запрет индексации установлен только для контента версии сайта: https://www.twitter.com. Для URL-а без «www» индексация осуществляется прежним образом.