Escobar Мне кажется, что удалением дублей вы не решили исходную проблему, просто теперь она не настолько очевидна, программа уже не доходит до состояния, когда у нее нет больше памяти. Ну и видно, всё доиндексировалось до конца, и проблема больше не актуальна, хотя скорее всего причина никуда не делась.
Хорошо бы конечно разобраться, что именно приводило к переполнению очереди, но сейчас не очень понятно как это сделать.
