Андрей Пока сам не понял. Возможно, если в это время были новые индексации и добавились новые фотографии перед текущей. Возможно, к тому же запоминается не текущее место, а предыдущее, и если еще и добавились новые, то уходит либо в начало, либо куда-то назад.
Точно не замечал, чтобы возвращалось после той фотографии, которую я открыл на весь экран. Только до - либо на экран-два выше, либо вообще в начало.