Пропали лица из базы после вылета программы

Этот сайт лучше всего просматривать в современном браузере с включённым JavaScript.

Пропали лица из базы после вылета программы

mcuni

Мой сетап: фотоархив на QNAP разложен по 400+ подпапок, 200 тыс фотографий, что-то около 3 Гб, людей - много, наверное 200+. Форматы фото - RAW и jpeg, остального по мизеру. Несколько человек по ₁₀ тыс фото. Во многих фотографиях есть тэги с именами тех, кто на фото, tonfotos их подхватывает и использует при аттрибутировании. Запущено сканирование, пока в процессе (неделю наверное). Видео не сканирую. Статистика использования и отладочное логирование отключены.

Предыстория: в процессе сканирования несколько раз программа вылетала с каким-то английским текстом и кнопками типа Ignore, Close, Continue. Нажатие любой приводило к тому, что программа закрывалась. После перезапуска программа начинала сканировать заново, проходилась по папкам, которые уже просканировала, но быстро, и через 5-10 минут добиралась до места, на котором прервалась, и от него продолжала более медленно препарировать неосвоенные фотки. Я не делал скриншоты окон с ошибками, но думаю, еще будет шанс это сделать. Таких вылетов было штук 10, и кажется, все они случались при попытке “добавить новое лицо в этом месте”.

Что произошло: после очередного вылета из базы исчезли лица как минимум 4 человек с самым большим количеством распознаний (от 7 до 13 тысяч). Я не помню, на какой фотке случился сбой, но по-моему, это не было фото с этими 4 персонами. Возможно, слетели еще какие-то лица, я мог заметить не все. Большинство лиц остались. После перезапуска сканирование возобновилось, сейчас по каждому человеку на основе тэгов набежало по ₁ тыс неподтвержденных лиц из папок, которые программа ранее не проходила. Видимо, потом нужно будет запустить принудительное пересканирование, чтобы добавились лица из папок, которые программа прошла до сбоя. Сами понимаете, в ручную разметку этих четверых я вложил много сил: подтверждал, исправлял ошибки, аттрибутировал вручную. Главный вопрос: что нужно сделать, чтобы это больше не повторилось.

И напоследок: буквально на днях писал в соседней теме про то, что информацию о лицах было бы правильно хранить в метаданных фотографий: https://forum.tonfotos.com/d/284-soxranenie-lic-v-metategax
Случившееся как нельзя лучше иллюстрирует, почему это хорошая идея.

Андрей

mcuni сочувствую, жаль что такая беда случилась.

mcuni Главный вопрос: что нужно сделать, чтобы это больше не повторилось.

Чтобы ответить на данный вопрос, нужно понимать причину сбоя. А я по данному описанию, к сожалению, её не понимаю. Вообще удивительная ситуация. Если бы поломалась база (что случалось в прошлом, к сожалению), то поломалось бы вообще всё. Но какие условия могли бы привести к такому выборочному сбою - ума не приложу.

Хотя есть одна догадка, она связана с функцией синхронизации данных о людях в файл. Была такая проблема, что синхронизация могла в какой-то момент “залипнуть” из-за сбоя, и больше не работать. Так вот, в 1.5.5 появилась функция автоматического восстановления из такой ситуации, и синхронизация должна снова начать идти. При этом, если она долго не шла, то могли накопиться конфликтующие изменения между локальной базой и файлом. И я предполагаю, что при определенном стечении обстоятельств, попытка разрешить конфликты между двумя состояниями базы, может давать иногда нежелательный эффекты. По крайней мере, у одного из пользователей была как раз похожая ситуация - пропали люди после восстановления синхронизации вручную.

Собственно, гипотеза моя такая - у вас из-за частых сбоев, тоже видимо “залипла” синхронизация, а после обновления программы “разлипла”, но накопившиеся изменения привели к конфликту, который, к сожалению, привел к потере данных.

Это на данный момент самое разумное объяснение происходящему, которое я могу предложить. Если всё было действительно так, то ответ на вопрос “что нужно сделать, чтобы это больше не повторилось” - уже ничего. Функция автоматического восстановления синхронизации уже добавлена, а значит ситуации с накопленными за долгое время конфликтами в разных версиях БД уже не будет. Даже если после очередного сбоя синхронизация опять “залипнет”, то спустя сутки она автоматом “разлипнет”.

mcuni Случившееся как нельзя лучше иллюстрирует, почему это хорошая идея.

Не думаю, что не понимая истинную причину сбоя есть смысл рассуждать на тему того, помогло бы это, или наоборот, усугубило бы ситуацию.

mcuni

Как я понял, синхронизация происходит, когда запущено несколько копий программы. Но я всегда работал с одной, у меня простая лицензия. Может быть, когда программа вылетала и я нажимал Ignore или Continue, она оставалась висеть в памяти, и получалось, что я запускал параллельно ее копию. Не знаю, возможно ли это.

По ссылке написано, что информация “дублируется в .tonfotos.ini файлы, которые хранятся по одному на директорию, в которых лежат сами фотографии”. Я не нахожу ни одного файла .tonfotos.ini в папках, где хранится архив. Есть только people.tnfp с датой-временем обновления совпадающими с временем сбоя (ориентировочно, до 5 минут, насколько я это запомнил). В этом файле не я нахожу поиском тех людей, чьи лица были потеряны.

Также ранее на неделе была такая ситуация: программа написала, что сканирование завершено, при этом оказались обработаны не все вложенные подпапки, а примерно половина. Я зашел в Расположение архива и нажал что-то вроде “Пересканировать”. После этого отсутствующие папки появились и начали сканироваться.

На самом деле, интересно разобраться, с чем связаны происходящие сбои. Если получится воспроизвести их, сделаю и пришлю сюда скриншот.

Андрей

mcuni да, очень интересно докопаться до причины. Если она известна, то можно придумать что-то, чтобы такое больше не происходило. Держите пожалуйста в курсе.

mcuni Как я понял, синхронизация происходит, когда запущено несколько копий программы.

Не совсем так. Программа синхронизирует свое состояние с файлами на диске (ini и tnfp), а а другая копия (если она есть) потом тоже с ними же синхронизируются. Между собой копии напрямую не общаются.

Синхронизация эта нужна не только на случай нескольких копий приложения. Это еще и сохранение ценных данных на случай всяких сбоев и прочих непредвиденных обстоятельств. Чтобы в случае чего что эти данные легко можно было восстановить.

mcuni Я не нахожу ни одного файла .tonfotos.ini в папках, где хранится архив.

Это не нормально. Эти файлы точно должны быть в тех папках, где есть фотографии с размеченными лицами. Проверьте пожалуйста, всё ли у вас в порядке с правами на запись в эти каталоги.

mcuni

Андрей Это не нормально. Эти файлы точно должны быть в тех папках, где есть фотографии с размеченными лицами. Проверьте пожалуйста, всё ли у вас в порядке с правами на запись в эти каталоги.

Андрей, спасибо за оперативные ответы. Вот эта ситуация с отсутствием ini в папках меня беспокоит. Как это возможно? Как программа запоминает лица, если нет ini, есть какой-то дополнительный механизм?
Проверил - доступ на запись есть. Как проверял: зашел в “Папки” в одну из директорий, выбрал фотку, “экспортировать” и сохранил из Tonfotos в ту же папку в другом формате. Файл появился, открылся.

Андрей

mcuni Как программа запоминает лица, если нет ini, есть какой-то дополнительный механизм?

У программы есть своя основная база данных, вся информация хранится там. ini - это как бы резервная копия, и заодно механизм синхронизации.

mcuni Как это возможно?

Загадка. Ведь tnfp же сохраняется, значит Tonfotos не определяет диск как read-only, и как минимум иногда пытается писать. Но по какой-то причине, у него не получается записать ini. Честно говоря, удаленно трудно что-то понять. Можно попробовать включить логи , если какие-то ошибки, то мы их там должны увидеть. Нужно включить, поработать с лицами на файлах (чтобы программа попыталась что-то записать в ini файлы в результате изменений), поработать так несколько минут, и выключить.