Для разнообразия выступлю сам в качестве инициатора дискуссии о новой фиче. В общем дело такое, после многочисленных жалоб на то, что программа ну ОООООЧЕНЬ медленно индексирует в перый раз, я потратил кучу времени на исследования способов ускорения. И на данный момент практически единственный способ ЗАМЕТНО ускорить этот процесс, который мне удалось реально опробовать на практике - это использование видеокарты для распознавания лиц. У меня сейчас есть работающий прототип программы с использованием технологии CUDA, который работает намного быстрее. Отдельно сам процесс распознавания ускоряется на моем рабочем компьютере от 5 раз (если на фотке одно лицо) до 10 раз и более (если лиц много). Если же измерять весь процесс обработки фотографии полностью, то тут еще очень сильно вносит влияние скорости работы с диском. По моим прикидкам, у меня при считывании фоток с NAS по сети ускорение всего процесса обрабокти фотки с распознаванием идет в 3-4 раза, на SSD будет еще быстрее. Но, я бы не стал обращаться к вам за вашим мнением, если бы всё было хорошо и не было бы подводных камней. Они, конечно же, есть. Работает только на видеокартах NVIDIA, причем возможно не на всех - это еще надо будет тестировать На macOS не будет работать в принципе. С Linux-ом сейчас пока вожусь, там свои сложности, пока рано говорить. И самое главное, требуются библиотеки CUDA, причем не любые, а определенной версии, с которой собирается программа. Рассчитывать, что они есть у всех, и тем более, заставлять сами скачивать - это не вариант. Нужно их поставлять с собой видимо. А тут начинается самое интересно. Точно пока не смотрел, но там получается ОКОЛО ГИГАБАЙТА библиотек. Одна CuDNN (основная для нейросетей) - пол гига, а там еще штуки четыре нужно. В общем, я призадумался, что тут делать. Делать размер дистрибутива более гигабайта? Делать отдельный огромный дистрибутив? А нужно ли это кому-то вообще? В общем, буду рад, если подключитесь к дискуссии. Вам это нужно? Готовы терпеть такой размер дистрибутива для экономии нескольких часов при первичном индексировании?

Если использование этой библиотеки позволит в дальнейшем распознавать не только лица, а как в гугле, например “велосипед, море, облака” - то я за. Проблема объема решается просто - после установки основного модуля, определить возможность использования этой билиотеки и подкачивать ее в фоне. Очень многие программы, использующие эти фишки именно так и делают. Можно спросить у пользователя, качать сейчас или потом, мало ли, вдруг он на модеме в поездке.

veneamin Проблема объема решается просто - после установки основного модуля, определить возможность использования этой библиотеки и подкачивать ее в фоне. Поддержу. В базовой версии он отключен. И только при включении этой функции, начинаются танцы с бубном. У меня на ноуте совсем эта функция нужна не будет, интегрированная видюха, не от NVIDIA, да ещё и с общей оперативкой 🙂

Согласен с людьми с верху. Сам пока не использую распознавание лиц, но если это ускорит и индексацию видео файлов в том числе, то я, только за 😃 ! На ПК и ноуте стоят карточки от Nvidia. Грустно “смотреть” что они в момент добавления новых файлов, простаивают

Согласен с форумчанами выше, если это позволит расширить функционал (за пределы определения лиц), то тогда объем дистрибутива можно увеличить или предложить пользователю скачать дополнительно. Отдельное ограничение чисто под Nvidia/Cuda это конечно не очень хорошо, многие сидят со старыми видяхами или на AMD и далее всё понятно. Мне кажется это можно вынести просто как дополнительную опцию только для тех у кого большой архив и на этом всё. Но тут вопрос насколько это будет для вас оправдано 😀

Да, ответы несколько не такие, как я ожидал. Само по себе ускорение сканирования уже никого не интересует, подавай сразу какие-то еще дополнительные плюшки 🙂 (задумчиво) Может это как-то связано с тем, что все, кто сидит на форуме, уже давно все просканировали? Всем спасибо за быструю реакцию, буду дальше думать, что с этим делать. Кстати, уже известен размер дистрибутива (собрал пробную версию для тестов) - 518 мегабайт с библиотеками CUDA, всё же меньше гигабайта получилось. Уже хорошо.

Андрей Может это как-то связано с тем, что все, кто сидит на форуме, уже давно все просканировали? У меня только отсортированная часть архива просканирована. В другой части не меньше данных, так что может быть и актуально. Андрей Работает только на видеокартах NVIDIA, причем возможно не на всех - это еще надо будет тестировать А на какой видеокарте у вас настроено?

(CUDA) Ускорение индексирования: плюсы и минусы

Этот сайт лучше всего просматривать в современном браузере с включённым JavaScript.

(CUDA) Ускорение индексирования: плюсы и минусы

Андрей

Tim Souers у меня на рабочем компе GTX 1080Ti, там памяти побольше, чтобы можно было сетки учить. На счет “не на всех” - это вопрос про гораздо более старые карточки, скорее всего. У них там есть какие-то поколения, вероятно CUDA поддерживается начиная с какого-то, я пока с этим всем не успел разобраться. А так сама сетка по объему маленькая, самые слабые карты должны тянуть, главное, чтобы они CUDA поддерживали.

Plasm0id

Для меня размер дистрибутива не критичен. В поездке качать новый дистриб не буду. Важно предлагать на этапе инсталляции ставить или нет дополнительные библиотеки, т.к. часто будут ситуации кога у тебя ноут с другой видеокартой (не NVIDIA) и небольшим системным SSD диском.

Wanpros

В целом “за” возможность при использовании программой начать пользоваться расширенным функционалом.
Технически для использование подхожу(место позволяет, карта nvidia)

попрошу заметить, что при первом сканировании не все мощности процессора использовались.
процессор загружался на не более 30%.
Нагрузка на жесткий диск до 70%, и то непостоянно.

Процессов тонфотона в диспетчере замечено 5шт.

Вообщем ресурсы есть, но их никто не использует.

Zorander

Имхо очень нужный функционал. Архив на 500 гигабайт индексировался несколько суток, тогда как видеокарта простаивала.

mcuni

Фотоархив занимает гораздо больше место. Вообще время важнее места. Скачал версию с cuda, буду тестировать.

Олег С

Отличная новая фича. Лично меня размер дистрибутива не беспокоит.

Только я не очень понял - ускорение есть только при первой индексации, или для распознавания оставшихся лиц тоже? У меня не все лица размечены (это видно, если открыть отдельные фото), но программа не предлагает кого-то разметить. С CUDA поведение изменится?

И, конечно, хочется новых фич. “Покажи все фото на море, в горах, какие автомобили у меня были, вот этот вот всё…” 😀

mcuni

Олег С Это только Андрей подскажет) думаю, речь именно о выигрыше скорости при первичной индексации. Повторное сканирование тоже должно ускориться, но оно идет уже фоном, т.е. не так важно. Возможно, будет чаще предлагать новую порцию лиц на доразметку, но я пока не заметил.
У меня много файлов типа RAW + всё тянется с NAS, поэтому больше интересует скорость операций с фото (открытие, закрытие). С этим пока без изменений.
Море, мосты, собаки в кадре - мне кажется, это только через тэги сделать. Но да, размечать притомишься)

Андрей

Олег С Только я не очень понял - ускорение есть только при первой индексации, или для распознавания оставшихся лиц тоже? У меня не все лица размечены (это видно, если открыть отдельные фото), но программа не предлагает кого-то разметить. С CUDA поведение изменится?

Да, это пока самый первый шаг в этом направлении. Начать я решил именно с того, на что жалуются большинство пользователей, и что мешает многим оценить программу по достоинству - первичная индексация. Предложения пока рассчитываются на CPU, но вроде теоретически тоже можно заметно ускорить за счет GPU.

Ну и вообще, если фича хорошо зайдет и многие будут ей пользоваться, то это действительно открывает огромные перспективы для добавления всяких “умностей” типа распознавания сцен и навешивания тегов автоматом. Без GPU делать смысла нет, так как еще сильно замедлит первоначальное индексирование.

leonid

Андрей
Скачал (установщик x64 ) у меня сейчас идет сканирование архива. 2 сутки комп включен круглосуточно.

на сегодняшний день пишет - Осталось 776 часов ))) это сколько еще ждать? Даже не могу посчитать ))))

так что я точно за любое ускорение!

У всех террабайтные диски - что нам 1,2,3 гб )

видеокарты действительно у всех разные- тут я вам не советчик.

Начитался у вас тут ) Сейчас удалю “установщик x64” и скачаю “установщик x64 с поддержкой CUDA (beta)”
проверим

aaseregin

Андрей Готов терпеть любой размер дистрибутива для ускорения работы программы 😉

Plasm0id

aaseregin Поддержу про размер. Фиче интереснее. Хотя сейчас ноут и CUDA нет))

Андрей

leonid какой объем архива у вас? Много видео (они дольше всего обрабатываются и от CUDA не ускоряются)? Много RAW файлов? Можете просто отключить поддержку видео и RAW в настройках, должно помочь, если в них проблема.

Alexey

Доброго дня!
А не подскажите, есть ли поддержка CUDA на в/к Geforce gtx 780?
Или она совсем уж старая(
При запуске программа предложила установить ПО для CUDA, но после установки пишет, что устаревший драйвер, хотя установлен самый последний из имеющихся.

Или может можно подгрузить какие нибудь недостающие библиотеки, чтоб заработало? )

И еще вопрос, вы писали:

Андрей Можете просто отключить поддержку видео и RAW в настройках,

Не могу найти в настройках где это отключается.

AlexPol

Программа стала работать гораздо быстрее.
Спасибо.

aaseregin

Андрей требуются библиотеки CUDA, причем не любые, а определенной версии

Подскажите, прямо сейчас я могу что-то скачать из интернетов, чтобы распознавание начало работать значительно быстрее?

Андрей

aaseregin я так понимаю, бета-версию с CUDA вы уже пробовали, и она у вас вроде стабильно работает (у некоторых пользователей, к сожалению, нет). Собственно, больше пока для ускорения предложить нечего.

AndreyShrek

Добрый день, в переписке в принципе изложил проблему, но тут еще добавлю, распознавание (а именно определение лиц на фото не работает на внешних накопителях), при открытии фото и открытии мета данных нет предложений из найденных лиц, приходится тыкать каждое лицо и в ручную опознавать, получилось так с 20-30 лицами, потом программа перестала просто лица находить, с начала подумал проблема в фото, открыл заведомо “правильную” - нет, тыкал как предлагали - в центр треугольника глаз носа - нет… при этом программа после 2,5 дней индексации теперь проверяет изменения уже сутки…

Андрей

AndreyShrek вероятнее всего, у вас вот эта же проблема: https://forum.tonfotos.com/d/604-posle-pereustanovki-os-windows-programma-ne-raspoznayot-lica/4 Если установить CPU версию, то снова должно начать распознавать.

Андрей

Андрей Вышла версия 1.7.0, прошу всех, у кого были проблемы с CUDA проверить, исправились ли они в новой версии.

Андрей

Alexey При запуске программа предложила установить ПО для CUDA, но после установке пишет, что устаревший драйвер, хотя установлен самый последний из имеющихся.

Вот есть таблица совместимости видеокарт, там указано, что карта GeForce 780 поддерживает compute capability 3.5, хотя Tonfotos использует cuDNN версии 8, он поддерживает compute capability 5.0-9.0. Так что видимо да, карта старовата.

Alexey Не могу найти в настройках где это отключается.

Меню -> Расположение архива -> выбираете нужную папку.

Alexey

Андрей

Андрей Меню -> Расположение архива -> выбираете нужную папку.

Спасибо большое!
Как говорится, слона то я и не заметил))

По поводу в/к понятно.

Следующая страница »