Импорт из Telegram

Этот сайт лучше всего просматривать в современном браузере с включённым JavaScript.

Импорт из Telegram

roft.ru

Запрашиваю фичу выбора чатов Телеграм из которых необходимо делать импорт. Не просто перебор всех 100500 штук, а сразу вопрос - отметьте галочками те чаты, которые необходимо мониторить и все.

А то сижу - перезапускаю прогу, а она только по 3-5 чатов берет за раз, а потом пауза. Отмечаю их как ненужные и опять перезапуск.

roft.ru

Отловил в логах момент, когда отваливается импорт из Телеги:

+996ms | messages.getHistory <- +0ms | - fetched messages from LFP.SOLAR.VAN +1ms | messages.getHistory -> +1249ms | messages.getHistory <- +0ms | - fetched messages from ╨Р╨┤╨▓╨╛╨║╨░╤В ╨Х╨│╨╛╤А╨╛╨▓ +1ms | messages.getHistory -> +1511ms | messages.getHistory <- +1ms | - fetched messages from ╨Э╨░╨╝╨╛╤З╨╕ ╨╝╨░╨╜╤В╤Г +5ms | Image to download from ╨Ъ╨╕╤В╨░╨╣╤Ж╤Л ╤А╤Г╨║╨╛╨▓╨╛╨┤╤Б╤В╨▓╨╛ ╨┐╨╛ ╨┐╤А╨╕╨╝╨╡╨╜╨╡╨╜╨╕╤О Dated: 2024-04-03T11:03:35.000Z +1ms | upload.getFile -> inputPhotoFileLocation, size: y dc_id: 5 +10008ms | upload.getFile timed out while downloaded 0% of 0.07MB Error at m (C:\Users\User\AppData\Local\tonfotos\app-1.9.6\resources\app\.webpack\main\telegram_worker.js:1:638929) at Timeout._onTimeout (C:\Users\User\AppData\Local\tonfotos\app-1.9.6\resources\app\.webpack\main\telegram_worker.js:1:640838) at listOnTimeout (node:internal/timers:559:17) at process.processTimers (node:internal/timers:502:7) +5ms | Error at _e (C:\Users\User\AppData\Local\tonfotos\app-1.9.6\resources\app\.webpack\main\index.js:2:385059) at ChildProcess.<anonymous> (C:\Users\User\AppData\Local\tonfotos\app-1.9.6\resources\app\.webpack\main\index.js:2:2745586) at ChildProcess.emit (node:events:513:28) at emit (node:internal/child_process:939:14) at process.processTicksAndRejections (node:internal/process/task_queues:84:21) +0ms | Error: timed out at Timeout._onTimeout (C:\Users\User\AppData\Local\tonfotos\app-1.9.6\resources\app\.webpack\main\telegram_worker.js:1:640947) at listOnTimeout (node:internal/timers:559:17) at process.processTimers (node:internal/timers:502:7) { code: 'Timed out...' } Error at m (C:\Users\User\AppData\Local\tonfotos\app-1.9.6\resources\app\.webpack\main\telegram_worker.js:1:638929) at C:\Users\User\AppData\Local\tonfotos\app-1.9.6\resources\app\.webpack\main\telegram_worker.js:1:646328 at async C:\Users\User\AppData\Local\tonfotos\app-1.9.6\resources\app\.webpack\main\telegram_worker.js:1:646293 +1ms | Error at _e (C:\Users\User\AppData\Local\tonfotos\app-1.9.6\resources\app\.webpack\main\index.js:2:385059) at ChildProcess.<anonymous> (C:\Users\User\AppData\Local\tonfotos\app-1.9.6\resources\app\.webpack\main\index.js:2:2745586) at ChildProcess.emit (node:events:513:28) at emit (node:internal/child_process:939:14) at process.processTicksAndRejections (node:internal/process/task_queues:84:21) +13ms | Telegram download done, start scanning +1ms | V-R-path: C:\Users\User\Pictures\Tonfotos Telegram Connector name: Telegram stats id:1714665280396 CALLBACK +0ms | Directory C:\Users\User\Pictures\Tonfotos Telegram Connector excluded= undefined , excluded_dirs= [] +1ms | C path: C:\Users\User\Pictures\Tonfotos Telegram Connector name: Telegram stats id:1714665280396 CALLBACK +1ms | on_scan_finished +1ms | Media monitoring started: 1714665280396 C:\Users\User\Pictures\Tonfotos Telegram Connector +0ms | scan_next [] +5ms | Next invalidated person id= 1714042197120 changes= 0 faces= 273 +0ms | SVM clustering started. +11323ms | cluster_face execution time 11.323 +1016ms | Next invalidated person id= 1714074369452 changes= 0 faces= 230 +0ms | SVM clustering started. +11297ms | cluster_face execution time 11.297 +1004ms | Next invalidated person id= 1714069526257 changes= 0 faces= 55 +0ms | SVM clustering started.

roft.ru

@Андрей ! Есть способ заставить начать синхронизацию с Телегой?

Скачивает единичные фото из нескольких (не нужных) чатов и замирает надолго.

Перезапуск инициирует процесс синхронизации с телегой далеко не всегда, и он прерывается быстрым сканом архива

Андрей

roft.ru судя по логу, валятся таймауты. Такое бывало когда кто-то где-то пытается блокировать телегу. Потом проходило. Со стороны программы тут ничего не сделаешь - не проходят запросы к серверам.

Тут ничего посоветовать не могу кроме как пытаться снова, со временем может погода в интернете устаканится. Можно попробовать с другого провайдера зайти, если есть такая возможность.

roft.ru

Андрей Можно попробовать с другого провайдера зайти, если есть такая возможность.

ОК. Вечером увезу на дачу - там оптика от ростелекома, посмотрим как там будет себя вести

roft.ru

Андрей Можно попробовать с другого провайдера зайти, если есть такая возможность.

Не помогло, пров другой, в 7км от дома, на даче подключил - та же песТня. 🙁
Так же не помогло удаление и новое подключение телеги в программе.

Андрей

roft.ru пришлите пожалуйста логи на почту (support@…) , может у меня будут идеи какие.

roft.ru

Андрей

На этом компе почты нет, я выложу логи на файлообменник и пришлю ссылку

roft.ru

Андрей пришлите пожалуйста логи на почту (support@…) , может у меня будут идеи какие.

Так и не получилось скачать фото с телеги, только какие-то мелкие картинки из чатов по несколько (единицы) штук пришли и все. Причем из чатов с тысячами подписчиков.
Может сразу фильтровать? больше 1000 человек в группе - значит даже скачивать ничего не надо.

Вот эта часть из рекламы не сработала, получается:

"Tonfotos скачает только нужное
Вы можете не переживать, что программа скачает много лишнего. Tonfotos сохраняет фото и видео только из небольших чатов и диалогов с конкретными людьми. Паблики, где много пользователей, программа расценивает как источник спама и не засоряет ваш архив мемами, смешными видео или рекламой."

Собрал логи в архив и выложил на файлообменник.
https://transfiles.ru/nvf01

Андрей

roft.ru Может сразу фильтровать? больше 1000 человек в группе - значит даже скачивать ничего не надо.

Там сейчас уже есть похожий фильтр, но он опирается на классификацию групп, которую выдает сам телеграм. Вы правы, можно еще дополнительно проверять похожие исловия и еще дополнительно фильтровать, записал задачу на будущее.

Спасибо за логи, посмотрю.

roft.ru

Андрей Спасибо за логи, посмотрю.

Если будет мало - соберу еще. Этого добра навалом прога генерит 🙂))

Андрей Там сейчас уже есть похожий фильтр, но он опирается на классификацию групп, которую выдает сам телеграм.

Я бы настроил фильтр на импорт из личных чатов и чатов в которых не более 20-50 участников.
Скорее всего такой выборкой закроется потребность 90-99% пользователей.

Андрей

Андрей Логи посмотрел наискосок, там вроде как всё хорошо. Все каналы читаются, ошибок нет. Видимо, как я и предполагал - наладилась “погода в интернете” или что-то там не работало на стороне телеграма и наконец починили. Такое бывает иногда, не очень понятно как с таким бороться, к сожалению.

Единственное, что бросается в глаза, у вас подключена папка Z:\TEMP которой на самом деле нет, в логе регулярные ошибки по этому поводу.

roft.ru

Андрей Единственное, что бросается в глаза, у вас подключена папка Z:\TEMP которой на самом деле нет, в логе регулярные ошибки по этому поводу.

Это временная, для импорта, я ее создавал - удалял. На телегу не влияет.

А вот телега так и не засинхронизировалась, жду фотки с последней поездки на 28.04-01.05 и все никак не получу их. Придется, похоже, ручками сбрасывать из телеги на диск и подсовывать их проге.

Ashman

roft.ru у меня впечатление, что из телеги не скачиваются фото в фул качестве, а только мелочь всякая 😀
Так же, так и не засинхронилась, а так как качает за последние 30 дней, то с Нового годауже и не получить.
И да, мешает это скачивание Программе сильно, например, надо папку срочно переиндексировать, а "“Скачиваю из Телеграмм …” не даёт этого сделать.

roft.ru

Вот привязанная телега, специально создал группу и скинул туда нужные мне фотки в надежде получить их в программе. Видна дата - 2 мая, т.е. меньше, чем 30 дней назад.

В итоге в проге после удаления кучи новостных каналов светятся две папки личных чатов и этого вот нет. Как нет его и в игнорируемых. Что я делаю не так? Как добиться импорта из телеги?

Я бы приложил скрин со списком исключений, что бы подтвердить свои слова, но список там в таком маленьком окошке, что скрины со скролингом займут пол форума..
Как-то еще список исключений можно выдернуть? Может в логах?

Андрей

roft.ru список исключений проще посмотреть в файле конфигурации (config.json), лежит рядом с базой данных

roft.ru Я бы приложил скрин со списком исключений, что бы подтвердить свои слова,

Да я верю. Сложность в том, что для отладки нужен доступ к вашему аккаунту. Не думаю, что вы согласитесь.

roft.ru

Андрей Сложность в том, что для отладки нужен доступ к вашему аккаунту. Не думаю, что

У меня есть еще аккаунты, помимо основного. Я могу проверить на них и если ситуация повторится - дать доступ. Не думаю, что вы будете заниматься угоном акков телеги

Андрей

roft.ru Буду благодарен, если сможете дать доступ к тому, на котором повторяется. Чтобы не морочится с кодом подтверждения, можно переслать мне на почту конфиг, в котором уже токен доступа сохранён.

roft.ru

Андрей Буду благодарен, если сможете дать доступ к тому, на котором повторяется.

Проверил на второй телеге, где в разы меньше чатов - та же петрушка. Скачиваются единичные фото и все.

Отправил конфиг на почту, пароль zxcv1234
В папке Def должно быть около сотни фото только за вчерашний день.

roft.ru

В логах видно, что он качает несколько штук фото и потом натыкаясь на какой-то таймаут отваливается и начинает следующий процесс - сканирование общего архива.
Можно сделать так, что бы когда по таймауту отвалился, через минуту-две снова начинал сканить телегу.
На устройствах-то телега прекрасно рабоатет. Может сервера тележные не любят большое количество запросов? Не пойму ошибку, честно говоря.

Раздал инет с телефона, для проверки проблем с роутером - та же песня, десяток фото скачалось и опять отлуп. Вот ниже логи через мобильный интернет, делаю вывод, что проблема не в инете.

Андрей

roft.ru Спасибо за доступ, позже посмотрю. Однако, судя по скринам, я уже понимаю, что я там увижу. Происходят таймауты. Видимо надо что-то очень глубоко копать на уровне протокола.

Следующая страница »