Яндекс Фотки и срок хранения файлов

    Не знаю по адресу ли пост, но все же. Года два назад у меня был аккаунт на яндекс.фотках. Который я благополучно удалил, так же удалив все фотки.
    Но даже сейчас я по старым, прямым ссылкам вижу свои фотографии. Я не понимаю, у них без размерные винты? Это же сколько мусора на серверах? Что я только не делал, и писал в саппорт, и лично руководителю, и на хабре.
    Кто знает, каким законом можно регулировать срок хранения файлов? А какая ситуация на других фотохостингах?
    upd
    Заглянул в почту. Все началось 26 октября 2007. Тicket#2007102310014151
    Потом я наткнулся еще раз на свои фотки и вспомнил о проблеме, написал в саппорт 28 февраля 2008. Получил ответ
    Здравствуйте, Сергей!

    Мы уже знаем об этой проблеме и постараемся решить её в самое ближайшее время.
    Извините за причинённые неудобства.
    Поделиться публикацией
    Реклама помогает поддерживать и развивать наши сервисы

    Подробнее
    Реклама
    Комментарии 104
    • +32
      При достижении определенного размера системы, ресурсы которые придется затратить на удаление файлов будут превышать ресурсы на их хранение
      Не верите?
      Создайте у себя в директории пару десятков тысяч файлов с небольшим размером в FAT32
      А потом удалите и послушайте как будет трещать винт
      Дешевле их просто хранить
      • +2
        Не думал о таком, спасибо.
        • –1
          Речь не идёт об удалении всех файлов. Если пользователь написал с службу поддержки с просьбой удаления файлов, то почему бы и не удалить несколько файлов.
          • +4
            Вероятнее всего в лицензионном соглашении (которое никем никогда не читается) фотохостинг оставил за собой право хранить фотографии столько, сколько ему вздумается, при этом убрав их из публичного доступа.

            У техподдержки может не быть прямого доступа к ФС серверов, удалять они могут только с помощью панели управления, которая написана так, что файлы не удаляет, а скрывает их с глаз долой.
            • –2
              Странная панель управления получится — усложнение функционала на ровном месте.
              • +2
                Это почему? поставить флаг в БД это одно, а лезть на какой-то ФС (надо еще определить какой), там что-то удалять, а может и на нескольких нагруженных серверах это совсем разного класса операции. Много где происходит просто пометка на удаление, а не само удаление…
                • +3
                  Вообще можно было использовать этакие краулеры, которые неспешно лопатят БД и лениво удаляют файло с пометкой «К удалению».

                  А ещё можно было сделать так, что файло с пометкой «К удалению» не отдавалась бы по прямым ссылкам никому.
                  Так что есть недоработки в движке.
                  • –2
                    Например так.

                    Иначе получается, что один раз сэкономили несколько миллисекунд, а потом поимели проблемы с приватностью, недовольство пользователей (см. пост, собственно) и так далее. А все потому, что проектировщик прокололся или программерам было лениво сразу нормально сделать.
                    • 0
                      Блин, а какой процент пользователей, которым важно чтобы фотки небыли доступны по прямым ссылкам? Если на фотке что-то важное, ее просто пересохранят да и все.
                      Это обычная необоснованная параноя. Думаю, что на кеш того-же Яндекса такие параноики жалуются намного больше;)
                    • +1
                      Для отдачи фоток используется самое простое и быстрое решение. Легкий веб-сервер с минимальными проверками при отдаче фоток. Любая проверка это замедление работы, а на таких нагрузках как у Яндекса это может быть чревато тормозами.

                      А не удаляют наверное чтобы каждой фотке соответствовал файл. Вдруг кто-то в блог запостит какую-то фотку по прямой ссылке, а потом она умрет и будет битая картинка. Хотя вот это как раз довольно натянуто. Скорее, сделали чтобы случайно что-то важное не грохнуть. Когда не удаляешь, оно как-то безопаснее;)
                      • +2
                        Вы как-то недооцениваете сложность проблемы.
                        Я не изучал как ведут сеяб Яндекс.Фотки, но рискну предположить.
                        Что для отдачи самих фоток используется какой-то супер легкий сервер. И его задача была поставленна — наиболее быстро отдавать весь контент. Также рискну предположить, что такой сервер не один, и контент продублирован не на одной файловой системе.
                        Так что, когда пользователь пытается просмотреть свою фотографию «по-нормальному» веб-приложение вполне в состоянии проверить различные флаги этой фотографии и показать вам соотвествующий результат. Но!
                        Когда вы пытаетесь доступиться к фотографии по прямому ее урлу на сервере, тут уж проверки делать очень и очень дорого (вы помните мы предположили, что они используют очень высокопроизводительный сервер для отдачи бинарного контента).

                        Кроме того, если бы я работал в Яндексе, то я бы отдавал фотографии не просто высокопроизводительным сервером, а еще как-нибудь «извратился» с кешированием: или мощным кешированием внутри самих веб-серверов, либо реверс-прокси (типа кальмар) с кешированием всего, что только возможно, в гигантскую оперативную память (благо 64 бита позволяют), ни или просто в рейд быстрых винтов.

                        А теперь представьте, вы хотите, чтобы ваша фотография была физически удалена. Для этого нужно всего ничего — сделать purge — всех кешей.

                        PS. Я понимаю, где слабое место в моем рассуждении — обновления-то подхватываются. Возможно для кеширующего слоя нет команды — удалить из кеша, а по запросу он проверяет оригинал — для обновления, но оригинал-то в случае удаления не меняется. Возможно, перед удалением нужно замещать фотографию — репродукцией Малевича, так как они явно умеют их обновлять.
                        • 0
                          Я вас понял.
                          Одно уточнение «Для этого нужно всего ничего — сделать purge — всех кешей» это ирония, нет?

                          И да, если предположить что кэш _всегда_ актуален, то почему по запросу на удаление файла не происходит его замена на «шедевр» Малевича размером в 1 пиксел?
                          Как-то оно всё странно выходит.
                  • 0
                    Да, «мягкое удаление» в данном случае один из вариантов решения проблемы.
                    • 0
                      Нет, в пользовательском соглашении этого нет.
                      А то, что ПС никем никогда не читается вы сами и подвердили — дав какое-то предположение поленившись сходить и поверить — так ли это, или нет
                      • –2
                        О! Накажите меня! Да, вот так! Ещё, ещё, ещё!

                        • –3
                          Ваши программисты допустили ошибку (а программисты-ли, а ошибку-ли?), но вы при этом изволите немного дуться на меня?

                          И, несомненно, в этой ошибке виноваты клиенты сервиса. Они не прочитали ПС!
                          Ну прочитал я его прямо сейчас, теперь я могу файлы удалить, а не скрыть?
                          • 0
                            я просто констатирую факт того, что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.
                            • 0
                              Да, я заметил. Вы этим тоже грешите.

                              Итак правильно и по делу.
                              Действительно в ПС нет пункта о «вечном» хранении любого пользовательского контента на Яндекс Фотках. Но там есть пункт «Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта».

                              Так почему Фотографии с вашего сервиса не удалялись? Потому что я ПС не прочитал?
                                • 0
                                  Да слава не знаю кому, что представитель Яндекса заметил размещённую на Хабре заметку и ЛИЧНО удалил злосчастные фотки.
                                  Ничего, что автор заметки писал в вашу ТП письма с просьбой разобраться в вопросе?
                                  ===
                                  Хабр начинает напоминать личный блог Президента: пока в блоге о проблеме не напишешь — никто не шевелится.
                                  • 0
                                    вам поговорить не о чем?
                                    • 0
                                      Разговор о пустом начали вы.

                                      Вы почему-то решили меня уесть тем, что я не прочитал ПС, но при этом сделал предположение о наличии в нём некоторого пункта. Оказалось пункта нет. Но раз его нет, то вся ситуация выглядит ещё более неприглядно — пункта нет, а факт «вечного» хранения есть.

                                      И ваше «что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.» выглядит странно.
                                      Вы сами-то для чего написали про то, что я ПС не читал? Просто так, вам поговорить не с кем было?
                    • +7
                      Я не думаю, что яндекс использует в своих хранилищах FAT32 :-)
                      Однако, вы скорее всего абсолютно правы, просто винты у них буду крехтеть в поисках дохлых пользователей.
                      • +2
                        Это — проблема файловой системы FAT32. В других файловых системах (ReiferFS, например), эта проблема не стоит так остро.
                        • 0
                          в ext3 это проблема есть, а reiser вряд ли где-то в продакшн используется.
                          • –2
                            может в яндексе давно своя фаловая система аля GFS (Google File System)
                            • 0
                              Если брать не reiser, а JFS, XFS, то это вполне продакшновые файловые системы (кстати, не уверен, что reiser не используется в продакшне).
                              • 0
                                В ext3 есть dir_index, правда не уверен, что он не хуже, чем на ФС с нормальными деревьями.
                                • 0
                                  reiser? Вполне себе используется… почему бы нет…
                              • –3
                                По-моему форматирование решает проблему за пару минут, никакого треска не слышно
                                • +1
                                  Для удаления сотни фотографий с раздела в терабайт вы будете его форматировать?
                                  • 0
                                    Удаление сотни фотографий не заставляет бешено жужжать винчестер и занимает 1 секунду, в отличие от десяти тысяч фотографий. Речь о том, что заранее правильная организация системы хранения файлов должна предусматривать легкую работу с файлами.
                                    В конце концов, если так дешева память как говорят в обсуждении, пусть заводят по разделу на каждого пользователя и при удалении аккаунта удаляют раздел.
                                • –1
                                  У вас когда винт забивается, вы новый покупаете?
                                  • +8
                                    да. так легче. винты сейчас недорогие, а вероятность что-то нужное удалить, о чем вспомнишь через год (да пусть даже мп3шку какую-то) большая.
                                    • 0
                                      Зато очень не слабо увеличивается вероятность это что-то нужное банально не найти :)
                                  • +2
                                    в яндексе работают не идиоты. уж по папкам раскидать додумались, вернее, пришлось, потому что не только скорость удаления падает, но и скорость чтения.
                                    скорее всего не удаляют, потому что не хотят по разным причинам, в том числе чтобы старые ссылки не вели на 404-ю. если бы хотели удалять, то удаляли бы и плевать на количество файлов и репликацию.
                                    • 0
                                      «винт будет трещать» из-за хреновых алгоритмов (читай: отсутствия кэширования). вместо того чтобы один раз модифицировать FAT и директории, головка будет прыгать туда-сюда.
                                      • 0
                                        Давно заметил ту же проблему на примере вконтакте: там тоже и удаленные и скрытые и всякие-превсякие фотографии доступны по прямым ссылкам. Но!))) Если по внутренней почте вконтакте отправить прямую ссылку на картинку, то ссылка исказиться и получатель ничего не увидит :) Напоминает давнюю историю со словом javascript :)

                                        Вопрос: а нет ли специальных файловых систем, у которых «ресурсы которые придется затратить на удаление файлов» НЕ «будут превышать ресурсы на их хранение»?
                                        • +1
                                          Она исказится совершенно не потому что они пытаются скрыть ссылку, а потому что в этой ссылке присутствует конкретный сервер, а для того чтобы давать пользователям нормальные ссылки, абстрагированные от сервера, сервер у ссылок просто обрезается.
                                          • 0
                                            да-да, я знаю про этот момент :) просто забавное внешнее сходство с историей про со словом javascript, не более)
                                        • НЛО прилетело и опубликовало эту надпись здесь
                                          • 0
                                            А что мешает поставить в Базе данных маркер на конкретные фотографии УДАЛЕН = ДА. И после этого при поиске или любой другой попытке просмотра игнорировать фотографии, у которых этот маркер равен ДА ???
                                          • –3
                                            Что то часто последнее время, яндекс расстраивает своих пользователей.
                                            • +4
                                              мда… яндекс уже не тот :)
                                              • +2
                                                Перечитал и не поверил своим глазам. Ожидал увидеть «Яндекс уже не торт»… старею))
                                            • 0
                                              Насколько я помню, они не удаляют физически файлы. Т.е. если аккаунт удален, фотки все равно лежат. Если честно, не помню как ситуация обстоит если ты удаляешь файл самостоятельно
                                              • +1
                                                И в догонку — добавил у себя фотку и удалил ее. Физически ссылка работает. Не помню как яндекс-фотки аргументировал это, но факт остается фактом
                                                • 0
                                                  это если где нить засветилась моя фотка а мне это не нравится я ничего не могу сделать?
                                                  жестко
                                                  • 0
                                                    В общем да. Так как Гугль индексирует Яндекс. :) А Гуглю индексирует ещё кто-то. А ещё кого-то индексирует вооон тот сервис.
                                                    И их всех, иногда, индексируют власть имущие, причём не всегда мягонько и с вазелином.
                                                    • 0
                                                      Вроде как гуголь то сами фотки и не хранит, только текст…
                                                      Речь о доступе к фотам удаленного аккаунта, а это неправильно, но надо подробнее читать соглашение…
                                                      Или я в танке?
                                                  • 0
                                                    неприятный какой-то факт :-(
                                                    выходит, если хочешь избавиться от фотки, но уже где-то засветил прямую ссылку — шансов практически нет?
                                                • +11
                                                  Отсюда вспоминаем простое правило: «Все что в тырнеты попало – не вырубишь и топором.»
                                                  • 0
                                                    Да топором-то как раз и не проблема. Проблема — найти тот самый сервер и тот самый HDD.
                                                    • +1
                                                      Ага, а еще найти его бекапы, найти сервера гугла, тындыкса и иже с ними, их же бекапы, а также сервера вебархивов всяческих, ну и т.д. :)
                                                      • 0
                                                        Хорошо. Проблема — найти те самые серверы и те самые HDD.
                                                  • 0
                                                    Если не секрет, чем вызвана такая паника и за присутствия фотографий в Яндексе?
                                                    (правда если это не супер компрометирующие материалы)
                                                    • +1
                                                      Бывает что информация по прошествии времени не должна быть доступна. Кстати очень важный момент, что и запароленные фотки также доступны по прямому адресу без пароля и после удаления.
                                                      • 0
                                                        как раз хотел предложить это сделать
                                                        но это действительно нонсенс, думаю стоит продолжить писать в супорт ''Я''
                                                        (возможно задержка с выполнением вашей заявки вызвана летним периодом отпусков и незначительного послабления булок конкретного отдела)
                                                        • +1
                                                          Я писал в саппорт около двух лет назад, и в жж личку менеджеру проекта. И даже на хабре.
                                                          • 0
                                                            а как насчет написать сейчас в саппорт? (или что то я неправильно понял)
                                                            • +1
                                                              Да я уже забил на них. У меня ничего такого там нет, чего для меня критично. Просто сам факт.
                                                    • +3
                                                      Десять лет назад я зарегистрировался на chat.ru и сделал там простую веб-страничку. Как её теперь удалить оттуда — ума не приложу. Залогиниться невозможно, писать в техподдержку — некуда
                                                      • 0
                                                        Кстати да. Хрен знает сколько лет назад сделал себе страничку на «народе». До сих пор живая. Пароля не помню. На какой емыл регистрировал — тоже не помню. Если и вспомню емыл — вряд ли вспомню пароль (и это если емыл ещё живой).
                                                        И шо делать? :)
                                                        • 0
                                                          на народе будет жить страничка, пока на нее ходят. у меня один экспериментальный сайт благополучно сдох, так как о нем почти никому не говорил и ссылок на нее не ставил. и мне однажды пришло письмо от тех.поддержки о том, что сайт закроется, если вы сами не зайдете на него. Я и не зашел )))
                                                          • 0
                                                            >на народе будет жить страничка, пока на нее ходят

                                                            Неужели кто-то ходит на мой типичный такой «хомяк» из 3.5 страниц, сляпанный после прочтения по диагонали книжки «Свой веб-сайт за 24 часа», наполненный всякими крутилками-болталками на JS и не интересный никому (даже мне :)) чуть более, чем полностью?? «Не верю!» © :)
                                                            • 0
                                                              беспредметный спор. если на страницах есть какой-нибудь счетчик, то можно было обсуждать, действительно ли никто не ходит. может вы сами периодически заходите, чтобы проверить не умер ли сайт. я точных сроков не помню — может год не надо заходить.
                                                              • 0
                                                                Беспредметный — это точно. Да и не спор это вовсе. Я не могу спорить, потому что не обладаю вообще никакими данными, я просто выражаю своё недоумение, что туда вообще кто-то заходит, потому что он практически пустой. Я сам не заходил на него года 4 точно.

                                                                >я точных сроков не помню — может год не надо заходить.

                                                                Вот чёрт, теперь отсчёт пошёл по новой… %)

                                                                Ладно, пусть крутится. Как памятник тому, какие мы были молодые и наивные :)
                                                              • Открою маленький секрет — на веб-страницы очень часто попадают случайно через поисковик.
                                                                • 0
                                                                  Я понимаю. Я просто не понимаю, какой должен быть запрос, чтобы по нему выскочил этот сайт в числе хотя бы первого миллиона результатов %)
                                                                  • 0
                                                                    а это вполне может быть какой-нибудь спамовый робот. ему по барабану, какое там у вас место в рейтинге. лишь бы ссылка на сайт была.
                                                                  • первый раз в интернете, что ли?
                                                                    • 0
                                                                      Да. С 98-го года.
                                                                      • а что ж тогда такой ерунды не знаешь?
                                                                        • 0
                                                                          Потому что я в нём не живу. И я не энциклопедия, чтоб всё на свете знать.
                                                          • 0
                                                            Десять лет назад тоже сделал страничку на chat.ru. Потом, когда про неё вспомнил, благополучно удалил вот здесь. Правда, я помнил пароль :-)

                                                            Кстати, там в ПС есть замечательный пункт, мол, аккаунт является _вечным_. Тогда это выглядело вполне себе безобидно ;-)
                                                            • 0
                                                              Испытываю ту же проблему. Если вдруг у вас решится, не поленитесь — свистните, пожалуйста :-)

                                                              И сам я вам напишу, если мне что-то удастся сделать.

                                                              Там, кстати, есть адрес webmaster@chat.ru, но непонятно, даст ли что-нибудь письмо туда отправленное.
                                                            • 0
                                                              Давно думал над вопросом хранения информации вообще. Эту цивилизацию похоронит переизбыток информации. Она копится и копится, и не поддается какой либо сортировки. Кто-нибудь подсчитывал, сколько терабайт информации появляется на наших винчестерах ежечасно? Любое событие, будто свадьба, ЧП, футбольный матч, отпуск, съемка фильма — это груда фотографий, видео, текстов исходных и обработанных. А потребуется ли всё это в ближайшем или далеком будущем? Не кидайте в меня фантиками, это всего лишь рассуждения :)
                                                              • –1
                                                                нисцы, больше сексвигинтиллиона байт создать вряд ли получится
                                                                • 0
                                                                  Постоянно удаляю, удаляю, удаляю…

                                                                  Только Format C: спасет мир.
                                                                • –2
                                                                  Хорошо, что далеко не все догадываются найти прямую ссылку на удалённую фотку. По-моему, такая дыра — безобразие, неуважение, ведь если человек хочет удалить фотку — надо её удалить, а не просто убрать ссылочку в профиле! Или хотя бы закрыть доступ, поместив в «корзину».
                                                                  • 0
                                                                    а вот если бы многие читали соглашение…
                                                                  • 0
                                                                    А может просто фотки в кэше вашего браузера )
                                                                    • +3
                                                                      два года не обновлять браузер — это сильно :)
                                                                      • 0
                                                                        скорее 2 года не пользоваться им, если речь уж зашла про кэш
                                                                      • 0
                                                                        исключено, и машины разные :)
                                                                        • 0
                                                                          Я думаю, это была шутка.
                                                                          • 0
                                                                            Да, вы правы, это была шутка :)
                                                                            но судя по моим минусам, мало кто ее понял :(
                                                                      • +3
                                                                        Недавно на АИН был пост, как раз в тему.
                                                                        • +2
                                                                          Очень сложная процедура, Яндексу не под силу.
                                                                          • +3
                                                                            Это хороший аргумент не использовать Яндекс.Фотки. Спасибо, что предупредили. Интересно, а как с этим у других фотохостингов?
                                                                            • 0
                                                                              Да, интересно, ибо до этого момента считал что Яндекс.фотки идеальный сервис для хранения большого количества фотографий. Пикасу тоже использую, нравятся все их нововведения, но никогда не знаешь что может выкинуть google. А теперь вот и яндекс заразился болезнью знать все и всех. =)
                                                                              • 0
                                                                                проверил на своем аккаунте photobucket.com — после удаления фото по прямой ссылке выводится картинка с надписью «this image has been deleted»

                                                                                пользуйтесь на здоровье :)
                                                                              • +4
                                                                                Ссылайтесь на пользовательское соглашение:

                                                                                «Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта.»

                                                                                Если вы действительно удалили все фото когда у вас еще был аккаунт, то Яндекс нарушает условия своего ПС.

                                                                                Также нарушаются условия ПС если действительно имеет место открытый доступ к закрытым пользователем изображениям.

                                                                                Прочими основаниями для удаления может служить нарушение интеллектуальных прав третьих лиц, а также возражения третьих лиц, если их изображения присутствуют на размещенных вами фото.

                                                                                Удачи.
                                                                                • 0
                                                                                  а ПС я кстати так и не додумался почитать.
                                                                                  Спасибо :)
                                                                                  Попробую продублировать запрос в тех поддержку, с ссылкой на ПС.
                                                                                  • 0
                                                                                    С сайта удалил, на винте Яндекса осталось.
                                                                                    • 0
                                                                                      Но они все равно доступны с сайта :)
                                                                                  • 0
                                                                                    Один раз отданное в интернет, останется там навсегда. Нужно просто об этом помнить.
                                                                                    • 0
                                                                                      Верно. Не надо давать кому попало… :))
                                                                                    • –2
                                                                                      Скорее всего Вы не удаляли фотографии, а сразу удалили аккаунт. В данный момент тоже самое воспроизводится и сегодня — при входе в настройки и выборе пункта «Удалить аккаунт», Вам предлагается два варианта: «Удалить все фотографии», «Удалить аккаунт», при выборе первого все ваши фото будут удалены и недоступны по прямым ссылка, во втором случае аккаунт удаляется, а информация остаётся на жёстком диске Яндекса.
                                                                                      • +5
                                                                                        У нас есть некоторые проблемы с тем, что не все фотографии удаляются.
                                                                                        Прямо сейчас мы удалили несколько ваших фоток, на которые были ссылки «снаружи» (т.е. недавно запрашивались), завтра к вечеру удалим остальные фотографии.

                                                                                        Извините.

                                                                                        Вообще мы удаляем с хранилищ удалённые фотки, делаем это через некоторое время после удаления аккаунта пользователя или удаления фотографии, но у нас были с этим некоторые проблемы. (Да, хранить удалённые изображения естественно экономически невыгодно и никому не нужно).

                                                                                        — Денис Танаев
                                                                                        менеджер сервиса Яндекс.Фотки
                                                                                        • 0
                                                                                          Спасибо, главное что обратили внимание! Мне конкретно по этому аккаунту не очень важно есть доступ к фоткам или нет, но проблема чисто гипотетическая. И действительно это единственное что оттолкнуло в свое время от сервиса.
                                                                                          • 0
                                                                                            кстати, мы доудалили всё что было лишнего.

                                                                                            извините ещё раз
                                                                                            • 0
                                                                                              Просьба сделать то же самое для моего аккаунта с тем же логином, что и здесь. Удалил фотки сегодня утром, но некоторые ссылки все еще работают… Попал на эту статью по поиску подобной проблемы. :) спасибо!

                                                                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.