Яндекс Фотки и срок хранения файлов

    Не знаю по адресу ли пост, но все же. Года два назад у меня был аккаунт на яндекс.фотках. Который я благополучно удалил, так же удалив все фотки.
    Но даже сейчас я по старым, прямым ссылкам вижу свои фотографии. Я не понимаю, у них без размерные винты? Это же сколько мусора на серверах? Что я только не делал, и писал в саппорт, и лично руководителю, и на хабре.
    Кто знает, каким законом можно регулировать срок хранения файлов? А какая ситуация на других фотохостингах?
    upd
    Заглянул в почту. Все началось 26 октября 2007. Тicket#2007102310014151
    Потом я наткнулся еще раз на свои фотки и вспомнил о проблеме, написал в саппорт 28 февраля 2008. Получил ответ
    Здравствуйте, Сергей!

    Мы уже знаем об этой проблеме и постараемся решить её в самое ближайшее время.
    Извините за причинённые неудобства.
    Метки:
    Поделиться публикацией
    Комментарии 104
    • +32
      При достижении определенного размера системы, ресурсы которые придется затратить на удаление файлов будут превышать ресурсы на их хранение
      Не верите?
      Создайте у себя в директории пару десятков тысяч файлов с небольшим размером в FAT32
      А потом удалите и послушайте как будет трещать винт
      Дешевле их просто хранить
      • +2
        Не думал о таком, спасибо.
      • –1
        Речь не идёт об удалении всех файлов. Если пользователь написал с службу поддержки с просьбой удаления файлов, то почему бы и не удалить несколько файлов.
        • +4
          Вероятнее всего в лицензионном соглашении (которое никем никогда не читается) фотохостинг оставил за собой право хранить фотографии столько, сколько ему вздумается, при этом убрав их из публичного доступа.

          У техподдержки может не быть прямого доступа к ФС серверов, удалять они могут только с помощью панели управления, которая написана так, что файлы не удаляет, а скрывает их с глаз долой.
          • –2
            Странная панель управления получится — усложнение функционала на ровном месте.
            • +2
              Это почему? поставить флаг в БД это одно, а лезть на какой-то ФС (надо еще определить какой), там что-то удалять, а может и на нескольких нагруженных серверах это совсем разного класса операции. Много где происходит просто пометка на удаление, а не само удаление…
              • +3
                Вообще можно было использовать этакие краулеры, которые неспешно лопатят БД и лениво удаляют файло с пометкой «К удалению».

                А ещё можно было сделать так, что файло с пометкой «К удалению» не отдавалась бы по прямым ссылкам никому.
                Так что есть недоработки в движке.
                • –2
                  Например так.

                  Иначе получается, что один раз сэкономили несколько миллисекунд, а потом поимели проблемы с приватностью, недовольство пользователей (см. пост, собственно) и так далее. А все потому, что проектировщик прокололся или программерам было лениво сразу нормально сделать.
                  • 0
                    Блин, а какой процент пользователей, которым важно чтобы фотки небыли доступны по прямым ссылкам? Если на фотке что-то важное, ее просто пересохранят да и все.
                    Это обычная необоснованная параноя. Думаю, что на кеш того-же Яндекса такие параноики жалуются намного больше;)
                • +1
                  Для отдачи фоток используется самое простое и быстрое решение. Легкий веб-сервер с минимальными проверками при отдаче фоток. Любая проверка это замедление работы, а на таких нагрузках как у Яндекса это может быть чревато тормозами.

                  А не удаляют наверное чтобы каждой фотке соответствовал файл. Вдруг кто-то в блог запостит какую-то фотку по прямой ссылке, а потом она умрет и будет битая картинка. Хотя вот это как раз довольно натянуто. Скорее, сделали чтобы случайно что-то важное не грохнуть. Когда не удаляешь, оно как-то безопаснее;)
                • +2
                  Вы как-то недооцениваете сложность проблемы.
                  Я не изучал как ведут сеяб Яндекс.Фотки, но рискну предположить.
                  Что для отдачи самих фоток используется какой-то супер легкий сервер. И его задача была поставленна — наиболее быстро отдавать весь контент. Также рискну предположить, что такой сервер не один, и контент продублирован не на одной файловой системе.
                  Так что, когда пользователь пытается просмотреть свою фотографию «по-нормальному» веб-приложение вполне в состоянии проверить различные флаги этой фотографии и показать вам соотвествующий результат. Но!
                  Когда вы пытаетесь доступиться к фотографии по прямому ее урлу на сервере, тут уж проверки делать очень и очень дорого (вы помните мы предположили, что они используют очень высокопроизводительный сервер для отдачи бинарного контента).

                  Кроме того, если бы я работал в Яндексе, то я бы отдавал фотографии не просто высокопроизводительным сервером, а еще как-нибудь «извратился» с кешированием: или мощным кешированием внутри самих веб-серверов, либо реверс-прокси (типа кальмар) с кешированием всего, что только возможно, в гигантскую оперативную память (благо 64 бита позволяют), ни или просто в рейд быстрых винтов.

                  А теперь представьте, вы хотите, чтобы ваша фотография была физически удалена. Для этого нужно всего ничего — сделать purge — всех кешей.

                  PS. Я понимаю, где слабое место в моем рассуждении — обновления-то подхватываются. Возможно для кеширующего слоя нет команды — удалить из кеша, а по запросу он проверяет оригинал — для обновления, но оригинал-то в случае удаления не меняется. Возможно, перед удалением нужно замещать фотографию — репродукцией Малевича, так как они явно умеют их обновлять.
                  • 0
                    Я вас понял.
                    Одно уточнение «Для этого нужно всего ничего — сделать purge — всех кешей» это ирония, нет?

                    И да, если предположить что кэш _всегда_ актуален, то почему по запросу на удаление файла не происходит его замена на «шедевр» Малевича размером в 1 пиксел?
                    Как-то оно всё странно выходит.
          • 0
            Да, «мягкое удаление» в данном случае один из вариантов решения проблемы.
          • 0
            Нет, в пользовательском соглашении этого нет.
            А то, что ПС никем никогда не читается вы сами и подвердили — дав какое-то предположение поленившись сходить и поверить — так ли это, или нет
            • –2
              О! Накажите меня! Да, вот так! Ещё, ещё, ещё!

            • –3
              Ваши программисты допустили ошибку (а программисты-ли, а ошибку-ли?), но вы при этом изволите немного дуться на меня?

              И, несомненно, в этой ошибке виноваты клиенты сервиса. Они не прочитали ПС!
              Ну прочитал я его прямо сейчас, теперь я могу файлы удалить, а не скрыть?
              • 0
                я просто констатирую факт того, что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.
                • 0
                  Да, я заметил. Вы этим тоже грешите.

                  Итак правильно и по делу.
                  Действительно в ПС нет пункта о «вечном» хранении любого пользовательского контента на Яндекс Фотках. Но там есть пункт «Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта».

                  Так почему Фотографии с вашего сервиса не удалялись? Потому что я ПС не прочитал?
                    • 0
                      Да слава не знаю кому, что представитель Яндекса заметил размещённую на Хабре заметку и ЛИЧНО удалил злосчастные фотки.
                      Ничего, что автор заметки писал в вашу ТП письма с просьбой разобраться в вопросе?
                      ===
                      Хабр начинает напоминать личный блог Президента: пока в блоге о проблеме не напишешь — никто не шевелится.
                      • 0
                        вам поговорить не о чем?
                        • 0
                          Разговор о пустом начали вы.

                          Вы почему-то решили меня уесть тем, что я не прочитал ПС, но при этом сделал предположение о наличии в нём некоторого пункта. Оказалось пункта нет. Но раз его нет, то вся ситуация выглядит ещё более неприглядно — пункта нет, а факт «вечного» хранения есть.

                          И ваше «что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.» выглядит странно.
                          Вы сами-то для чего написали про то, что я ПС не читал? Просто так, вам поговорить не с кем было?
      • +7
        Я не думаю, что яндекс использует в своих хранилищах FAT32 :-)
        Однако, вы скорее всего абсолютно правы, просто винты у них буду крехтеть в поисках дохлых пользователей.
      • +2
        Это — проблема файловой системы FAT32. В других файловых системах (ReiferFS, например), эта проблема не стоит так остро.
        • 0
          в ext3 это проблема есть, а reiser вряд ли где-то в продакшн используется.
          • –2
            может в яндексе давно своя фаловая система аля GFS (Google File System)
          • 0
            Если брать не reiser, а JFS, XFS, то это вполне продакшновые файловые системы (кстати, не уверен, что reiser не используется в продакшне).
          • 0
            В ext3 есть dir_index, правда не уверен, что он не хуже, чем на ФС с нормальными деревьями.
          • 0
            reiser? Вполне себе используется… почему бы нет…
      • –3
        По-моему форматирование решает проблему за пару минут, никакого треска не слышно
        • +1
          Для удаления сотни фотографий с раздела в терабайт вы будете его форматировать?
          • 0
            Удаление сотни фотографий не заставляет бешено жужжать винчестер и занимает 1 секунду, в отличие от десяти тысяч фотографий. Речь о том, что заранее правильная организация системы хранения файлов должна предусматривать легкую работу с файлами.
            В конце концов, если так дешева память как говорят в обсуждении, пусть заводят по разделу на каждого пользователя и при удалении аккаунта удаляют раздел.
      • –1
        У вас когда винт забивается, вы новый покупаете?
        • +8
          да. так легче. винты сейчас недорогие, а вероятность что-то нужное удалить, о чем вспомнишь через год (да пусть даже мп3шку какую-то) большая.
          • 0
            Зато очень не слабо увеличивается вероятность это что-то нужное банально не найти :)
      • +2
        в яндексе работают не идиоты. уж по папкам раскидать додумались, вернее, пришлось, потому что не только скорость удаления падает, но и скорость чтения.
        скорее всего не удаляют, потому что не хотят по разным причинам, в том числе чтобы старые ссылки не вели на 404-ю. если бы хотели удалять, то удаляли бы и плевать на количество файлов и репликацию.
      • 0
        «винт будет трещать» из-за хреновых алгоритмов (читай: отсутствия кэширования). вместо того чтобы один раз модифицировать FAT и директории, головка будет прыгать туда-сюда.
      • 0
        Давно заметил ту же проблему на примере вконтакте: там тоже и удаленные и скрытые и всякие-превсякие фотографии доступны по прямым ссылкам. Но!))) Если по внутренней почте вконтакте отправить прямую ссылку на картинку, то ссылка исказиться и получатель ничего не увидит :) Напоминает давнюю историю со словом javascript :)

        Вопрос: а нет ли специальных файловых систем, у которых «ресурсы которые придется затратить на удаление файлов» НЕ «будут превышать ресурсы на их хранение»?
        • +1
          Она исказится совершенно не потому что они пытаются скрыть ссылку, а потому что в этой ссылке присутствует конкретный сервер, а для того чтобы давать пользователям нормальные ссылки, абстрагированные от сервера, сервер у ссылок просто обрезается.
          • 0
            да-да, я знаю про этот момент :) просто забавное внешнее сходство с историей про со словом javascript, не более)
      • НЛО прилетело и опубликовало эту надпись здесь
      • 0
        А что мешает поставить в Базе данных маркер на конкретные фотографии УДАЛЕН = ДА. И после этого при поиске или любой другой попытке просмотра игнорировать фотографии, у которых этот маркер равен ДА ???
    • –3
      Что то часто последнее время, яндекс расстраивает своих пользователей.
      • +4
        мда… яндекс уже не тот :)
        • +2
          Перечитал и не поверил своим глазам. Ожидал увидеть «Яндекс уже не торт»… старею))
    • 0
      Насколько я помню, они не удаляют физически файлы. Т.е. если аккаунт удален, фотки все равно лежат. Если честно, не помню как ситуация обстоит если ты удаляешь файл самостоятельно
      • +1
        И в догонку — добавил у себя фотку и удалил ее. Физически ссылка работает. Не помню как яндекс-фотки аргументировал это, но факт остается фактом
        • 0
          это если где нить засветилась моя фотка а мне это не нравится я ничего не могу сделать?
          жестко
          • 0
            В общем да. Так как Гугль индексирует Яндекс. :) А Гуглю индексирует ещё кто-то. А ещё кого-то индексирует вооон тот сервис.
            И их всех, иногда, индексируют власть имущие, причём не всегда мягонько и с вазелином.
            • 0
              Вроде как гуголь то сами фотки и не хранит, только текст…
              Речь о доступе к фотам удаленного аккаунта, а это неправильно, но надо подробнее читать соглашение…
              Или я в танке?
        • 0
          неприятный какой-то факт :-(
          выходит, если хочешь избавиться от фотки, но уже где-то засветил прямую ссылку — шансов практически нет?
    • +11
      Отсюда вспоминаем простое правило: «Все что в тырнеты попало – не вырубишь и топором.»
      • 0
        Да топором-то как раз и не проблема. Проблема — найти тот самый сервер и тот самый HDD.
        • +1
          Ага, а еще найти его бекапы, найти сервера гугла, тындыкса и иже с ними, их же бекапы, а также сервера вебархивов всяческих, ну и т.д. :)
          • 0
            Хорошо. Проблема — найти те самые серверы и те самые HDD.
    • 0
      Если не секрет, чем вызвана такая паника и за присутствия фотографий в Яндексе?
      (правда если это не супер компрометирующие материалы)
      • +1
        Бывает что информация по прошествии времени не должна быть доступна. Кстати очень важный момент, что и запароленные фотки также доступны по прямому адресу без пароля и после удаления.
        • 0
          как раз хотел предложить это сделать
          но это действительно нонсенс, думаю стоит продолжить писать в супорт ''Я''
          (возможно задержка с выполнением вашей заявки вызвана летним периодом отпусков и незначительного послабления булок конкретного отдела)
          • +1
            Я писал в саппорт около двух лет назад, и в жж личку менеджеру проекта. И даже на хабре.
            • 0
              а как насчет написать сейчас в саппорт? (или что то я неправильно понял)
              • +1
                Да я уже забил на них. У меня ничего такого там нет, чего для меня критично. Просто сам факт.
    • +3
      Десять лет назад я зарегистрировался на chat.ru и сделал там простую веб-страничку. Как её теперь удалить оттуда — ума не приложу. Залогиниться невозможно, писать в техподдержку — некуда
      • 0
        Кстати да. Хрен знает сколько лет назад сделал себе страничку на «народе». До сих пор живая. Пароля не помню. На какой емыл регистрировал — тоже не помню. Если и вспомню емыл — вряд ли вспомню пароль (и это если емыл ещё живой).
        И шо делать? :)
        • 0
          на народе будет жить страничка, пока на нее ходят. у меня один экспериментальный сайт благополучно сдох, так как о нем почти никому не говорил и ссылок на нее не ставил. и мне однажды пришло письмо от тех.поддержки о том, что сайт закроется, если вы сами не зайдете на него. Я и не зашел )))
          • 0
            >на народе будет жить страничка, пока на нее ходят

            Неужели кто-то ходит на мой типичный такой «хомяк» из 3.5 страниц, сляпанный после прочтения по диагонали книжки «Свой веб-сайт за 24 часа», наполненный всякими крутилками-болталками на JS и не интересный никому (даже мне :)) чуть более, чем полностью?? «Не верю!» © :)
            • 0
              беспредметный спор. если на страницах есть какой-нибудь счетчик, то можно было обсуждать, действительно ли никто не ходит. может вы сами периодически заходите, чтобы проверить не умер ли сайт. я точных сроков не помню — может год не надо заходить.
              • 0
                Беспредметный — это точно. Да и не спор это вовсе. Я не могу спорить, потому что не обладаю вообще никакими данными, я просто выражаю своё недоумение, что туда вообще кто-то заходит, потому что он практически пустой. Я сам не заходил на него года 4 точно.

                >я точных сроков не помню — может год не надо заходить.

                Вот чёрт, теперь отсчёт пошёл по новой… %)

                Ладно, пусть крутится. Как памятник тому, какие мы были молодые и наивные :)
            • 0
              Открою маленький секрет — на веб-страницы очень часто попадают случайно через поисковик.
              • 0
                Я понимаю. Я просто не понимаю, какой должен быть запрос, чтобы по нему выскочил этот сайт в числе хотя бы первого миллиона результатов %)
                • 0
                  а это вполне может быть какой-нибудь спамовый робот. ему по барабану, какое там у вас место в рейтинге. лишь бы ссылка на сайт была.
                • 0
                  первый раз в интернете, что ли?
                  • 0
                    Да. С 98-го года.
                    • 0
                      а что ж тогда такой ерунды не знаешь?
                      • 0
                        Потому что я в нём не живу. И я не энциклопедия, чтоб всё на свете знать.
      • 0
        Десять лет назад тоже сделал страничку на chat.ru. Потом, когда про неё вспомнил, благополучно удалил вот здесь. Правда, я помнил пароль :-)

        Кстати, там в ПС есть замечательный пункт, мол, аккаунт является _вечным_. Тогда это выглядело вполне себе безобидно ;-)
      • 0
        Испытываю ту же проблему. Если вдруг у вас решится, не поленитесь — свистните, пожалуйста :-)

        И сам я вам напишу, если мне что-то удастся сделать.

        Там, кстати, есть адрес webmaster@chat.ru, но непонятно, даст ли что-нибудь письмо туда отправленное.
    • 0
      Давно думал над вопросом хранения информации вообще. Эту цивилизацию похоронит переизбыток информации. Она копится и копится, и не поддается какой либо сортировки. Кто-нибудь подсчитывал, сколько терабайт информации появляется на наших винчестерах ежечасно? Любое событие, будто свадьба, ЧП, футбольный матч, отпуск, съемка фильма — это груда фотографий, видео, текстов исходных и обработанных. А потребуется ли всё это в ближайшем или далеком будущем? Не кидайте в меня фантиками, это всего лишь рассуждения :)
      • –1
        нисцы, больше сексвигинтиллиона байт создать вряд ли получится
      • 0
        Постоянно удаляю, удаляю, удаляю…

        Только Format C: спасет мир.
    • –2
      Хорошо, что далеко не все догадываются найти прямую ссылку на удалённую фотку. По-моему, такая дыра — безобразие, неуважение, ведь если человек хочет удалить фотку — надо её удалить, а не просто убрать ссылочку в профиле! Или хотя бы закрыть доступ, поместив в «корзину».
      • 0
        а вот если бы многие читали соглашение…
    • 0
      А может просто фотки в кэше вашего браузера )
      • +3
        два года не обновлять браузер — это сильно :)
        • 0
          скорее 2 года не пользоваться им, если речь уж зашла про кэш
      • 0
        исключено, и машины разные :)
        • 0
          Я думаю, это была шутка.
          • 0
            Да, вы правы, это была шутка :)
            но судя по моим минусам, мало кто ее понял :(
    • +3
      Недавно на АИН был пост, как раз в тему.
    • +2
      Очень сложная процедура, Яндексу не под силу.
    • +3
      Это хороший аргумент не использовать Яндекс.Фотки. Спасибо, что предупредили. Интересно, а как с этим у других фотохостингов?
      • 0
        Да, интересно, ибо до этого момента считал что Яндекс.фотки идеальный сервис для хранения большого количества фотографий. Пикасу тоже использую, нравятся все их нововведения, но никогда не знаешь что может выкинуть google. А теперь вот и яндекс заразился болезнью знать все и всех. =)
      • 0
        проверил на своем аккаунте photobucket.com — после удаления фото по прямой ссылке выводится картинка с надписью «this image has been deleted»

        пользуйтесь на здоровье :)
    • +4
      Ссылайтесь на пользовательское соглашение:

      «Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта.»

      Если вы действительно удалили все фото когда у вас еще был аккаунт, то Яндекс нарушает условия своего ПС.

      Также нарушаются условия ПС если действительно имеет место открытый доступ к закрытым пользователем изображениям.

      Прочими основаниями для удаления может служить нарушение интеллектуальных прав третьих лиц, а также возражения третьих лиц, если их изображения присутствуют на размещенных вами фото.

      Удачи.
      • 0
        а ПС я кстати так и не додумался почитать.
        Спасибо :)
        Попробую продублировать запрос в тех поддержку, с ссылкой на ПС.
      • 0
        С сайта удалил, на винте Яндекса осталось.
        • 0
          Но они все равно доступны с сайта :)
    • 0
      Один раз отданное в интернет, останется там навсегда. Нужно просто об этом помнить.
      • 0
        Верно. Не надо давать кому попало… :))
    • –2
      Скорее всего Вы не удаляли фотографии, а сразу удалили аккаунт. В данный момент тоже самое воспроизводится и сегодня — при входе в настройки и выборе пункта «Удалить аккаунт», Вам предлагается два варианта: «Удалить все фотографии», «Удалить аккаунт», при выборе первого все ваши фото будут удалены и недоступны по прямым ссылка, во втором случае аккаунт удаляется, а информация остаётся на жёстком диске Яндекса.
    • +5
      У нас есть некоторые проблемы с тем, что не все фотографии удаляются.
      Прямо сейчас мы удалили несколько ваших фоток, на которые были ссылки «снаружи» (т.е. недавно запрашивались), завтра к вечеру удалим остальные фотографии.

      Извините.

      Вообще мы удаляем с хранилищ удалённые фотки, делаем это через некоторое время после удаления аккаунта пользователя или удаления фотографии, но у нас были с этим некоторые проблемы. (Да, хранить удалённые изображения естественно экономически невыгодно и никому не нужно).

      — Денис Танаев
      менеджер сервиса Яндекс.Фотки
      • 0
        Спасибо, главное что обратили внимание! Мне конкретно по этому аккаунту не очень важно есть доступ к фоткам или нет, но проблема чисто гипотетическая. И действительно это единственное что оттолкнуло в свое время от сервиса.
        • 0
          кстати, мы доудалили всё что было лишнего.

          извините ещё раз
          • 0
            Просьба сделать то же самое для моего аккаунта с тем же логином, что и здесь. Удалил фотки сегодня утром, но некоторые ссылки все еще работают… Попал на эту статью по поиску подобной проблемы. :) спасибо!

    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.