Пользователь
0,0
рейтинг
28 июля 2009 в 08:14

Яндекс Фотки и срок хранения файлов

Не знаю по адресу ли пост, но все же. Года два назад у меня был аккаунт на яндекс.фотках. Который я благополучно удалил, так же удалив все фотки.
Но даже сейчас я по старым, прямым ссылкам вижу свои фотографии. Я не понимаю, у них без размерные винты? Это же сколько мусора на серверах? Что я только не делал, и писал в саппорт, и лично руководителю, и на хабре.
Кто знает, каким законом можно регулировать срок хранения файлов? А какая ситуация на других фотохостингах?
upd
Заглянул в почту. Все началось 26 октября 2007. Тicket#2007102310014151
Потом я наткнулся еще раз на свои фотки и вспомнил о проблеме, написал в саппорт 28 февраля 2008. Получил ответ
Здравствуйте, Сергей!

Мы уже знаем об этой проблеме и постараемся решить её в самое ближайшее время.
Извините за причинённые неудобства.
SaintSerge @SaintSerge
карма
0,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (104)

  • +32
    При достижении определенного размера системы, ресурсы которые придется затратить на удаление файлов будут превышать ресурсы на их хранение
    Не верите?
    Создайте у себя в директории пару десятков тысяч файлов с небольшим размером в FAT32
    А потом удалите и послушайте как будет трещать винт
    Дешевле их просто хранить
    • +2
      Не думал о таком, спасибо.
    • –1
      Речь не идёт об удалении всех файлов. Если пользователь написал с службу поддержки с просьбой удаления файлов, то почему бы и не удалить несколько файлов.
      • +4
        Вероятнее всего в лицензионном соглашении (которое никем никогда не читается) фотохостинг оставил за собой право хранить фотографии столько, сколько ему вздумается, при этом убрав их из публичного доступа.

        У техподдержки может не быть прямого доступа к ФС серверов, удалять они могут только с помощью панели управления, которая написана так, что файлы не удаляет, а скрывает их с глаз долой.
        • –2
          Странная панель управления получится — усложнение функционала на ровном месте.
          • +2
            Это почему? поставить флаг в БД это одно, а лезть на какой-то ФС (надо еще определить какой), там что-то удалять, а может и на нескольких нагруженных серверах это совсем разного класса операции. Много где происходит просто пометка на удаление, а не само удаление…
            • +3
              Вообще можно было использовать этакие краулеры, которые неспешно лопатят БД и лениво удаляют файло с пометкой «К удалению».

              А ещё можно было сделать так, что файло с пометкой «К удалению» не отдавалась бы по прямым ссылкам никому.
              Так что есть недоработки в движке.
              • –2
                Например так.

                Иначе получается, что один раз сэкономили несколько миллисекунд, а потом поимели проблемы с приватностью, недовольство пользователей (см. пост, собственно) и так далее. А все потому, что проектировщик прокололся или программерам было лениво сразу нормально сделать.
                • 0
                  Блин, а какой процент пользователей, которым важно чтобы фотки небыли доступны по прямым ссылкам? Если на фотке что-то важное, ее просто пересохранят да и все.
                  Это обычная необоснованная параноя. Думаю, что на кеш того-же Яндекса такие параноики жалуются намного больше;)
              • +1
                Для отдачи фоток используется самое простое и быстрое решение. Легкий веб-сервер с минимальными проверками при отдаче фоток. Любая проверка это замедление работы, а на таких нагрузках как у Яндекса это может быть чревато тормозами.

                А не удаляют наверное чтобы каждой фотке соответствовал файл. Вдруг кто-то в блог запостит какую-то фотку по прямой ссылке, а потом она умрет и будет битая картинка. Хотя вот это как раз довольно натянуто. Скорее, сделали чтобы случайно что-то важное не грохнуть. Когда не удаляешь, оно как-то безопаснее;)
              • +2
                Вы как-то недооцениваете сложность проблемы.
                Я не изучал как ведут сеяб Яндекс.Фотки, но рискну предположить.
                Что для отдачи самих фоток используется какой-то супер легкий сервер. И его задача была поставленна — наиболее быстро отдавать весь контент. Также рискну предположить, что такой сервер не один, и контент продублирован не на одной файловой системе.
                Так что, когда пользователь пытается просмотреть свою фотографию «по-нормальному» веб-приложение вполне в состоянии проверить различные флаги этой фотографии и показать вам соотвествующий результат. Но!
                Когда вы пытаетесь доступиться к фотографии по прямому ее урлу на сервере, тут уж проверки делать очень и очень дорого (вы помните мы предположили, что они используют очень высокопроизводительный сервер для отдачи бинарного контента).

                Кроме того, если бы я работал в Яндексе, то я бы отдавал фотографии не просто высокопроизводительным сервером, а еще как-нибудь «извратился» с кешированием: или мощным кешированием внутри самих веб-серверов, либо реверс-прокси (типа кальмар) с кешированием всего, что только возможно, в гигантскую оперативную память (благо 64 бита позволяют), ни или просто в рейд быстрых винтов.

                А теперь представьте, вы хотите, чтобы ваша фотография была физически удалена. Для этого нужно всего ничего — сделать purge — всех кешей.

                PS. Я понимаю, где слабое место в моем рассуждении — обновления-то подхватываются. Возможно для кеширующего слоя нет команды — удалить из кеша, а по запросу он проверяет оригинал — для обновления, но оригинал-то в случае удаления не меняется. Возможно, перед удалением нужно замещать фотографию — репродукцией Малевича, так как они явно умеют их обновлять.
                • 0
                  Я вас понял.
                  Одно уточнение «Для этого нужно всего ничего — сделать purge — всех кешей» это ирония, нет?

                  И да, если предположить что кэш _всегда_ актуален, то почему по запросу на удаление файла не происходит его замена на «шедевр» Малевича размером в 1 пиксел?
                  Как-то оно всё странно выходит.
        • 0
          Да, «мягкое удаление» в данном случае один из вариантов решения проблемы.
        • 0
          Нет, в пользовательском соглашении этого нет.
          А то, что ПС никем никогда не читается вы сами и подвердили — дав какое-то предположение поленившись сходить и поверить — так ли это, или нет
          • –2
            О! Накажите меня! Да, вот так! Ещё, ещё, ещё!

          • –3
            Ваши программисты допустили ошибку (а программисты-ли, а ошибку-ли?), но вы при этом изволите немного дуться на меня?

            И, несомненно, в этой ошибке виноваты клиенты сервиса. Они не прочитали ПС!
            Ну прочитал я его прямо сейчас, теперь я могу файлы удалить, а не скрыть?
            • 0
              я просто констатирую факт того, что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.
              • 0
                Да, я заметил. Вы этим тоже грешите.

                Итак правильно и по делу.
                Действительно в ПС нет пункта о «вечном» хранении любого пользовательского контента на Яндекс Фотках. Но там есть пункт «Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта».

                Так почему Фотографии с вашего сервиса не удалялись? Потому что я ПС не прочитал?
                • 0
                  • 0
                    Да слава не знаю кому, что представитель Яндекса заметил размещённую на Хабре заметку и ЛИЧНО удалил злосчастные фотки.
                    Ничего, что автор заметки писал в вашу ТП письма с просьбой разобраться в вопросе?
                    ===
                    Хабр начинает напоминать личный блог Президента: пока в блоге о проблеме не напишешь — никто не шевелится.
                    • 0
                      вам поговорить не о чем?
                      • 0
                        Разговор о пустом начали вы.

                        Вы почему-то решили меня уесть тем, что я не прочитал ПС, но при этом сделал предположение о наличии в нём некоторого пункта. Оказалось пункта нет. Но раз его нет, то вся ситуация выглядит ещё более неприглядно — пункта нет, а факт «вечного» хранения есть.

                        И ваше «что многие люди (и вы в том числе) очень любят написать что-нибудь только ради того, чтобы что-нибудь написать. вместо того, чтобы разобраться и написать правильно и по делу.» выглядит странно.
                        Вы сами-то для чего написали про то, что я ПС не читал? Просто так, вам поговорить не с кем было?
    • +7
      Я не думаю, что яндекс использует в своих хранилищах FAT32 :-)
      Однако, вы скорее всего абсолютно правы, просто винты у них буду крехтеть в поисках дохлых пользователей.
    • +2
      Это — проблема файловой системы FAT32. В других файловых системах (ReiferFS, например), эта проблема не стоит так остро.
      • 0
        в ext3 это проблема есть, а reiser вряд ли где-то в продакшн используется.
        • –2
          может в яндексе давно своя фаловая система аля GFS (Google File System)
        • 0
          Если брать не reiser, а JFS, XFS, то это вполне продакшновые файловые системы (кстати, не уверен, что reiser не используется в продакшне).
        • 0
          В ext3 есть dir_index, правда не уверен, что он не хуже, чем на ФС с нормальными деревьями.
        • 0
          reiser? Вполне себе используется… почему бы нет…
    • –3
      По-моему форматирование решает проблему за пару минут, никакого треска не слышно
      • +1
        Для удаления сотни фотографий с раздела в терабайт вы будете его форматировать?
        • 0
          Удаление сотни фотографий не заставляет бешено жужжать винчестер и занимает 1 секунду, в отличие от десяти тысяч фотографий. Речь о том, что заранее правильная организация системы хранения файлов должна предусматривать легкую работу с файлами.
          В конце концов, если так дешева память как говорят в обсуждении, пусть заводят по разделу на каждого пользователя и при удалении аккаунта удаляют раздел.
    • –1
      У вас когда винт забивается, вы новый покупаете?
      • +8
        да. так легче. винты сейчас недорогие, а вероятность что-то нужное удалить, о чем вспомнишь через год (да пусть даже мп3шку какую-то) большая.
        • 0
          Зато очень не слабо увеличивается вероятность это что-то нужное банально не найти :)
    • +2
      в яндексе работают не идиоты. уж по папкам раскидать додумались, вернее, пришлось, потому что не только скорость удаления падает, но и скорость чтения.
      скорее всего не удаляют, потому что не хотят по разным причинам, в том числе чтобы старые ссылки не вели на 404-ю. если бы хотели удалять, то удаляли бы и плевать на количество файлов и репликацию.
    • 0
      «винт будет трещать» из-за хреновых алгоритмов (читай: отсутствия кэширования). вместо того чтобы один раз модифицировать FAT и директории, головка будет прыгать туда-сюда.
    • 0
      Давно заметил ту же проблему на примере вконтакте: там тоже и удаленные и скрытые и всякие-превсякие фотографии доступны по прямым ссылкам. Но!))) Если по внутренней почте вконтакте отправить прямую ссылку на картинку, то ссылка исказиться и получатель ничего не увидит :) Напоминает давнюю историю со словом javascript :)

      Вопрос: а нет ли специальных файловых систем, у которых «ресурсы которые придется затратить на удаление файлов» НЕ «будут превышать ресурсы на их хранение»?
      • +1
        Она исказится совершенно не потому что они пытаются скрыть ссылку, а потому что в этой ссылке присутствует конкретный сервер, а для того чтобы давать пользователям нормальные ссылки, абстрагированные от сервера, сервер у ссылок просто обрезается.
        • 0
          да-да, я знаю про этот момент :) просто забавное внешнее сходство с историей про со словом javascript, не более)
    • 0
      Посмеялся :) Спасибо!
    • 0
      А что мешает поставить в Базе данных маркер на конкретные фотографии УДАЛЕН = ДА. И после этого при поиске или любой другой попытке просмотра игнорировать фотографии, у которых этот маркер равен ДА ???
  • –3
    Что то часто последнее время, яндекс расстраивает своих пользователей.
    • +4
      мда… яндекс уже не тот :)
      • +2
        Перечитал и не поверил своим глазам. Ожидал увидеть «Яндекс уже не торт»… старею))
  • 0
    Насколько я помню, они не удаляют физически файлы. Т.е. если аккаунт удален, фотки все равно лежат. Если честно, не помню как ситуация обстоит если ты удаляешь файл самостоятельно
    • +1
      И в догонку — добавил у себя фотку и удалил ее. Физически ссылка работает. Не помню как яндекс-фотки аргументировал это, но факт остается фактом
      • 0
        это если где нить засветилась моя фотка а мне это не нравится я ничего не могу сделать?
        жестко
        • 0
          В общем да. Так как Гугль индексирует Яндекс. :) А Гуглю индексирует ещё кто-то. А ещё кого-то индексирует вооон тот сервис.
          И их всех, иногда, индексируют власть имущие, причём не всегда мягонько и с вазелином.
          • 0
            Вроде как гуголь то сами фотки и не хранит, только текст…
            Речь о доступе к фотам удаленного аккаунта, а это неправильно, но надо подробнее читать соглашение…
            Или я в танке?
      • 0
        неприятный какой-то факт :-(
        выходит, если хочешь избавиться от фотки, но уже где-то засветил прямую ссылку — шансов практически нет?
  • +11
    Отсюда вспоминаем простое правило: «Все что в тырнеты попало – не вырубишь и топором.»
    • 0
      Да топором-то как раз и не проблема. Проблема — найти тот самый сервер и тот самый HDD.
      • +1
        Ага, а еще найти его бекапы, найти сервера гугла, тындыкса и иже с ними, их же бекапы, а также сервера вебархивов всяческих, ну и т.д. :)
        • 0
          Хорошо. Проблема — найти те самые серверы и те самые HDD.
  • 0
    Если не секрет, чем вызвана такая паника и за присутствия фотографий в Яндексе?
    (правда если это не супер компрометирующие материалы)
    • +1
      Бывает что информация по прошествии времени не должна быть доступна. Кстати очень важный момент, что и запароленные фотки также доступны по прямому адресу без пароля и после удаления.
      • 0
        как раз хотел предложить это сделать
        но это действительно нонсенс, думаю стоит продолжить писать в супорт ''Я''
        (возможно задержка с выполнением вашей заявки вызвана летним периодом отпусков и незначительного послабления булок конкретного отдела)
        • +1
          Я писал в саппорт около двух лет назад, и в жж личку менеджеру проекта. И даже на хабре.
          • 0
            а как насчет написать сейчас в саппорт? (или что то я неправильно понял)
            • +1
              Да я уже забил на них. У меня ничего такого там нет, чего для меня критично. Просто сам факт.
  • +3
    Десять лет назад я зарегистрировался на chat.ru и сделал там простую веб-страничку. Как её теперь удалить оттуда — ума не приложу. Залогиниться невозможно, писать в техподдержку — некуда
    • 0
      Кстати да. Хрен знает сколько лет назад сделал себе страничку на «народе». До сих пор живая. Пароля не помню. На какой емыл регистрировал — тоже не помню. Если и вспомню емыл — вряд ли вспомню пароль (и это если емыл ещё живой).
      И шо делать? :)
      • 0
        на народе будет жить страничка, пока на нее ходят. у меня один экспериментальный сайт благополучно сдох, так как о нем почти никому не говорил и ссылок на нее не ставил. и мне однажды пришло письмо от тех.поддержки о том, что сайт закроется, если вы сами не зайдете на него. Я и не зашел )))
        • 0
          >на народе будет жить страничка, пока на нее ходят

          Неужели кто-то ходит на мой типичный такой «хомяк» из 3.5 страниц, сляпанный после прочтения по диагонали книжки «Свой веб-сайт за 24 часа», наполненный всякими крутилками-болталками на JS и не интересный никому (даже мне :)) чуть более, чем полностью?? «Не верю!» © :)
          • 0
            беспредметный спор. если на страницах есть какой-нибудь счетчик, то можно было обсуждать, действительно ли никто не ходит. может вы сами периодически заходите, чтобы проверить не умер ли сайт. я точных сроков не помню — может год не надо заходить.
            • 0
              Беспредметный — это точно. Да и не спор это вовсе. Я не могу спорить, потому что не обладаю вообще никакими данными, я просто выражаю своё недоумение, что туда вообще кто-то заходит, потому что он практически пустой. Я сам не заходил на него года 4 точно.

              >я точных сроков не помню — может год не надо заходить.

              Вот чёрт, теперь отсчёт пошёл по новой… %)

              Ладно, пусть крутится. Как памятник тому, какие мы были молодые и наивные :)
          • 0
            Открою маленький секрет — на веб-страницы очень часто попадают случайно через поисковик.
            • 0
              Я понимаю. Я просто не понимаю, какой должен быть запрос, чтобы по нему выскочил этот сайт в числе хотя бы первого миллиона результатов %)
              • 0
                а это вполне может быть какой-нибудь спамовый робот. ему по барабану, какое там у вас место в рейтинге. лишь бы ссылка на сайт была.
                • 0
                  Теперь верю :)
              • 0
                первый раз в интернете, что ли?
                • 0
                  Да. С 98-го года.
                  • 0
                    а что ж тогда такой ерунды не знаешь?
                    • 0
                      Потому что я в нём не живу. И я не энциклопедия, чтоб всё на свете знать.
    • 0
      Десять лет назад тоже сделал страничку на chat.ru. Потом, когда про неё вспомнил, благополучно удалил вот здесь. Правда, я помнил пароль :-)

      Кстати, там в ПС есть замечательный пункт, мол, аккаунт является _вечным_. Тогда это выглядело вполне себе безобидно ;-)
    • 0
      Испытываю ту же проблему. Если вдруг у вас решится, не поленитесь — свистните, пожалуйста :-)

      И сам я вам напишу, если мне что-то удастся сделать.

      Там, кстати, есть адрес webmaster@chat.ru, но непонятно, даст ли что-нибудь письмо туда отправленное.
  • 0
    Давно думал над вопросом хранения информации вообще. Эту цивилизацию похоронит переизбыток информации. Она копится и копится, и не поддается какой либо сортировки. Кто-нибудь подсчитывал, сколько терабайт информации появляется на наших винчестерах ежечасно? Любое событие, будто свадьба, ЧП, футбольный матч, отпуск, съемка фильма — это груда фотографий, видео, текстов исходных и обработанных. А потребуется ли всё это в ближайшем или далеком будущем? Не кидайте в меня фантиками, это всего лишь рассуждения :)
    • –1
      нисцы, больше сексвигинтиллиона байт создать вряд ли получится
    • 0
      Постоянно удаляю, удаляю, удаляю…

      Только Format C: спасет мир.
  • –2
    Хорошо, что далеко не все догадываются найти прямую ссылку на удалённую фотку. По-моему, такая дыра — безобразие, неуважение, ведь если человек хочет удалить фотку — надо её удалить, а не просто убрать ссылочку в профиле! Или хотя бы закрыть доступ, поместив в «корзину».
    • 0
      а вот если бы многие читали соглашение…
  • 0
    А может просто фотки в кэше вашего браузера )
    • +3
      два года не обновлять браузер — это сильно :)
      • 0
        скорее 2 года не пользоваться им, если речь уж зашла про кэш
    • 0
      исключено, и машины разные :)
      • 0
        Я думаю, это была шутка.
        • 0
          Да, вы правы, это была шутка :)
          но судя по моим минусам, мало кто ее понял :(
  • +3
    Недавно на АИН был пост, как раз в тему.
  • +2
    Очень сложная процедура, Яндексу не под силу.
  • +3
    Это хороший аргумент не использовать Яндекс.Фотки. Спасибо, что предупредили. Интересно, а как с этим у других фотохостингов?
    • 0
      Да, интересно, ибо до этого момента считал что Яндекс.фотки идеальный сервис для хранения большого количества фотографий. Пикасу тоже использую, нравятся все их нововведения, но никогда не знаешь что может выкинуть google. А теперь вот и яндекс заразился болезнью знать все и всех. =)
    • 0
      проверил на своем аккаунте photobucket.com — после удаления фото по прямой ссылке выводится картинка с надписью «this image has been deleted»

      пользуйтесь на здоровье :)
  • +4
    Ссылайтесь на пользовательское соглашение:

    «Авторизованный Пользователь имеет право в любое время без объяснения причины удалить размещенное им Изображение с Сайта.»

    Если вы действительно удалили все фото когда у вас еще был аккаунт, то Яндекс нарушает условия своего ПС.

    Также нарушаются условия ПС если действительно имеет место открытый доступ к закрытым пользователем изображениям.

    Прочими основаниями для удаления может служить нарушение интеллектуальных прав третьих лиц, а также возражения третьих лиц, если их изображения присутствуют на размещенных вами фото.

    Удачи.
    • 0
      а ПС я кстати так и не додумался почитать.
      Спасибо :)
      Попробую продублировать запрос в тех поддержку, с ссылкой на ПС.
    • 0
      С сайта удалил, на винте Яндекса осталось.
      • 0
        Но они все равно доступны с сайта :)
  • 0
    Один раз отданное в интернет, останется там навсегда. Нужно просто об этом помнить.
    • 0
      Верно. Не надо давать кому попало… :))
  • –2
    Скорее всего Вы не удаляли фотографии, а сразу удалили аккаунт. В данный момент тоже самое воспроизводится и сегодня — при входе в настройки и выборе пункта «Удалить аккаунт», Вам предлагается два варианта: «Удалить все фотографии», «Удалить аккаунт», при выборе первого все ваши фото будут удалены и недоступны по прямым ссылка, во втором случае аккаунт удаляется, а информация остаётся на жёстком диске Яндекса.
  • +5
    У нас есть некоторые проблемы с тем, что не все фотографии удаляются.
    Прямо сейчас мы удалили несколько ваших фоток, на которые были ссылки «снаружи» (т.е. недавно запрашивались), завтра к вечеру удалим остальные фотографии.

    Извините.

    Вообще мы удаляем с хранилищ удалённые фотки, делаем это через некоторое время после удаления аккаунта пользователя или удаления фотографии, но у нас были с этим некоторые проблемы. (Да, хранить удалённые изображения естественно экономически невыгодно и никому не нужно).

    — Денис Танаев
    менеджер сервиса Яндекс.Фотки
    • 0
      Спасибо, главное что обратили внимание! Мне конкретно по этому аккаунту не очень важно есть доступ к фоткам или нет, но проблема чисто гипотетическая. И действительно это единственное что оттолкнуло в свое время от сервиса.
      • 0
        кстати, мы доудалили всё что было лишнего.

        извините ещё раз
        • 0
          Просьба сделать то же самое для моего аккаунта с тем же логином, что и здесь. Удалил фотки сегодня утром, но некоторые ссылки все еще работают… Попал на эту статью по поиску подобной проблемы. :) спасибо!

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.