Я тоже свою делал. Проблема в том, что это было в 1994-ом году на турбопаскале и с тех пор я никак не соберусь её восстановить на современном уровне. Но даже если при этом выявится мой тогдашний юношеский максимализм и результаты в реальность будут в два раза хуже, это всё равно означает, что потенциальные возможности метода зубрёжки интервальными повторениями сильно недооценены.
Потому что если посмотреть на ситуацию с этой стороны, то рост анизотропии может свидетельствовать только о том, что Большая часть активаций не задействованы в каждом конкретном случае. А из этого могут следовать большие последствия - значительную часть сети можно не учитывать, а сети в процессе обучения сами стараются привести себя к "сигнальному" состоянию даже если об этом их никто специально не просил.
А можно подробнее про то, как в данном случае считается анизотропия в сигнале, и что более важно, как нормируется сигнал прежде чем её считать. Потому что центрирование на среднее очень контрпродуктивно если для сигнала характерно ненормальное распределение.
Например в AlexNet распределение logit-ов такое, что 3/4 значений меньше нуля, то есть активации ReLU будут в 3/4 случаев просто 0, а в остальных сигнал. Если такой треугольник относительно 0 отцентровать на среднее вы получите 3/4 одинаковых но не нулевых значений. Для других сетей у меня под рукой насчитанных активаций сейчас нет, вот тут можно графики посмотреть: https://t.me/GradientWitnesses/38, https://t.me/GradientWitnesses/39, но этот случай наводит на мысль.
Это может порождать проблемы, характерные для проблемы шкурки многомерного арбуза - в сильно многомерном пространстве обычная наша трехмерная интуиция ведёт к неправильным выводам.
Например: если у вас миллион логитов, матрица 1000x1000 и все они равны 0 и только по одному в каждой размерности равны 1, то эти вектора ортогональны интуитивно, но на сколько испортится картина если их отцентровать как-то? Интуитивно кажется, что не сильно.
Но если мы сделаем от такой матрицы активаций softmax как это делает multihead attention - то получим матрицу активаций в которой все элементы 0.001 кроме одного строки со значениями 0.027. Угол между этими двумя векторами - всего 4 градуса. А если миллион не один, а сто, то угол вообще может потеряться на фоне ошибки округления. Как вы справляетесь с этой проблемой?
Я её на матери тестировал, которая тогда вообще английского не знала, просто учила значения слов, встречающихся в компьютерных интерфейсах, так что дело тут не в памяти.
Ну да там были всякие фишечки, например подбор времени появления перевода после демонстрации слова и тому подобное мелочи.
С посылом то понятно, но это аргумент только до тех пор пока количество не переходить в качество. А мест для такого перехода множество, например программа может знать всё слова в тексте которые вы знаете и заменять инапримене знакомые на русские по мере необходимости или того как вы задерживаете взгляд на этом слове и подбирать для вас учебные тексты в которых содержится не более 5% незнакомых слов, например.
Я в своё время написал и использовал программу для выучивания интервальным повторением, дававшую до 50-60 слов запоминания за час. Если вы считаете баловством, возможность выучить весь активный словарный запас за 20 учебных часов, то у меня для вас важная новость - вы хренов полиголот и нам, простым людям, с вами не сравниться.
Вот вы все ржёте, а алгоритмы экстримального сжатия реально существуют. Например почти любой текст можно сжать всего до нескольких бит на слово, и это далеко не первоапрельская шутка.
Просто в наше время уже как-то не принято меряться архиваторами.
Серьёзная проблема, в том, что очевидные и явные признаки хейтспича, манипуляции и пропаганды видны невооружённым взглядом примерно во всех статьях оппозиционных изданий. Я вот прямо сейчас открыл чтобы проверить себя Медузу и да, у половины статей это в заголовках, а остальные чтобы это обнаружить приходится открывать, но по факту примерно 100% сатаей.
Ну и что, вы хотите сказать, что РосКомСвобода станет проверять и публиковать результаты проверки в отношении какой-нибудь медузы?
Тут вообще работает дружная стая товарищей. Если раньше приходили в любую неугодную статью первыми и пытались сбить её на взлёте, то сейчас повадились по старым комментарий охотничьими группами ходить. Ко мне тут наведалась на днях группа сбившая мне карму до нуля через почти неделю после моего последнего комментарий.
Думаю, руководство хабра всё устраивает. Надеюсь, что бесплатно.
Термояд в наше время так себе прогресс. Вот реальный прогресс это малые модульные реакторы, которые де факто умеет в серию строить только Росатом и он же является монополистом на поставку для них топлива, и замкнутый топливный цикл, сами знаете где. Ну и может быть ещё реакторы на расплаве солей, это у китайцев. Так что к приходу жареного петуха у нас давно и успешно подготовились.
Осмелиться то вы можете, только смелость только не много от смелости толку когда в голове каша из устаревших медийных штампов. Были бы менее смелыми - глядишь мнение было бы поадекватнее.
годами построенные экономические связи со всем миром и стабильно высокие продажи углеводородов
Именно поэтому байден две недели назад ограничил строительство мощностей по экспорту углеводородов. :)))
работающее жкх, а не коллапсирующее при морозе на 1 градус ниже прошлой зимы в тот же день
В одном-двух местах. Контраст не с Европой, в которой этой зимой министр предлагал переходить на электрическое отопление, потому что оно позволяет отапливать только две комнаты в доме. :)))
благоприятный инвестиционный климат, а не токсичность рынка
300 миллиардов замороженных активов в евроклире и рекордный отток нерезидентов из долгового рынка США не дадут соврать. :)
стабильные и простые способы получения технологий, а не теневой импорт
Бедный китай, как он вообще выживает, учитывая количество введённых ограничений на получение технологий.
со сложными и ненадежными логистическими цепочками и сильно завышенной цене
Именно поэтому в США логистический кризис, корабли едущие в Европу опплывают Африку, а цена транзита через суец и панаму выросла кратно. Погуглите как-нибудь графики стоимости фрахта. О сколько вас открытий чудных ждет. Например в 2021-ом году когда начался европейский энергитический кризис, за год стоимость фрахта вырасла в 6 раз.
а не затраты ресурсов на ракеты, танки, артиллерию и прочую военную технику, которые тут же утилизируются
Именно поэтому все страны мира судорожно вкладываются в заводы по производству военной техники, а в Британской армии осталось 4 готовых к бою танка. Не 4 дивизии, а всего 4 исправных танка. Остальное утилизировано.
доступные валютные резервы, а не замороженные и в конце концов конфискованные
Можете расслабится, россия за счёт дикого скачка цен на углеводороды ещё в прошлом году получила дополнительной прибыли на сумму большую всех украденых активов.
товары и курс валют в 4 раза ниже текущего
Детский сад - штаны на лямках. Вы, вообще, в курсе, что при таком курсе сейчас в стране стало бы не рентабильно всё, сложнее добычи нефти. Ну и как бы да, учитывая состояние с инфляцией в остальном мире, о ней бы вообще не вспоминать, как о ферёвке в доме повешанного.
Право, мне и правда нужно объяснять интеллектуальной элите(с) о том
Я вынужден Вас расстроить. Человек на столько на осведомлённый о ситуации в мире и на столько стереотипно, я быв даже сказал религиозно верящий в сильно устаревший набор баек вряд ли может что-то объяснить интеллектуальной элите.
В целом да, и в этом то и проблема. Пока это всё можно было это не было проблемой. Но нас они сами отрезали (за что должны быть представлены к ордену трудового красного знамени), а большинство остальных стран уменьшают свою позицию в американских рынках и долговых бумагах. Оказалось, что сбрасывать з аграницу уже не получается. А наздувать пузыри тоже уже не получается. Приходится ФРС выкупать всю эмиссию, и рекордный рост акций (крупнейший рост в истории по многим параметрам) держится только на этом выкупе. Продоложать в таком духе уже невозможно. Об этом уже все высказались вплоть до Пауэла и Йелен.
Это только в случае, если вы уже не девальвировали их. А сейчас ситуация именно в этом, причём об этом говорят уже сами американские экономисты. Необеспеченные обязательства это когда мы запрещаете пенсионным фондам инвестировать во всё кроме особых бумаг, но в погоне за экономическим ростом берёте взаймы и за эти деньги искусственно задираете их цену, и приходите в ситуацию, когда надо постоянно допечатывать по полтора триллиона в год только для того чтобы цена этих активов не обрушилась, и печатаете по экспоненте. Если вы хотя бы на секунду остановитесь, то эти активы упадут до своей настоящей стоимости, и окажется, что люди вкладывались в пенсионные фонды, рассчитывая, что им будет выплачено в следующие годы 50 триллионов, а реальная ценность активов, которые на эти деньги куплены, например пять триллионов, а то и вообще нулевая. Как в прошлый раз с Фани Мэй получилось.
В России такое тоже было, кстати, в 1998-ом году. Только объём необеспеченных обязательств у нас был в разы меньше. Он превосходил всю собственность правительства, но ко всему ВВП страны не приближался даже и близко.
Именно такое мнение я и имел в виду, когда говорил о том, как к парадоксальным результатам людей приводят попытки распространить бытовую интуицию относительно одного экономического агента на большую замкнутую систему.
А вот по данным исследования ЦМАКП-а под руководством Белоусова (брата того Белоусова) загрузка промышленных мощностей в данный момент составляет в среднем 60%. И, например, загрузки судостроительной промышленности планировалась до СВО около 60%, а сейчас начнёт скрести потолок, причём в первую очередь гражданским строительством. И так во многих отраслях.
Как думаете, что полезнее для экономики, опечаленные цифровые номады, которые и до СВО налоги платили в соответствии с нашей прекрасной системой, пониженные, или работающий с полной нагрузкой судостроительный завод?
Не говоря уже о том, что эти 300 тысяч во-первых, не умерли и в экономике ещё будут участвовать, и что более важно пополняются в основном за счёт людей, имевших на гражданке небольшой доход, а теперь они создают платёжеспособный спрос и в условиях общей недофинансированности экономики вызывают её рост. Люди, которые хвалят рейганомику, увеличившую спрос за счёт военных заказов в томи числе, почему-то не готовы понять, что СВО с точки зрения экономического воздействия - то же самое.
P.S. Бытовая интуиция, вырабатывающаяся у отдельного экономического субъекта совершенно непригодна когда речь заходит о функционировании замкнутой экономической системы. Ни одно семья в здравом уме и твёрдой памяти не инвестирует в строительство дорог, но на уровне государства - вложение в инфраструктуру до поры до времени увеличивает экономику в разы. Интуицию в этой области всегда надо логически перепроверять.
Накопительная пенсия хороший инструмент в условиях глобального кризиса эффективности капитала? И этот комент ещё 30 плюсов набрал! Я в ужасе от поколения, которое через некоторое время будет кормить все увеличивающееся количество пенсионеров.
Так на секундочку, по американским же данным необеспеченные обязательства по накоплениям и социальным выплатам в данный момент составляют в сша около 50 триллионов долларов. Это не секундочку три ВВП и почти в два раза больше существующего на данный момент госдолга, растущего по экспоненте. То есть накопительная система уже де факто банкрот, а все накопленные деньги уже истрачены и сгорели. У многих фондов уже даже и формально.
И это не потому что сша чем-то хуже, во всём мире так, это обусловлено тупо текущим состоянием капитализма в мире. Не в ругательном смысле, а в буквальном - отдачи на капитал. Где-то навес необеспеченных обещаний побольше, где-то поменьше.
Всего этого можно не учитывать когда вы говорите о прогнозах на ближайшие пол года, но планировать на десятки лет вперёд и не учитывать этого можно только если вы родили и воспитали троих детей и рассчитываете, что кормить вас в старости будут они.
Я тимлид с 2003-его года. Но при этом примерно половину этого времени работал нормальным линейным разработчиком. Так что сочетать если хочется, то можно, если для тебя лид не карьерный рост и не самоцель, а только способ делать так, чтобы к твоему мнению прислушивались на системной основе.
Впрочем, никого на такой путь не зову. Мне тут и одному тесно и моральная готовность идти на 2/3 вакансий, где ты точно будете тупыми разрабами которым просто говорят что делать.
Ну рутрекере пока не выложили. Ждём-с...
Я тоже свою делал. Проблема в том, что это было в 1994-ом году на турбопаскале и с тех пор я никак не соберусь её восстановить на современном уровне. Но даже если при этом выявится мой тогдашний юношеский максимализм и результаты в реальность будут в два раза хуже, это всё равно означает, что потенциальные возможности метода зубрёжки интервальными повторениями сильно недооценены.
Потому что если посмотреть на ситуацию с этой стороны, то рост анизотропии может свидетельствовать только о том, что Большая часть активаций не задействованы в каждом конкретном случае. А из этого могут следовать большие последствия - значительную часть сети можно не учитывать, а сети в процессе обучения сами стараются привести себя к "сигнальному" состоянию даже если об этом их никто специально не просил.
А можно подробнее про то, как в данном случае считается анизотропия в сигнале, и что более важно, как нормируется сигнал прежде чем её считать. Потому что центрирование на среднее очень контрпродуктивно если для сигнала характерно ненормальное распределение.
Например в AlexNet распределение logit-ов такое, что 3/4 значений меньше нуля, то есть активации ReLU будут в 3/4 случаев просто 0, а в остальных сигнал. Если такой треугольник относительно 0 отцентровать на среднее вы получите 3/4 одинаковых но не нулевых значений. Для других сетей у меня под рукой насчитанных активаций сейчас нет, вот тут можно графики посмотреть: https://t.me/GradientWitnesses/38, https://t.me/GradientWitnesses/39, но этот случай наводит на мысль.
Это может порождать проблемы, характерные для проблемы шкурки многомерного арбуза - в сильно многомерном пространстве обычная наша трехмерная интуиция ведёт к неправильным выводам.
Например: если у вас миллион логитов, матрица 1000x1000 и все они равны 0 и только по одному в каждой размерности равны 1, то эти вектора ортогональны интуитивно, но на сколько испортится картина если их отцентровать как-то? Интуитивно кажется, что не сильно.
Но если мы сделаем от такой матрицы активаций softmax как это делает multihead attention - то получим матрицу активаций в которой все элементы 0.001 кроме одного строки со значениями 0.027. Угол между этими двумя векторами - всего 4 градуса. А если миллион не один, а сто, то угол вообще может потеряться на фоне ошибки округления. Как вы справляетесь с этой проблемой?
Ловите Ветрова, у которого есть грокнутые модели, на простых датасетах, берёте их погонять и прогоняете через свои метрики. Профит.
Я её на матери тестировал, которая тогда вообще английского не знала, просто учила значения слов, встречающихся в компьютерных интерфейсах, так что дело тут не в памяти.
Ну да там были всякие фишечки, например подбор времени появления перевода после демонстрации слова и тому подобное мелочи.
С посылом то понятно, но это аргумент только до тех пор пока количество не переходить в качество. А мест для такого перехода множество, например программа может знать всё слова в тексте которые вы знаете и заменять инапримене знакомые на русские по мере необходимости или того как вы задерживаете взгляд на этом слове и подбирать для вас учебные тексты в которых содержится не более 5% незнакомых слов, например.
Я в своё время написал и использовал программу для выучивания интервальным повторением, дававшую до 50-60 слов запоминания за час. Если вы считаете баловством, возможность выучить весь активный словарный запас за 20 учебных часов, то у меня для вас важная новость - вы хренов полиголот и нам, простым людям, с вами не сравниться.
Вот вы все ржёте, а алгоритмы экстримального сжатия реально существуют. Например почти любой текст можно сжать всего до нескольких бит на слово, и это далеко не первоапрельская шутка.
Просто в наше время уже как-то не принято меряться архиваторами.
https://t.me/vatfor/9193
Чуваки, вашу статью высмеивают серьёзные аналитические тинк-танки на государственном уровне! Мне кажется это успех. :)))))))))))))
Серьёзная проблема, в том, что очевидные и явные признаки хейтспича, манипуляции и пропаганды видны невооружённым взглядом примерно во всех статьях оппозиционных изданий. Я вот прямо сейчас открыл чтобы проверить себя Медузу и да, у половины статей это в заголовках, а остальные чтобы это обнаружить приходится открывать, но по факту примерно 100% сатаей.
Ну и что, вы хотите сказать, что РосКомСвобода станет проверять и публиковать результаты проверки в отношении какой-нибудь медузы?
Тут вообще работает дружная стая товарищей. Если раньше приходили в любую неугодную статью первыми и пытались сбить её на взлёте, то сейчас повадились по старым комментарий охотничьими группами ходить. Ко мне тут наведалась на днях группа сбившая мне карму до нуля через почти неделю после моего последнего комментарий.
Думаю, руководство хабра всё устраивает. Надеюсь, что бесплатно.
Термояд в наше время так себе прогресс. Вот реальный прогресс это малые модульные реакторы, которые де факто умеет в серию строить только Росатом и он же является монополистом на поставку для них топлива, и замкнутый топливный цикл, сами знаете где. Ну и может быть ещё реакторы на расплаве солей, это у китайцев.
Так что к приходу жареного петуха у нас давно и успешно подготовились.
Осмелиться то вы можете, только смелость только не много от смелости толку когда в голове каша из устаревших медийных штампов. Были бы менее смелыми - глядишь мнение было бы поадекватнее.
Именно поэтому байден две недели назад ограничил строительство мощностей по экспорту углеводородов. :)))
В одном-двух местах. Контраст не с Европой, в которой этой зимой министр предлагал переходить на электрическое отопление, потому что оно позволяет отапливать только две комнаты в доме. :)))
300 миллиардов замороженных активов в евроклире и рекордный отток нерезидентов из долгового рынка США не дадут соврать. :)
Бедный китай, как он вообще выживает, учитывая количество введённых ограничений на получение технологий.
Именно поэтому в США логистический кризис, корабли едущие в Европу опплывают Африку, а цена транзита через суец и панаму выросла кратно. Погуглите как-нибудь графики стоимости фрахта. О сколько вас открытий чудных ждет. Например в 2021-ом году когда начался европейский энергитический кризис, за год стоимость фрахта вырасла в 6 раз.
Именно поэтому все страны мира судорожно вкладываются в заводы по производству военной техники, а в Британской армии осталось 4 готовых к бою танка. Не 4 дивизии, а всего 4 исправных танка. Остальное утилизировано.
Можете расслабится, россия за счёт дикого скачка цен на углеводороды ещё в прошлом году получила дополнительной прибыли на сумму большую всех украденых активов.
Детский сад - штаны на лямках. Вы, вообще, в курсе, что при таком курсе сейчас в стране стало бы не рентабильно всё, сложнее добычи нефти. Ну и как бы да, учитывая состояние с инфляцией в остальном мире, о ней бы вообще не вспоминать, как о ферёвке в доме повешанного.
Я вынужден Вас расстроить. Человек на столько на осведомлённый о ситуации в мире и на столько стереотипно, я быв даже сказал религиозно верящий в сильно устаревший набор баек вряд ли может что-то объяснить интеллектуальной элите.
В целом да, и в этом то и проблема. Пока это всё можно было это не было проблемой. Но нас они сами отрезали (за что должны быть представлены к ордену трудового красного знамени), а большинство остальных стран уменьшают свою позицию в американских рынках и долговых бумагах. Оказалось, что сбрасывать з аграницу уже не получается. А наздувать пузыри тоже уже не получается. Приходится ФРС выкупать всю эмиссию, и рекордный рост акций (крупнейший рост в истории по многим параметрам) держится только на этом выкупе. Продоложать в таком духе уже невозможно. Об этом уже все высказались вплоть до Пауэла и Йелен.
Это только в случае, если вы уже не девальвировали их. А сейчас ситуация именно в этом, причём об этом говорят уже сами американские экономисты. Необеспеченные обязательства это когда мы запрещаете пенсионным фондам инвестировать во всё кроме особых бумаг, но в погоне за экономическим ростом берёте взаймы и за эти деньги искусственно задираете их цену, и приходите в ситуацию, когда надо постоянно допечатывать по полтора триллиона в год только для того чтобы цена этих активов не обрушилась, и печатаете по экспоненте. Если вы хотя бы на секунду остановитесь, то эти активы упадут до своей настоящей стоимости, и окажется, что люди вкладывались в пенсионные фонды, рассчитывая, что им будет выплачено в следующие годы 50 триллионов, а реальная ценность активов, которые на эти деньги куплены, например пять триллионов, а то и вообще нулевая. Как в прошлый раз с Фани Мэй получилось.
В России такое тоже было, кстати, в 1998-ом году. Только объём необеспеченных обязательств у нас был в разы меньше. Он превосходил всю собственность правительства, но ко всему ВВП страны не приближался даже и близко.
Именно такое мнение я и имел в виду, когда говорил о том, как к парадоксальным результатам людей приводят попытки распространить бытовую интуицию относительно одного экономического агента на большую замкнутую систему.
А вот по данным исследования ЦМАКП-а под руководством Белоусова (брата того Белоусова) загрузка промышленных мощностей в данный момент составляет в среднем 60%. И, например, загрузки судостроительной промышленности планировалась до СВО около 60%, а сейчас начнёт скрести потолок, причём в первую очередь гражданским строительством. И так во многих отраслях.
Как думаете, что полезнее для экономики, опечаленные цифровые номады, которые и до СВО налоги платили в соответствии с нашей прекрасной системой, пониженные, или работающий с полной нагрузкой судостроительный завод?
Не говоря уже о том, что эти 300 тысяч во-первых, не умерли и в экономике ещё будут участвовать, и что более важно пополняются в основном за счёт людей, имевших на гражданке небольшой доход, а теперь они создают платёжеспособный спрос и в условиях общей недофинансированности экономики вызывают её рост. Люди, которые хвалят рейганомику, увеличившую спрос за счёт военных заказов в томи числе, почему-то не готовы понять, что СВО с точки зрения экономического воздействия - то же самое.
P.S. Бытовая интуиция, вырабатывающаяся у отдельного экономического субъекта совершенно непригодна когда речь заходит о функционировании замкнутой экономической системы. Ни одно семья в здравом уме и твёрдой памяти не инвестирует в строительство дорог, но на уровне государства - вложение в инфраструктуру до поры до времени увеличивает экономику в разы. Интуицию в этой области всегда надо логически перепроверять.
Накопительная пенсия хороший инструмент в условиях глобального кризиса эффективности капитала?
И этот комент ещё 30 плюсов набрал! Я в ужасе от поколения, которое через некоторое время будет кормить все увеличивающееся количество пенсионеров.
Так на секундочку, по американским же данным необеспеченные обязательства по накоплениям и социальным выплатам в данный момент составляют в сша около 50 триллионов долларов. Это не секундочку три ВВП и почти в два раза больше существующего на данный момент госдолга, растущего по экспоненте. То есть накопительная система уже де факто банкрот, а все накопленные деньги уже истрачены и сгорели. У многих фондов уже даже и формально.
И это не потому что сша чем-то хуже, во всём мире так, это обусловлено тупо текущим состоянием капитализма в мире. Не в ругательном смысле, а в буквальном - отдачи на капитал. Где-то навес необеспеченных обещаний побольше, где-то поменьше.
Всего этого можно не учитывать когда вы говорите о прогнозах на ближайшие пол года, но планировать на десятки лет вперёд и не учитывать этого можно только если вы родили и воспитали троих детей и рассчитываете, что кормить вас в старости будут они.
Я тимлид с 2003-его года. Но при этом примерно половину этого времени работал нормальным линейным разработчиком. Так что сочетать если хочется, то можно, если для тебя лид не карьерный рост и не самоцель, а только способ делать так, чтобы к твоему мнению прислушивались на системной основе.
Впрочем, никого на такой путь не зову. Мне тут и одному тесно и моральная готовность идти на 2/3 вакансий, где ты точно будете тупыми разрабами которым просто говорят что делать.