Pull to refresh
111
0
Victor Shcherb @vics001

Разработчик OsmAnd

Send message

Присматриваемся к Kafka tiered storage

Level of difficulty Medium
Reading time 31 min
Views 4.4K

Добрый день, уважаемые ИТ-ники. На связи Михаил Голованов.

В этом сезоне нашего Kafka шоу В статье я расскажу о реализации tiered storage в Apache Kafka.

Теория будет перемежаться практикой и найденными граблями.

Читать далее
Total votes 3: ↑3 and ↓0 +3
Comments 5

Задачи для лунной базы

Reading time 7 min
Views 30K
В предыдущем материале мы рассказали о том, как NASA собирается строить станцию Gateway на орбите Луны, и какие функции она сможет выполнять. В рамках программы Artemis пока что рассматриваются только высадки на поверхность, но в глобальном смысле следующим логичным шагом должно будет стать строительство лунной базы. Здесь мы разберемся, какие задачи она позволит решить, как может строиться и какую пользу приносить.


Лунная база в представлении художника Европейского космического агентства
Читать дальше →
Total votes 75: ↑75 and ↓0 +75
Comments 104

Архитектуры нейросетей

Reading time 12 min
Views 62K
Перевод Neural Network Architectures

Алгоритмы глубоких нейросетей сегодня обрели большую популярность, которая во многом обеспечивается продуманностью архитектур. Давайте рассмотрим историю их развития за последние несколько лет. Если вас интересует более глубокий анализ, обратитесь к этой работе.


Сравнение популярных архитектур по Top-1 one-crop-точности и количеству операций, необходимых для одного прямого прохода. Подробнее здесь.
Читать дальше →
Total votes 30: ↑28 and ↓2 +26
Comments 7

Квантовая телепортация на языке Q#

Reading time 9 min
Views 12K
Скажу сразу: как бы мне этого ни хотелось, квантовая телепортация не позволит перенести мою бабушку из деревни в мою квартиру. Бабуля знает, что мне нравятся всякие квантовые штуки, и решила вместо денег и носков отправить мне на день рождения квантовое состояние. Здесь мы поговорим о другом — передаче квантовой информации.

Это вторая статья из серии о квантовом программировании. Предполагается, что читатель уже знаком с первой частью.

Читать дальше →
Total votes 16: ↑15 and ↓1 +14
Comments 14

Глубинное обучение с подкреплением пока не работает

Reading time 33 min
Views 30K
Об авторе. Алекс Ирпан — разработчик из группы Brain Robotics в Google, до этого работал в лаборатории Berkeley Artificial Intelligence Research (BAIR).

Здесь в основном цитируются статьи из Беркли, Google Brain, DeepMind и OpenAI за последние несколько лет, потому что их работы наиболее заметны с моей точки зрения. Почти наверняка я что-то упустил из более старой литературы и от других организаций, так что прошу прощения — я всего лишь один человек, в конце концов.


Введение


Однажды в Facebook я заявил следующее.
Когда кто-то спрашивает, может ли обучение с подкреплением (RL) решить их проблему, я сразу отвечаю, что не может. Думаю, что это верно как минимум в 70% случаев.
Глубинное обучение с подкреплением сопровождается массой шумихи. И на то есть хорошие причины! Обучение с подкреплением (RL) — невероятно общая парадигма. В принципе, надёжная и высокопроизводительная система RL должна быть прекрасна во всём. Слияние этой парадигмы с эмпирической силой глубинного обучения очевидно само по себе. Глубинное RL — это то, что больше всего похоже на сильный ИИ, и это своего рода мечта, которая подпитывает миллиарды долларов финансирования.

К сожалению, в реальности эта штука пока не работает.

Но я верю, что она выстрелит. Если бы не верил, то не варился бы в этой теме. Но впереди куча проблем, многие из которых фундаментально сложны. Прекрасные демки обученных агентов скрывают всю кровь, пот и слёзы, что пролились в процессе их создания.
Читать дальше →
Total votes 59: ↑59 and ↓0 +59
Comments 34

Квантовые вычисления: отжиг с выключателями и прочее веселье

Reading time 11 min
Views 19K
В предыдущей статье мы начали рассказ о квантовых вычислениях и сравнили их с обычными. Сегодня мы погрузимся глубже в их технические особенности и расскажем, как это используется на благо человечества.


Читать дальше →
Total votes 24: ↑24 and ↓0 +24
Comments 17

Взлом Bitcoin по телевизору: обфускуй, не обфускуй, все равно получим QR

Reading time 13 min
Views 47K

История про то, как секретный ключ для Bitcoin’a в виде QR-кода восстановили из размазанной картинки


image

Мы могли бы просто назвать этот пост «Насколько хорош QR-код и как мы его восстановили практически из ничего». Но гораздо интереснее, когда QR-код является ключом к кошельку на сумму $1000 в битках.
Total votes 126: ↑122 and ↓4 +118
Comments 29

Доступно о криптографии на эллиптических кривых

Reading time 37 min
Views 240K
image


Тем, кто знаком с криптографией с открытым ключом, наверно известны аббревиатуры ECC, ECDH и ECDSA. Первая — это сокращение от Elliptic Curve Cryptography (криптография на эллиптических кривых), остальные — это названия основанных на ней алгоритмов.

Сегодня криптосистемы на эллиптических кривых используются в TLS, PGP и SSH, важнейших технологиях, на которых базируются современный веб и мир ИТ. Я уже не говорю о Bitcoin и других криптовалютах.

До того, как ECC стала популярной, почти все алгоритмы с открытым ключом основывались на RSA, DSA и DH, альтернативных криптосистемах на основе модулярной арифметики. RSA и компания по-прежнему популярны, и часто используются вместе с ECC. Однако несмотря на то, что магия, лежащая в фундаменте RSA и подобных ей алгоритмов легко объяснима и понятна многим, а грубые реализации пишутся довольно просто, основы ECC всё ещё являются для большинства людей загадкой.

В этой серии статей я познакомлю вас с основами мира криптографии на эллиптических кривых. Моя цель — не создание полного и подробного руководства по ECC (в Интернете полно информации по этой теме), а простой обзор ECC и объяснение того, почему её считают безопасной. Я не буду тратить время на долгие математические доказательства или скучные подробности реализации. Также я представлю полезные примеры с визуальными интерактивными инструментами и скриптами.
Читать дальше →
Total votes 127: ↑125 and ↓2 +123
Comments 72

Секвенирование ДНК в домашних условиях: как на коленке собрать прибор за 10 миллионов

Reading time 9 min
Views 150K
Всем привет, меня зовут Александр Соколов, и я хочу рассказать, как сделал дома секвенатор – прибор для расшифровки ДНК. Рыночная цена такого прибора составляет около 10 миллионов рублей.

image
Читать дальше →
Total votes 265: ↑263 and ↓2 +261
Comments 190

Создание шейдеров

Reading time 27 min
Views 187K
Освоить создание графических шейдеров — это значит взять под свой контроль всю мощь видепроцессора с его тысячами параллельно работающих ядер. При таком способе программирования требуется другой образ мышления, но раскрытие его потенциала стоит потраченных усилий.

Практически в любой современной графической симуляции используется код, написанный для видеопроцессора: от реалистичных эффектов освещения в высокотехнологичных AAA-играх до двухмерных эффектов постпроцессинга и симуляции жидкостей.


Сцена из Minecraft, до и после добавления нескольких шейдеров.

Задача этого туториала


Иногда программирование шейдеров представляется загадочной чёрной магией и его часто понимают неправильно. Существует множество примеров кода, демонстрирующих создание невероятных эффектов, но в которых практически нет объяснений. В своём руководстве я хочу восполнить этот пробел. Я сосредоточусь в основном на базовых принципах создания и понимания кода шейдеров, чтобы вы смогли с лёгкостью настраивать, сочетать или писать свои собственные шейдеры с нуля!
Total votes 105: ↑105 and ↓0 +105
Comments 27

День разнообразия экогаджетов

Reading time 6 min
Views 9K


12 мая в России отмечают День экологического образования. Основная цель праздника — продвижение идей защиты окружающей среды. Поэтому сегодня речь не пойдет об устройствах с корпусом из переработанной пластмассы, бамбука или травы — практически каждый производитель гаджетов в свое время выпускал «экоориентированный» продукт, но реальной пользы от подобных демаршей в сторону «зеленых технологий» немного.

Кроме обычных продуктов с приставкой «эко» (экофлешки и другие чудесные технологии), и очевидных решений в области «зеленой» энергетики (каждый второй экогаджет хочет использовать солнечную энергию), остается еще целый ряд интересных устройств, которые действительно могут научить более вдумчивому подходу к технологиям.
Читать дальше →
Total votes 27: ↑23 and ↓4 +19
Comments 21

Байесовские многорукие бандиты против A/B тестов

Reading time 20 min
Views 62K

Здравствуйте, коллеги. Рассмотрим обычный онлайн-эксперимент в некоторой компании «Усы и когти». У неё есть веб-сайт, на котором есть красная кнопка в форме прямоугольника с закругленными краями. Если пользователь нажимает на эту кнопку, то где-то в мире мурлычет от радости один котенок. Задача компании — максимизация мурлыкания. Также есть отдел маркетинга, который усердно исследует формы кнопок и то, как они влияют на конверсию показов в клико-мурлыкания. Потратив почти весь бюджет компании на уникальные исследования, отдел маркетинга разделился на четыре противоборствующие группировоки. У каждой группировки есть своя гениальная идея того, как должна выглядеть кнопка. В целом никто не против формы кнопки, но красный цвет раздражает всех маркетологов, и в итоге было предложено четыре альтернативных варианта. На самом деле, даже не так важно, какие именно это варианты, нас интересует тот вариант, который максимизирует мурлыкания. Маркетинг предлагает провести A/B/n-тест, но мы не согласны: и так на эти сомнительные исследования спущено денег немерено. Попробуем осчастливить как можно больше котят и сэкономить на трафике. Для оптимизации трафика, пущенного на тесты, мы будем использовать шайку многоруких байесовских бандитов (bayesian multi-armed bandits). Вперед.

Читать дальше →
Total votes 67: ↑65 and ↓2 +63
Comments 50

Есть две функции

Reading time 16 min
Views 53K
Привет

Есть две булевы функции n аргументов, одна — константная, другая — сбалансированная. На какую сам сядешь, на какую фронтендера посадишь? Вот только функции неизвестны, а вызвать их разрешается лишь один раз.

Если не знаешь, как решить подобную задачу, добро пожаловать под кат. Там я расскажу про квантовые алгоритмы и покажу как их эмулировать на самом народном языке — на Python.
Hello darkness, my old friend
Total votes 121: ↑115 and ↓6 +109
Comments 61

Статьи, лежащие в основе подхода Facebook к компьютерному зрению

Reading time 8 min
Views 14K
Знаете такую компанию — Facebook? Да-да, ту самую, у сайта которой 1,6 миллиардов пользователей. И если взять все посты-поздравления с днем рождения, ваши позорные детские фотографии (у меня они такие), того дальнего родственника, лайкающего каждый ваш статус, — и вот вам множество данных для анализа.

С точки зрения анализа изображений Facebook весьма далеко продвинулся со сверточными нейронными сетями (Convolutional Neural Network, CNN). В августе подразделение Facebook по исследованиям в области искусственного интеллекта (Facebook AI Research, сокращенно FAIR) опубликовала блог-пост об алгоритмах компьютерного зрения, которые лежат в основе некоторых их алгоритмов сегментации изображений. В этом посте мы кратко изложим и разъясним три статьи, на которые ссылается этот блог.


Читать дальше →
Total votes 22: ↑20 and ↓2 +18
Comments 0

Логика сознания. Часть 9. Искусственные нейронные сети и миниколонки реальной коры

Reading time 26 min
Views 53K
Приходит ветеринар к терапевту. Терапевт: — На что жалуетесь? Ветеринар: — Нет, ну так каждый может!

Искусственные нейронные сети способны обучаться. Воспринимая множество примеров, они могут самостоятельно находить в данных закономерности и выделять скрытые в них признаки. Искусственные нейронные сети во многих задачах показывают очень неплохие результаты. Закономерный вопрос — насколько нейронные сети похожи на реальный мозг? Ответ на этот вопрос важен главным образом для того, чтобы понять, можно ли, развивая идеологию искусственных нейронных сетей, добиться того же, на что способен человеческий мозг? Важно понять, носят ли различия косметический или идеологический характер.

Как это ни удивительно, но очень похоже, что реальный мозг противоречит всем базовым принципам искусственных нейронных сетей. Это вдвойне удивительно, учитывая, что изначально искусственные нейронные сети создавались как попытка воспроизвести именно биологические механизмы. Но в том и коварство подобных ситуаций. Очень часто то, что на первый взгляд выглядит правдоподобно, на поверку оказывается полной противоположностью того, что есть на самом деле.
Читать дальше →
Total votes 39: ↑38 and ↓1 +37
Comments 77

Синтез изображений с помощью глубоких нейросетей. Лекция в Яндексе

Reading time 15 min
Views 48K
Пусть в блоге Яндекса на Хабрахабре эта неделя пройдет под знаком нейронных сетей. Как мы видим, нейросети сейчас начинают использоваться в очень многих областях, включая поиск. Кажется, что «модно» искать для них новые сферы применения, а в тех сферах, где они работают уже какое-то время, процессы не такие интересные.

Однако события в мире синтеза визуальных образов доказывают обратное. Да, компании еще несколько лет назад начали использовать нейросети для операций с изображениями — но это был не конец пути, а его начало. Недавно руководитель группы компьютерного зрения «Сколтеха» и большой друг Яндекса и ШАДа Виктор Лемпицкий рассказал о нескольких новых способах применения сетей к изображениям. Поскольку сегодняшняя лекция — про картинки, то она очень наглядная.


Под катом — расшифровка и большинство слайдов.

Total votes 87: ↑84 and ↓3 +81
Comments 10

Как правильно заказать и продвинуть мобильное приложение: дайджест полезных материалов

Reading time 3 min
Views 14K
image

В последние годы развитие мобильных технологий привело к тому, что самые разные компании обзавелись мобильным приложением или решились-таки на его разработку. Однако тема «мобайла» все еще относительно нова, а значит остается еще множество вопросов, которые уже почти не возникают в случае заказной веб-разработки, например — сколько стоит мобильное приложение, как выбирать разработчиков, на что обращать внимание, как продвигать приложение и так далее.

Я решил собрать дайджест полезных материалов, которые позволят ответить на эти вопросы и избежать распространенных ошибок, а значит — получить хороший результат за разумные деньги.
Читать дальше →
Total votes 21: ↑18 and ↓3 +15
Comments 1

Гормоны, часть первая: андрогены

Reading time 9 min
Views 81K
Благодаря своему воздействию на настроение и поведение человека, нейромедиаторы и их стимуляторы пользуются большой популярностью. А вот гормоны такой славы пока не удостоились — хотя заслуживают её не меньше. «Атлас» решил исправить ситуацию и рассказать, как гормоны влияют на каждого из нас — и порой неожиданным образом.


Читать дальше →
Total votes 25: ↑22 and ↓3 +19
Comments 39

Нейромедиаторы, часть вторая: аденозин, ацетилхолин, глутамат и гамма-аминомасляная кислота

Reading time 6 min
Views 151K
Первую часть рассказа о нейромедиаторах «Атлас» посвятил молодежным дофамину, норадреналину и серотонину. Во втором посте речь пойдет о менее известных медиаторах, которые выполняют важную невидимую работу: стимулируют и тормозят другие нейромедиаторы, помогают нам учиться и запоминать.


Читать дальше →
Total votes 47: ↑47 and ↓0 +47
Comments 31

Нейромедиаторы, часть первая: дофамин, норадреналин, серотонин

Reading time 7 min
Views 293K
Нейромедиаторы — это праздник, который всегда с тобой. Мы постоянно слышим о том, что именно они дарят чувства радости и удовольствия, но мало знаем о том, как они работают. В первой части небольшого образовательного курса «Атлас» рассказывает о трех самых известных нейромедиаторах, без которых наша жизнь была бы просто отвратительной.



Читать дальше →
Total votes 43: ↑42 and ↓1 +41
Comments 79

Information

Rating
5,075-th
Location
Антильские о-ва
Date of birth
Registered
Activity