Pull to refresh
38
0
Send message
В статье перечислены только «монстры индустрии», работать с которыми сложно без подготовки, но пропущены стартапы, которые ориентированы на ту же аудиторию и решаемые проблемы, но через UI (а не API) и без привлечения специалиста в лице ГИС-аналитика, например Aspectum (кстати стартап из Украины).

С точки зрения компании-консалта, в которой работает автор, описанный в статье набор источников данных и инструментов разумный и правильный, с точки зрения финального бизнеса — проще и дешевле, если можно обойтись и без услуг специализированных компаний-консалтов.
Спасибо за статью, самому в юности нравилась задача написания солвера для Сокобана. Подскажите, приходилось ли решать обратную задачу: построение уровней для игры, с неким критерием оптимальности, например:
  • максимальное число шагов оптимального решения при минимальном размере поля
  • максимального различия (разнообразия) генерируемых уровней
  • максимальной длины решения при минимальном числе ящиков на поле
  • и т.д.

Понятно, что критерии слабо формализованы, но суть их сводится к генерации «интересных и разнообразных» уровней. Есть ли общепринятые подходы к задачам генерации уровней для подобных головоломок?
У рассмотренной в статье библиотеки есть практически полный аналог: PyCaret, MaxRokatansky публиковал статью о нем на хабре: Представляем PyCaret: открытую low-code библиотеку машинного обучения на Python, ссылка на нее была бы уместна и в этой статье тоже, как аналога и для сравнения.
Формально «примитивная системана базе коллаборативной фильтрации» это уже Data Science и если немного обросить «налет элитарности» то большая часть Data Science своидится в реальнойсти к запуску одного из готовых алгоритмов scikit learn на базе того датасета, который есть у клиента. Может быть датасет чуть подчистить и/или параметры чуть подобрать. Обычно это все ;)
дата сайнтисты увеличили конверсию сайта обувного магазина на 16%

Более информативно было бы узнать, сколько заказчик потратил на дата сайнтистов денег, были ли это однократные траты или теперь это постоянна статья расходов в его бюджете и на сколько увеличилась его прибыль в результате этого (не путать с доходом), чтобы как следствие вывести ROI средств вложенных в Data Science компанией и оценить эффективность этих вложений?

Советы интернет-магазинам
1. Анализируйте данные, даже если вы маленький интернет-магазин.

Как следствие можно было бы понять начиная с какого размера интернет-магазина (прибыли) становится экономически целесообразным применение аналитики (найм аналитика или дата сайнтиста), если ожидаемый прирост прибыли оценивается в 16% (по вашим данным) от такого внедрения?
Все абсолютно закономерно. В 1990-х и в начале 2000-х в IT не платили бешеных денег. Не было нормального интернета, не было аутсерса, не было аутстафа, ничего не было. З/п программиста была не выше средней по региону. Смысл заниматься этой деятельностью был только, если к этому «душа лежала».

Пришли 2005+ (я условно), появился хороший и дешевый интернет, первый фриланс, первый аутсерс. Западные зарплаты и западные деньги начали двигать зарплаты местных программистов вверх… все ближе к зарплатам западных разработчиков. IT стало прибыльным. В отрасль потянулись люди за «длинным рублем». Они очень сильно разбавили «энтузиастов», которые все еще есть (профессия достаточно сложная), но процент их заметно меньше.

Но это же нормально. Это же реализация базового закона экономики спроса и предложения. Сожалея о «ламповых 90-х», когда в профессии были только энтузиасты, вспоминайте и про зарплаты в те годы, про то, какой социальный статус был у программиста (бегает тут эникейщик по офису, чего без дела слоняешься — иди картридж поменяй, ты-ж-программист). Вспоминайте все, не только выборочно.
Отдельная комната с дверью. Причем детей можно воспитывать так же как и жену: на момент нашего знакомства я уже работал удаленно, поэтому с самого начала жена приучена к «дверь закрыта — я работаю». С детьми так же — «дверь закрыта, папа работает», если приучать с самого начала — это просто норма, с которой дети взрослеют. Они именно так начинают представлять себе работу взрослых.
Из текста следует, что люди, применили самый что ни на есть распространенный прием и свели решение одной задачи к другой (это очень часто делается, есть много теорем доказывающих приводимость многих задач из класса NP друг к другу и решение одной решает множество приводимых к ней). Конкретно в этом случае свели доказательство гипотезы для 7 измерений к решению самой что ни на есть известной NP-трудной задаче теории графов — поиску клики (полностью связного подграфа). Конкретно в этом случае задача решалась не на произвольном графе, а не специфическом, который получался конкретно в этой ситуации (т.е. решение задачи о поиске клики рамером 128 вершин не масштабируется для графов поизвольного вида, они решили ее для одного конкретного графа, обладающего симметрией, как еще одним условием видимо в достаточно обычном методе «ветвей и границ» при переборе всех подграфов. Вроде бы все.

Итого, никакой магии а вполне обычные приемы:
1. Приведение одной задачи задачи к другой
2. Поиск клики в специальном графе (не общего вида а частном случае)
3. Ниличие конкретно в этом частном случае допоплнительных условий позволивших ограничить дерево поиска (видимо) в решении полностью аналогичном методу «ветвей и границ» который часто применяется для поиска клик в графе.

Наверное самое ценное во всем этом результате — это то, что они свели задачу к одной из известных (поиску клики), наличие дополнительных условий ограничивающих дерево поиска достаточно очевидно а уж размышлизмы о размености пространства поиска (2^39 000) вообще попахивает «журналисты изнасиловали ученого» (для оптимизационных задач глупо указывать эти цифры, там в большинстве случаев речь идет о факториалах или показательных функциях)
Умом понимаю, что напряженность магнитного поля падает пропорционально квадрату расстояния до устройства считывания, но давно была мечта сделать такую RFID карту, чтобы она лежала в рюкзаке (или кармане) и когда подходишь к двери не надо было ничего доставать, она бы срабатывала с расстояния в пол метра — метр. Подошел бы даже вариант намотать антенну на рюкзак или в виде волокон на футболке (сделать ее большого размера), лишь бы каждый раз карту не доставать, возможно такое хоть теоретически или физика не позволяет сделать метку срабатывающую с расстояния в пол метра — метр (мечта так и останется мечтой)?
Сейчас в условной «глубинке» (не только нашей глубинке, но и в стране без хорошего доступа к образованию), просто нет местного «Гарварда». Никакого. И часто нет возможности до хорошего образования добраться. Онлайн курсы — не будут легкими для такой «глубинки», мало кто их осилит, но «попробуют миллионы, 10-ки тысяч смогут закончить и получить знания». И пока да, ничем кроме падения зарплат это не светит на вид…
Американец говорит — я итак зарабатываю свои 20К в месяц, мне хватает на все. Мне нужно не больше работать. А больше свободного времени на лодочке покататься и чтобы weekend начинался в пятницу сразу после обеда.

Это единственная причина по которой в США в этих отраслях нет движения в сторону монополизации рынка? Ведь стоматологии могут становиться «сетевыми», крупные перевозчики могут поглощать мелких. Судя по статье, этого не происходит. Состояние с большим количеством мелких участников является стабильным. А значит есть какие-то факторы, которые сдерживают монополизацию. Создается впечатление что у нас этих факторов нет. Поэтому особенно интересно — какие это факторы?
PyCaret производит впечатление прекрасного средства прототипирования в Data Science, но к сожалению в статье пропущены многие блоки кода из оригинальной статьи (https://towardsdatascience.com/announcing-pycaret-an-open-source-low-code-machine-learning-library-in-python-4a1f1aad8d46) которые очень удобно просто скопипастить в ноутбук в процессе ознакомления.
если вы даже приблизительно прикините, где проходят эти кривые для Италии, то выясните, что смертность подскочила как минимум в два раза в среднем по стране.

Если у вас есть ссылка на такой график — поделитесь. Сейчас известно что базовая смертность в Италии, примерно 1580 человек в день (данные WorldStat). Известно что от короновируса «записывают» 900 человек в день, но сколько всего людей умирает в Италии в день — нигде не публикуется (мне нигде не встречалось). Объективные данные пока найти не удается, хотя с вашей методикой оценки реального ущерба от короновируса я согласен и стоит добавить, что это временный фактор.
Компания не RevJet случайно?
Я всегда работал в высшей школе и слабо знаком с реалиями ПТУ, это был «образ» специального образования (коледж, училище, it-курсы). По вопросам озвученным в статье я успел высказаться 6 лет назад: ВУЗ для IT специалиста: взгляд изнутри. Перечитал, в целом мнение не изменилось, скорее углубилось и дополнилось деталями за прошедшее время.
Мне очень понравился комментарий AlexLeonov с общей мыслью о том, что те практические навыки, приобретение которых описывает автор в статье безусловно важны и нужны на практике, но это должно преподаваться на уровне колледжей/ПТУ/училищ. Этот уровень образования призван обучать практическим навыкам необходимым в прикладной работе, а умение пользоваться git, trello, писать «чистый код» и полноценно использовать IDE — это именно прикладные навыки.

Задача высшего образования мне видится в том, чтобы давать фундаментальные знания. Было правильно подмечено, что за время обучения некоторые языки программирования и фреймворки успеют родиться и умереть, точно так же правильно подмечено что преподаватели просто физически не смогут переписывать комплект документов на дисциплину пытаясь успеть за изменениями в прикладных аспектах специальности.

За время моей работы в IT (20 лет) и время работы в университете (14 лет):
— Сменились системы контроля версий: регулярное архивирование проекта (не смейтесь в 1998 это выглядело так), subversion, mercurial, git. Но изменилось ли что-то в том зачем используется система контроля версий, какова ее роль на проекте? Изменилась, но не настолько сильно. Сейчас кажется что «git — это навсегда»… Готов согласиться что практика сейчас может и должна быть на примере git, но лекция должна выходить за приделы конкретной реализации и рассказывать о системе контроля версий и ее роли в целом
— Сменились project management systesm: от писем в почте (да, в XX веке это были просто emails), до RedMine, Jira, etc. Так ли поменялась роль PMS в разработке ПО?
— Сменилось множество языков программирования. У нас на кафедре например базовым считается язык С++. Да, я прекрасно знаю его достоинства и недостатки, я бы взял базовым Java, но это не так важно. На примере C++ можно показать работу с памятью, ООП, создание иерархии классов, проектирование интерфейса? Можно. Так ли важно чтобы это была Scala или Kotlin? Думаю не на столько. Может оказаться что студент будет вообще на Python работать…
— Сменилось множество операционных систем. Но общие принципы работы и организации операционной системы изменились не сильно. Достаточно ли будет сказать что «демоны» в Linux это аналог «сервисов» в Windows? Наоборот, стоит именно так и сказать чтобы было обобщенное знание, а не знание частностей.

Некоторые вещи которые стоит оставить за высшим образованием:
— Проектирование архитектуры проекта/кода
— Проектирование хранилища данных (специально не пишу БД, но даже в рамках БД осветить NoSQL, OLAP/OLTP, на примере каких-то современных реализаций, но именно общая логика на примере реализации а не реализация какой-то БД как самоцель)
— Паттерны проектирования
— Вопросы многопоточности (гонки, дедлоки, атоманые операции, семафоры, мьютексы и т.д.) — так ли важно на примере какого именно языка программирования это показывать? Фактически это все похоже во всех языках которые реализуют многопоточность
— Функциональное программирование как парадигма программирования (способ думать). На примере какой реализации — можно выбрать, вопрос же не в реализации а в способе мышления.
и т.д.

Мне, как преподавателю, видится что ценность высшего образования именно в том, чтобы дать понимание причинно-следственных связей (почему сформировались такие подходы а не другие, какие проблемы они решают), понимание что любой инструмент, метод или концепция имеют границы применимости (чтобы студенты могли для себя отвечать на вопрос о разумном выборе и границах применимости технологий и инструментов которые им встретятся), в последовательности изложения (потому что чтение статей и курсы часто дают фрагментарные знания с пропусками, а пропуски в знаниях сильно мешают осваивать более сложные знания), умение мыслить абстрактными концепциями (потому что главная разница между специальным и высшим образованием — в уровне рассматриваемых абстракций: сравните сложение/вычитание/умножение в школе, логарифмы/синусы/косинусы в училище и многомерные пространства/гамма функции/операции над операциями что есть предмет настоящей высшей математики).

А теперь с небес на землю:
— Да, есть проблема с так называемой «не лекционной нагрузкой» (как избыточные требования по методическому обеспечению, так и требования по научной работе, которую «нужно выдать на гора», но реально наукой никто не занимается, да и слабо я себе представляю науку «между парами» в исполнении отдельных людей а не коллективов, без заказа со стороны бизнеса/государства и понимания цели (кроме обычной — публикация в цитируемых и индексируемых журналах).
— Есть очень большая проблема в разном начальном уровне студентов (из простых школ, из сел и из гимназий)
— Есть огромная проблема с мотивацией (я вообще считаю что лучше если студент вначале поработает, поймет зачем ему это образование и посмотрит что ему на практике нужно, прежде чем идти в ВУЗ)
— Проблема в том, что ВУЗ у нас сразу после школы (а не после ПТУ/училища, которые могли бы взять на себя подготовку именно прикладной составляющей), поэтому ВУЗ пытается решить две проблемы сразу: дать прикладные и фундаментальные знания одновременно
— Проблема того, что если для других специальностей работа в ВУЗе хорошая альтернатива тому что светит лекторам в остальной экономике, то именно IT — экспортная специальность, а зарплаты преподавателей строятся исходя из местного уровня оплаты а не из международных расценок (но могу сказать что особо большие специалисты в ВУЗе и не нужны потому что не настолько высокие материи там рассматриваются именно в аспекте обучения студентов, «высокие материи» характерны тем немногим кто пытается заниматься «настоящей» мировой наукой, но таких единицы)
— Вопрос обучения прикладным навыкам разнообразные курсы прекрасно закрывают. Их недостаток малом КПД (проценте тех, кто реально трудоустроился) и в отсутствии фундаментальных знаний, но от ПТУ это и не требуется

И в конце: хорошо видеть направления для изменения к лучшему, без этого невозможно ВУЗам становиться лучше, но нужно понимать что текущее состояние это не результат чьего-то злого умысла, а скорее проявление негласного общественного договора (во всех аспектах жизни) результирующая которого и наблюдается нами как «состояние дел в высшем образовании в целом и обучении IT в частности»
Наверное это слишком энергозатратно. При прокладке тонелей и так используют взрывы (достаточно большие энергии) и они далеки до тех чтобы «проплавить» дыру диаметром несколько метров. Какие у нас сейчас источники энергии? Углеводороды/ядерные электростанции. Сколько нужно сжечь тон условного топлива чтобы расплавить 1м^3 породы? Сколько породы в 1 км тонеля диаметром 3 метра (например). Потому и не плавят, что энергиями такими не оперируем, я так думаю.
Просто еще один промо материал в поддержку очередной схемы «Pump & Dump» (Конференция DEFCON 17: Украсть прибыль у ...). В статье по ссылке описывается работа на бирже, но общая схема сохраняется.
Статья обращена к эмоциям, описываются личные переживания от первого лица, чтобы вовлечь читателя, затронуть его чувства. Очень мало или вообще нет конкретики, статистики, обоснованно предложенного решения проблемы (если такая проблема существует).

Характеристика выше больше смахивает на статью в женском журнале или попытку маркетологов аппелировать к чувствам, нежели на статью для технического портала.

Может добавить опросник является ли для вас одиночество проблемой? Может оказаться, что проблемы-то для поголовного большинства читателей и нет!
Где же плеяда китайских производителей, желающая получить свою маленькую «сверхприбыль» с такого дешевого в производстве, но дорогого при продаже устройства? Все что можно напечатать на 3D принтере самому, могут сделать в Китае еще дешевле, это же не единичное устройство, а массовое лекарство!

Information

Rating
Does not participate
Registered
Activity