А «очень интересные» логические задачки на собеседовании? На сколько они имеют смысл?
Есть места где можно посмотреть и задачки и решения. В том числе здесь, на хабре, периодически выходят посты с вариантами. Тогда зачем это всё?
Вот допустим я разработчик с большим востребованным опытом, фейлю всю пачку таких задачек. Что потом?
Да, автор не указал что там конкурсный отбор. И проходят совсем не те, кто набрал этот самый минимум в 65 баллов. Даже в регионы по 489 визе. Правда ситуация стала такой в последние года 2, как я понимаю. У него друзья могли переезжать раньше.
У меня есть пара моментов:
1. А не подскажите, для каких целей(кроме повышения эрудиции) дата инженеру нужны линейная алгебра и дискретная математика?
2. Вы писали: Темы связанные с построением хранилищ данных, ETL, OLAP-кубов сильно зависят от инструментов, поэтому в этом документе не даю ссылок на курсы.
Не совсем. Инструменты реализуют универсальные подходы построения DWH, которые уже давно были сформулированы. На эту тему можно почитать Ральфа Кимбола. Однако, на сколько я знаю, его на русском нет.
И спасибо за материал, добавил в закладки. Надеюсь когда-нибудь дойдут руки.
На мой взгляд формуле Дрейка не хватает ещё одного коэффициента. Не только планеты должны находиться в зоне пригодной для существования жизни. Но и звёзды должны находится довольно далеко от эпицентров какой-либо звёздной активности. И довольно длительное время пока жизнь не появится и не станет разумной. Сверхновые и радиоактивные джеты запросто стерилизуют планеты.
Спасибо за освещение. Я перепроверил себя, понял что можно улучшить и решил вас дополнить со своим опытом.
К сожалению нет прав комментировать предыдущий пост. Я дополню с тем, что я делал на уровне ОС. Часть обязательна при подготовке к инсталляции, а часть ориентирована на лучшую производительность. Я ставил на Oracle Linux 7.4.
1. Проверка поддерживаемых сетевых протоколов. Отключение IPv6. Дословно из документации: IPv6 is not supported and must be disabled.
2. Проверка энтропии. Инсталляция соответствующего пакета если низкая.
3. Добавление в /etc/hosts всех серверов при отсутствии резолва со стороны DNS.
4. Отключение SELinux.
5. Отключение файервола. Сервера все во внутренней сети поэтому это проблем не вызвало, однако возможно соответствующее его конфигурирование. Дословно:
No blocking by iptables or firewalls; port 7180 must be open because it is used to access Cloudera Manager after installation. Cloudera Manager communicates using specific ports, which must be open.
6. Добавление в /etc/sysconfig/network соответствующих HOSTNAME.
7. Отключение atime (другими словами File Access Time) на маунтпоинтах данных.
8. Выставление VM swappiness=1.
9. Отключение THP(transparent hugepage).
10. Отключение сервиса tuned.
11. Установка и конфигурирование Chronyd.
Если интересно, могу сделать отдельный пост с деталями.
Также из того, что относится не к ОС, а непосредственно к сервисам Cloudera:
1. Я добавил JAVA_HOME в /etc/default/cloudera-scm-server.
2. Добавление JAVA_HOME в «CM URL-> Hosts-> Configuration->Java Home Directory»
Надо отметить что в процессе инсталляции JAVA_HOME была видна и использовалась процессами, однако автоматически конкретно в этом месте значение не проставилось. Возможно так и должно быть.
2. Для создания SCM юзера и БД (MySQL) я использовал предназначенный для этого скрипт(пример использования):
/usr/share/cmf/schema/scm_prepare_database.sh mysql -utemp -p scm scm
А может заблокировать значительную часть интернета и было основной целью РКН? Если проглотят, то можно совсем отделяться от остального мира.
Хотя нет, бред какой-то.
Вся эта статистика — вода, имхо. Если многие страны вообще не признают, что ведут такого рода деятельность, то откуда информация по тратам на такие подразделения? В особенности по Северной Корее. Из Кванмёна?
Да, качество сухпайков у нас может довольно сильно отличаться.
Когда я служил в 7-8-х годах к качеству сухпайков у меня не было претензий. Всё относительно вкусно, нормальные галеты из нормальной муки.
Неделю назад открыл ИРП-7 — был удивлен. Галеты из обойной муки с пальмовым маслом. В овощной икре была мука. Это означает, что ее разбавляли водой и добавляли муку для сохранения структуры. Из основных блюд:
1. «Мясо с овощами» — 3 маленьких кусочка говядины на всю банку, а так горошек с морковью.
2. Курица с рисом — очень сухой рис с добавлением нечта непонятного, видимо это была «курица». Без воды есть было невозможно.
Жалею, что не запомнил производителя и просто выкинул упаковку. Мне почему-то всегда казалось, что к армейской еде предъявляются особые требования к качеству. Оказалось, что нет.
UC San Diego: Big Data Specialization (Coursera)
Become a Data Engineer Certification (Coursera)
одна и та же ссылка: careers.coursera.org/data-engineer
2. Курсы Coursera бесплатны только первую неделю. Потом 50 баксов в месяц.
Есть места где можно посмотреть и задачки и решения. В том числе здесь, на хабре, периодически выходят посты с вариантами. Тогда зачем это всё?
Вот допустим я разработчик с большим востребованным опытом, фейлю всю пачку таких задачек. Что потом?
1. А не подскажите, для каких целей(кроме повышения эрудиции) дата инженеру нужны линейная алгебра и дискретная математика?
2. Вы писали: Темы связанные с построением хранилищ данных, ETL, OLAP-кубов сильно зависят от инструментов, поэтому в этом документе не даю ссылок на курсы.
Не совсем. Инструменты реализуют универсальные подходы построения DWH, которые уже давно были сформулированы. На эту тему можно почитать Ральфа Кимбола. Однако, на сколько я знаю, его на русском нет.
И спасибо за материал, добавил в закладки. Надеюсь когда-нибудь дойдут руки.
Как соберусь — обязательно пришлю:)
К сожалению нет прав комментировать предыдущий пост. Я дополню с тем, что я делал на уровне ОС. Часть обязательна при подготовке к инсталляции, а часть ориентирована на лучшую производительность. Я ставил на Oracle Linux 7.4.
1. Проверка поддерживаемых сетевых протоколов. Отключение IPv6. Дословно из документации: IPv6 is not supported and must be disabled.
2. Проверка энтропии. Инсталляция соответствующего пакета если низкая.
3. Добавление в /etc/hosts всех серверов при отсутствии резолва со стороны DNS.
4. Отключение SELinux.
5. Отключение файервола. Сервера все во внутренней сети поэтому это проблем не вызвало, однако возможно соответствующее его конфигурирование. Дословно:
No blocking by iptables or firewalls; port 7180 must be open because it is used to access Cloudera Manager after installation. Cloudera Manager communicates using specific ports, which must be open.
6. Добавление в /etc/sysconfig/network соответствующих HOSTNAME.
7. Отключение atime (другими словами File Access Time) на маунтпоинтах данных.
8. Выставление VM swappiness=1.
9. Отключение THP(transparent hugepage).
10. Отключение сервиса tuned.
11. Установка и конфигурирование Chronyd.
Если интересно, могу сделать отдельный пост с деталями.
Также из того, что относится не к ОС, а непосредственно к сервисам Cloudera:
1. Я добавил JAVA_HOME в /etc/default/cloudera-scm-server.
2. Добавление JAVA_HOME в «CM URL-> Hosts-> Configuration->Java Home Directory»
Надо отметить что в процессе инсталляции JAVA_HOME была видна и использовалась процессами, однако автоматически конкретно в этом месте значение не проставилось. Возможно так и должно быть.
2. Для создания SCM юзера и БД (MySQL) я использовал предназначенный для этого скрипт(пример использования):
/usr/share/cmf/schema/scm_prepare_database.sh mysql -utemp -p scm scm
Хотя нет, бред какой-то.
Так CyberX еще антивирусы этим тестировали. Интересно, что это за четыре антивируса…
Когда я служил в 7-8-х годах к качеству сухпайков у меня не было претензий. Всё относительно вкусно, нормальные галеты из нормальной муки.
Неделю назад открыл ИРП-7 — был удивлен. Галеты из обойной муки с пальмовым маслом. В овощной икре была мука. Это означает, что ее разбавляли водой и добавляли муку для сохранения структуры. Из основных блюд:
1. «Мясо с овощами» — 3 маленьких кусочка говядины на всю банку, а так горошек с морковью.
2. Курица с рисом — очень сухой рис с добавлением нечта непонятного, видимо это была «курица». Без воды есть было невозможно.
Жалею, что не запомнил производителя и просто выкинул упаковку. Мне почему-то всегда казалось, что к армейской еде предъявляются особые требования к качеству. Оказалось, что нет.