К нам на огонек в подкаст заглянул Роман Тезиков — senior-разработчик и DL-engineer. Эксперт рассказал много интересного о своем опыте реализации ML-проектов. А «на десерт» Роман поделился тем, как он применяет промт-инжиниринг в работе и личной жизни и каких впечатляющих результатов ему удалось добиться с помощью подобных технологий.
Искусственный интеллект
AI, ANN и иные формы искусственного разума
Создание сайтов через нейросети
Популярность нейросетей в 2024 году набирает обороты. Нет, они не заменяют полноценных специалистов. Зато существенно упрощают и ускоряют работу тех же копирайтеров, сеошников и дизайнеров.
Сегодня мы расскажем, какие нейросети можно использовать в работе, разберем их функционал и приведем примеры генерации.
Создание сцен с одинаковыми героями с помощью AI и при чем тут дипфейки Тейлор Свифт
Вы, вероятно, слышали о Тейлор Свифт и очень креативном наборе изображений, созданных одним из её фанатов. Что могу сказать - это был лишь вопрос времени, когда кто-то это сделает. Как мы знаем - не бывает плохой рекламы, однако что если вас зовут не Тейлор Свифт, и никто не создает и не ищет ваши изображения в Google?
Хотя это действительно очень печально, по крайней мере вы можете создать свои собственные изображения. Правда если вы хотите использовать генеративные модели для создания последовательных историй с элементами сюжета, это не так просто, как вам могло показаться. Создать одного-двух персонажа с помощью Dall-e или Stable Diffusion довольно просто. Но что, если вы хотите создать целую историю с одними и теми же персонажами в разных обстановках и стилях? Исследователи генеративных моделей неустанно работают над тем, чтобы упростить для вас процесс создания собственного творческого искусства с вашим любимым актером, но пока что это не так просто.
Так что же мы можем сделать сейчас? Давайте посмотрим.
Baldur и Thor снова в игре: Путь к совершенному ПО
При написании высококачественного программного обеспечения не обойтись без этапа формальной верификации. Несмотря на то, что наша жизнь уже была в некоторой степени упрощена, благодаря таким помощникам доказательства как Coq и Isabelle/HOL, обучающим модель предсказывать один шаг доказательства за раз, оптимизация формальной верификации еще не была достигнута.
Новый метод автоматической генерации доказательств – модель Baldur. Данный метод основывается на использовании больших языковых моделей, возможности восстановления доказательства и исправления благодаря указанию ошибки и добавлению контекста.
Baldur превосходит все существующие подходы, он может самостоятельно полностью за раз доказывать 47.9% теорем, и даже этот результат – не предел.
В данной статье я познакомлю Вас со всей теоретической и практической подноготной данной модели, этапами реализации и оценки метода, чтобы стать чуточку ближе к созданию идеального ПО!
Приятного прочтения :)
Истории
Большая разница: ИИ-наука глазами физика
Сегодня искусственный интеллект и, в особенности, машинное обучение, кажутся максимально прикладными дисциплинами. Но наблюдаемый нами прогресс стоит на плечах серьёзных фундаментальных исследований, которые не перестают двигаться дальше.
Я попал в эту отрасль науки сравнительно недавно — после того, как меня, как научного журналиста, позвали освещать достижения Института искусственного интеллекта AIRI. При этом я оставался физиком-теоретиком, ведущим свои исследования, и мне сразу бросились в глаза отличия между этими двумя областями наук.
Воспользовавшись Днём российской науки в качестве повода, я хочу поделиться различиями между физикой и исследованиями в области искусственного интеллекта, которые я для себя отметил.
«Душа молчит, хоть слышит всё вокруг»: как мы отучаем генеративные модели галлюцинировать
Вот так когда-то отвечала языковая модель, когда её просили привести пример стихотворения Бальмонта. Стихотворение с таким названием действительно есть, но начинается оно совсем не так.
К сожалению, генеративные модели могут галлюцинировать и выдумывать ответ. С таким мы боремся с помощью внешней информации.
Мы, Александр Кайгородов и Светлана Маргасова, обучаем генеративные модели в Яндексе. В этой статье мы расскажем, как заставить генеративные модели перестать придумывать несуществующие факты и как научиться находить эти ошибки, если они всё же случаются. Вы узнаете о том, как использовать внешнюю информацию, опираясь на которую мы можем выполнять как обусловленную генерацию (Retrieval Augmented Generation), так и фактологическую оценку имеющихся генераций (Fact-Check).
Neural ODE: встреча с дифференциальными Уравнениями
Дифференциальные уравнения и нейронные сети вместе? Не может быть или может... Neural ODE – подход в глубоком обучении, объединяющий идеи нейронных сетей и обыкновенных дифференциальных уравнений. Выглядит пугающе, давайте проверим!
Дни генеративных ИИ сочтены? Инструмент для «отравления» датасетов добился неожиданной популярности
Бесплатный инструмент Nightshade, созданный исследователями из Чикагского университета, скачали 250 000 раз за первые 5 дней его существования. Программа предназначена для цифровых художников, которые не хотят допустить использования своих изображений генеративными ИИ. Похоже, если инструмент будет настолько успешен, разработка следующих моделей может быть сильно усложнена.
Иерархия ИИ-потребностей
Как это часто бывает с быстро развивающимися технологиями, ИИ породил массовые проявления синдрома упущенных возможностей, страха, неуверенности, сомнений и междоусобиц. Некоторые из них имеют под собой основания, некоторые — нет, но всё это бросается в глаза. Все от мала до велика, от незаметных стартапов до финтех-гигантов и государственных учреждений, сформировали команды специалистов, которые лихорадочно разрабатывают ИИ-стратегии.
Команда VK Cloud перевела статью о том, как использовать ИИ и машинное обучение, чтобы лучше справляться с тем, что мы делаем.
Улучшаем производительность Leo с помощью модели Mixtral
Начиная с версии 1.62 нашего браузера для десктопов, мы будем использовать модель Mixtral 8x7B как большую языковую модель по умолчанию для Leo, нашего соблюдающего пользовательскую конфиденциальность ИИ-ассистента. Mixtral 8x7B — это БЯМ с открытым исходным кодом, которая была представлена Mistral AI в декабре прошлого года и с тех пор нашла широкое применение благодаря своей скорости и производительности. Помимо этого, мы улучшили UX Leo: в частности, мы упростили онбординг, управление контекстом, форматирование запросов и ответов, и в целом улучшили интерфейс Leo.
Прощайте, базы данных, да здравствуют векторные базы данных
Революция в области искусственного интеллекта переформатирует все отрасли нашей жизни, с одной стороны обещая невероятные инновации, а с другой ー сталкивая нас с новыми вызовами. В безумном потоке изменений эффективная обработка данных становится приоритетом для приложений, на основе больших языковых моделей, генеративного ИИ и семантического поиска. В основе этих технологий лежат векторные представления (embeddings, дальше будем называть их Эмбеддинги), сложные представления данных, пронизанные критической семантической информацией.
Эти вектора, созданные LLMs, охватывают множество атрибутов или характеристик, что делает управление ими сложной задачей. В области искусственного интеллекта и машинного обучения эти характеристики представляют различные измерения данных, необходимые для обнаружения закономерностей, взаимосвязей и базовых структур. Для удовлетворения уникальных требований к обработке этих вложений необходима специализированная база данных. Векторные базы данных специально созданы для обеспечения оптимизированного хранения и запросов векторов, сокращая разрыв между традиционными базами данных и самостоятельными векторными индексами, а также предоставляя ИИ-системам инструменты, необходимые для успешной работы в этой среде нагруженной данными.
Даем нейросотрудникам на базе ChatGPT настоящую постоянную память
На нашей no-code платформе мы создаем GPT-ботов, которых мы называем нейросотрудниками. Они уже многое умеют и даже организуются в целые нейроотделы с нейроруководителями.
Но чтобы им стать действительно незаменимыми помощниками в реальных бизнес-задачах, они должны обладать персональной постоянной памятью.
В этой статье мы рассмотрим один из подходов к организации такой памяти для наших нейросотрудников.
Что такое (был) Сезон Бета в Roborace?
Уже больше года назад некогда прогремевший проект автономных гонок «Roborace» был заморожен в силу финансовых обстоятельств, не успев завершить свой Сезон Бета. В то время как соревнующиеся команды программистов выходили на впечатляющий прогресс. Давайте разберёмся в первом приближении, что это было.
Ближайшие события
Lingua Franca — Машинный перевод с учётом именованных сущностей для вопросно-ответных систем
Машинный перевод может улучшить существующие вопросно‑ответные системы (англ. Question Answering — QA), которые имеют ограниченные языковые возможности, позволяя им поддерживать несколько языков. Однако у машинного перевода есть один основной недостаток: часто такие системы не справляются с переводом именованных сущностей, которые нельзя перевести дословно. Например, немецкое название фильма «The Pope Must Die» переводится как «Ein Papst zum Küssen», что дословно означает «Папа для поцелуев». На Русском языке название фильма звучит так: «Папа должен похудеть». Поскольку правильность именованных сущностей критична для вопросно‑ответных систем, необходимо как можно лучше обеспечить правильность их перевода. В данной статье я представляю наш метод машинного перевода, учитывающий именованные сущности, под названием «Lingua Franca». Он использует графы знаний для использования хранящейся там символьной информации с целью обеспечения правильности перевода именованных сущностей. И да, это работает!
Требования к данным для систем ИИ по верификации людей
Чтобы обеспечить надежную и точную верификацию людей при использовании систем ИИ, необходимо разработать и определить оптимальные требования к наборам данных. Целью данного исследования является определение стандартов формирования наборов данных для повышения качества работы систем верификации людей по изображению.
Шаг за шагом: Как интегрировать ChatGPT для ревью пулл-реквестов на GitHub с помощью GitHub Actions
В статье я поделюсь, как интегрировать ChatGPT для ревью пулл-реквестов на GitHub без покупок иностранных номеров, карт и различных ВПНов, используя, GitHub Actions
Как ускорить LLM-генерацию текста в 20 раз на больших наборах данных
Всем привет, я Алан, разработчик-исследователь в MTS AI. В команде фундаментальных исследований мы занимаемся исследованием LLM, реализацией DPO и валидацией наших собственных языковых моделей. В рамках этих задач у нас возникла потребность в генерации большого количества данных с помощью LLM. Такая генерация обычно занимает много времени. Однако за последний год, с ростом популярности LLM, стали появляться различные инструменты для развертывания таких моделей. Одной из самых эффективных библиотек для инференса языковых моделей является библиотека vLLM. В статье показывается, как с помощью асинхронных запросов и встроенных особенностей vLLM можно увеличить скорость генерации примерно в 20 раз. Приятного чтения!
Как мы с помощью ИИ выбираем обложки для сериалов в KION: кейс MTS AI
Привет, Хабр! Меня зовут Андрей Дугин, я руководитель группы видеоаналитики компании MTS AI. В статье раскрою то, как мы создаём постеры для сериалов и подбираем материалы для обложек фильмов в онлайн-кинотеатре KION. О том, как мы решили эту задачу, я постараюсь рассказать максимально подробно и с техническими деталями. Забегая вперёд, упомяну, что для выбора одной-единственной обложки приходится обрабатывать сотни тысяч кадров фильмов и сериалов. Конечно же, не вручную. Интересно, как всё это реализовано? Тогда прошу под кат.
Докажи, что ты человек: как появилась и развивалась капча, и что ждет ее в будущем
Для владельцев сайтов капча много лет была бесценным инструментом для предотвращения атак злоумышленников, а для их пользователей — раздражающим всплывающим окном, отнимающим время. На фоне стремительного развития ИИ многие заговорили о том, что капча, какой мы ее знаем, скоро останется в прошлом. Рассказываем, избавит ли нас следующее поколение капчи от поиска мотоциклов и светофоров, и что придет на смену.
Сравнение локальных моделей машинного перевода для английского, китайского и русского языков
"Машинный перевод – одна из наиболее актуальных и востребованных задач в сфере искусственного интеллекта, позволяющая снизить барьер в доступности информации на различных языках. Большинство данных в интернете представлены на английском и русском языках. Количество данных на китайском языке в открытом доступе становится с каждым днем всё больше. Поэтому необходимо всё больше инструментов позволяющих использовать все эти языки для своей работы.
Вклад авторов
-
alizar 4761.6 -
marks 2200.4 -
3Dvideo 1257.0 -
stalkermustang 1083.0 -
BarakAdama 766.7 -
ZlodeiBaal 629.0 -
Firemoon 595.0 -
AlexeyR 585.0 -
ivansychev 537.7 -
Markaty 525.5