![DataLearn](/img/default-banner.jpg)
- 189
- 784 980
DataLearn
Canada
Приєднався 11 тра 2020
Канал по обучению Big Data, Data Engineering
LLM / Большие языковые модели / Самообучаемый чат бот / DataLearn
Сегодня у нас в гостях команда WikiBot, которые создают сервис по по созданию чат-бота с искусственным интеллектом для общения с клиентами.
Спикеры: Сергей Христолюбов и Роман Чуприков
Их цель - сделать простое решение которое позволяет компаниям сократить расходы на зарплаты технической поддержки и уменьшить среднее время ожидания ответа.
Выступление будет включать большие языковые модели, LLM, а также как работать с ботом его исходники и пояснение.
Ссылки по выступлению:
Сергей Христолюбов, Founder
🔗WikiBot.tomleto.pro
Контакты:
🔗t.me/tom_leto
🔗linkedin.com/in/khristolyubov
Как работают большие языковые модели, 200+ лайков на хабр:
🔗habr.com/ru/articles/723660/
Осваивают ли LLM модели мира:
🔗habr.com/ru/companies/wunderfund/articles/729532/
Главное AI комьюнити в мире, 280+ тысяч готовых моделей:
🔗huggingface.co/models
Рейтинг открытых LLM:
🔗huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
Крутые аналитические отчеты и статьи по LLM:
🔗lifearchitect.ai/
Понятные простые курсы по NLP и Deep RL
🔗huggingface.co/learn
Хороший вводный курс LLM University:
🔗docs.cohere.com/docs/llmu
Введение в Word embeddings:
🔗 ua-cam.com/video/aZ5se_SW81c/v-deo.html
Что такое Vector Database:
🔗www.pinecone.io/learn/vector-database/
Репозиторий с исходниками чат-бота который индексирует сайт и отвечает на вопросы по нему:
🔗 github.com/TomLetoAI/chat-example
Пример как это работает:
🔗t.me/Excel_WikiBot Помощник по Excel от WikiBot
-----------------------------------------------------------------------------------------------------------------------
🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки!
📕 Записывайтесь и проходите курс Инженера Данных.
⚠️ КУРС БЕСПЛАТНЫЙ!
🔗 Записаться вы можете на нашем портале datalearn.ru/
👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания и получить сертификат прохождения курса.
🔥 Самые актуальные новости про аналитику в Telegram канале: t.me/rockyourdata
🔥 Телеграм канал DataLearn: t.me/data_learn
🔥 Чат DataLearn: t.me/datalearn_chat
Спикеры: Сергей Христолюбов и Роман Чуприков
Их цель - сделать простое решение которое позволяет компаниям сократить расходы на зарплаты технической поддержки и уменьшить среднее время ожидания ответа.
Выступление будет включать большие языковые модели, LLM, а также как работать с ботом его исходники и пояснение.
Ссылки по выступлению:
Сергей Христолюбов, Founder
🔗WikiBot.tomleto.pro
Контакты:
🔗t.me/tom_leto
🔗linkedin.com/in/khristolyubov
Как работают большие языковые модели, 200+ лайков на хабр:
🔗habr.com/ru/articles/723660/
Осваивают ли LLM модели мира:
🔗habr.com/ru/companies/wunderfund/articles/729532/
Главное AI комьюнити в мире, 280+ тысяч готовых моделей:
🔗huggingface.co/models
Рейтинг открытых LLM:
🔗huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
Крутые аналитические отчеты и статьи по LLM:
🔗lifearchitect.ai/
Понятные простые курсы по NLP и Deep RL
🔗huggingface.co/learn
Хороший вводный курс LLM University:
🔗docs.cohere.com/docs/llmu
Введение в Word embeddings:
🔗 ua-cam.com/video/aZ5se_SW81c/v-deo.html
Что такое Vector Database:
🔗www.pinecone.io/learn/vector-database/
Репозиторий с исходниками чат-бота который индексирует сайт и отвечает на вопросы по нему:
🔗 github.com/TomLetoAI/chat-example
Пример как это работает:
🔗t.me/Excel_WikiBot Помощник по Excel от WikiBot
-----------------------------------------------------------------------------------------------------------------------
🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки!
📕 Записывайтесь и проходите курс Инженера Данных.
⚠️ КУРС БЕСПЛАТНЫЙ!
🔗 Записаться вы можете на нашем портале datalearn.ru/
👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания и получить сертификат прохождения курса.
🔥 Самые актуальные новости про аналитику в Telegram канале: t.me/rockyourdata
🔥 Телеграм канал DataLearn: t.me/data_learn
🔥 Чат DataLearn: t.me/datalearn_chat
Переглядів: 2 909
Відео
DATALEARN | DE - 101 | МОДУЛЬ 7-5 SPARK SQL и SPARK функции
Переглядів 2,1 тис.Рік тому
Мы уже познакомились с Spark и писали запросы с помощью PySpark, так сказать Python flavor. А теперь мы посмотрим на Spark SQL В этом видео вы узнаете про: 📌 Методы SparkSession для работы с SQL 📌 Как создавать таблицы и вьюхи 📌 Виды таблиц - Managed vs Unmanaged 📌 Примеры SQL запросов в PySpark 📌 Кеш в Spark 📌 Результат SQL запроса в DataFrame и наоборот 📌 Пример работы с различными файлами в ...
DATALEARN | DE - 101 | МОДУЛЬ 7-4 ЗНАКОМСТВО С SPARK API
Переглядів 2,7 тис.Рік тому
В этом модуле мы познакомимся еще ближе с Apache Spark. В этом видео вы узнаете про: 📌 что такое RDD (Resilient Distributed Datasets) 📌 что такое DataFrame 📌 посмотрим на пример синтаксиса Scala vs Python 📌 типы данных Spark 📌 схему(schema) dataframe 📌 колонки (colums) и вычисляемы (expressions) поля dataframe 📌 основные операции при работе с dataframe (Reader, Wrtiter) 📌 примеры чтения разных ...
DATALEARN | DE - 101 | МОДУЛЬ 7-3 НАЧАЛО РАБОТЫ В APACHE SPARK
Переглядів 3,3 тис.Рік тому
Apache Spark является самый популярным инструментом среди инженеров данных, аналитиков и инженеров машинного обучения. Его главная задача это обработка данных. С помощью Spark можно подключаться к любому источнику данных, читать большие данные и обрабатывать их в оперативной памяти с использованием распределенного вычисления (distributed computing). В этом видео: 📌 Скачаем и запустим Apache Spa...
DATALEARN | ВВЕДЕНИЕ V2 - О ПРОЕКТЕ, ЦЕЛЯХ, КУРСАХ И КАРЬЕРЕ
Переглядів 2,8 тис.Рік тому
Всем привет! Приветствую вас на бесплатном образовательном проекте DATALEARN! Как говорится никакого bullshit, все по делу;) Это новая версия вступления, на котором я расскажу про идею, про ресурсы, про история и много других организационных моментов! В этом видео: 📌 Что такое Datalearn 📌 Как появился 📌 Как записаться 📌Какие перспективы 📌 Все наши ресурсы, которые мы создали за 3 года 📌 И много...
Как стать Дата Инженером (Data Engineer)
Переглядів 12 тис.Рік тому
Как стать Дата Инженером (Data Engineer)
DATALEARN | DE - 101 | МОДУЛЬ 7-2-1 САМЫЙ МИНИМУМ PYTHON ДЛЯ SPARK (JUST ENOUGH PYTHON FOR SPARK)
Переглядів 4,2 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 7-2-1 САМЫЙ МИНИМУМ PYTHON ДЛЯ SPARK (JUST ENOUGH PYTHON FOR SPARK)
DATALEARN | DE - 101 | МОДУЛЬ 7-2 ЧТО ТАКОЕ APACHE SPARK
Переглядів 8 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 7-2 ЧТО ТАКОЕ APACHE SPARK
DATALEARN | DE - 101 | ВВЕДЕНИЕ ЧАСТЬ 3 | ОФОРМЛЕНИЕ ДОМАШНЕГО ЗАДАНИЯ - GIT, MARKDOWN, CLI
Переглядів 7 тис.2 роки тому
DATALEARN | DE - 101 | ВВЕДЕНИЕ ЧАСТЬ 3 | ОФОРМЛЕНИЕ ДОМАШНЕГО ЗАДАНИЯ - GIT, MARKDOWN, CLI
DATALEARN | DE - 101 | МОДУЛЬ 7-1 ВВЕДЕНИЕ
Переглядів 4 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 7-1 ВВЕДЕНИЕ
DATALEARN | DE - 101 | МОДУЛЬ 6-8 ОБЗОР ВАКАНСИЙ ДАТА ИНЖЕНЕРА (DATA ENGINEER) ПО ВСЕМУ МИРУ
Переглядів 1,6 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-8 ОБЗОР ВАКАНСИЙ ДАТА ИНЖЕНЕРА (DATA ENGINEER) ПО ВСЕМУ МИРУ
DATALEARN | DE - 101 | МОДУЛЬ 6-7 РЕШЕНИЯ ОПЕРАЦИОННОЙ АНАЛИТИКИ
Переглядів 1,4 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-7 РЕШЕНИЯ ОПЕРАЦИОННОЙ АНАЛИТИКИ
DATALEARN | DE - 101 | МОДУЛЬ 6-6 ЗНАКОМСТВО С СОВРЕМЕННЫМИ РЕШЕНИЯМИ ETL/ELT
Переглядів 4,1 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-6 ЗНАКОМСТВО С СОВРЕМЕННЫМИ РЕШЕНИЯМИ ETL/ELT
Women In Data Analytics | Интервью с главой отдела продаж и развития SqlDbm - Анной Абрамовой.
Переглядів 6542 роки тому
Women In Data Analytics | Интервью с главой отдела продаж и развития SqlDbm - Анной Абрамовой.
DATALEARN | DE - 101 | МОДУЛЬ 6-5 ЗНАКОМСТВО С SNOWFLAKE - THE ELASTIC DATA WAREHOUSE
Переглядів 4,2 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-5 ЗНАКОМСТВО С SNOWFLAKE - THE ELASTIC DATA WAREHOUSE
DATALEARN | DE - 101 | МОДУЛЬ 6-4 ЗНАКОМСТВО С AZURE SYNAPSE ANALYTICS (AZURE DATAWAREHOUSE)
Переглядів 2,6 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-4 ЗНАКОМСТВО С AZURE SYNAPSE ANALYTICS (AZURE DATAWAREHOUSE)
DATALEARN | DE - 101 | МОДУЛЬ 6-3 ЗНАКОМСТВО С AMAZON REDSHIFT
Переглядів 2,9 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-3 ЗНАКОМСТВО С AMAZON REDSHIFT
DATALEARN | DE - 101 | МОДУЛЬ 6-2 ЧТО ТАКОЕ АНАЛИТИЧЕСКОЕ ХРАНИЛИЩЕ ДАННЫХ
Переглядів 4,1 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-2 ЧТО ТАКОЕ АНАЛИТИЧЕСКОЕ ХРАНИЛИЩЕ ДАННЫХ
DATALEARN | DE - 101 | МОДУЛЬ 6-1 ВВЕДЕНИЕ
Переглядів 3,1 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-1 ВВЕДЕНИЕ
ML-101 | Module 03 | Lesson 03 | Multi-Class Classification: Practice | Anastasia Rizzo
Переглядів 8452 роки тому
ML-101 | Module 03 | Lesson 03 | Multi-Class Classification: Practice | Anastasia Rizzo
Women In Data Analytics | Интервью c Principal Engineer Amazon QuickSight Татьяной Якушевой
Переглядів 7552 роки тому
Women In Data Analytics | Интервью c Principal Engineer Amazon QuickSight Татьяной Якушевой
DATALEARN | DE - 101 | МОДУЛЬ 5-10 PYTHON В ОБЛАКЕ
Переглядів 1,5 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-10 PYTHON В ОБЛАКЕ
DATALEARN | DE - 101 | МОДУЛЬ 5-9 ПРОФЕССИИ И СЕРТИФИКАЦИЯ В ОБЛАЧНЫХ ВЫЧИСЛЕНИЯХ
Переглядів 7602 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-9 ПРОФЕССИИ И СЕРТИФИКАЦИЯ В ОБЛАЧНЫХ ВЫЧИСЛЕНИЯХ
DATALEARN | DE - 101 | МОДУЛЬ 5-8 АНАЛИТИКА В ОБЛАКЕ
Переглядів 9372 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-8 АНАЛИТИКА В ОБЛАКЕ
DATALEARN | DE - 101 | МОДУЛЬ 5-7 МИГРАЦИЯ В ОБЛАКО
Переглядів 7202 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-7 МИГРАЦИЯ В ОБЛАКО
DATALEARN | DE - 101 | МОДУЛЬ 5-6 АРХИТЕКТУРА ОБЛАЧНЫХ РЕШЕНИЙ
Переглядів 1,4 тис.3 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-6 АРХИТЕКТУРА ОБЛАЧНЫХ РЕШЕНИЙ
DATALEARN | DE - 101 | МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ
Переглядів 1,1 тис.3 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ
DATALEARN | ИНТЕРВЬЮ С ЕВГЕНИЙ РЕБРИКОВОЙ (МЕНЕДЖЕР ПО АНАЛИТИКЕ В "БАЛТИКА"
Переглядів 7213 роки тому
DATALEARN | ИНТЕРВЬЮ С ЕВГЕНИЙ РЕБРИКОВОЙ (МЕНЕДЖЕР ПО АНАЛИТИКЕ В "БАЛТИКА"
ML-101 | Module 03 | Lesson 01 | Binary Classification: Theory & Practice | Anastasia Rizzo
Переглядів 6813 роки тому
ML-101 | Module 03 | Lesson 01 | Binary Classification: Theory & Practice | Anastasia Rizzo
Надо было данные на кириллице использовать. С которыми ни LIKE, LOWER, UPPER не работают. Вот это было бы интересно посмотреть как на реальных данных приходится выкручиваться
Почему всегда говорят про хабы, линки, сателлиты, но забывают про рефы?!
Качественный контент с не качественным изображением
после просмотра видео , я понял, что я еще даже не новичок 🙄
Нихера не видно
Классное видео. Спасибо! Я только не понял зачем заменять inner join на left join.
Лайк, подписка. Супер
Спасибо за серию, очень доступное и грамотное изложение материала!
Спасибо!!!
Огромная благодарность
Николай, рассказ на миллион долларов!!❤
Схема на 22:25 Если мы просто от схемы звезды переместим в сателлиты атрибуты сущности, то при добавлении нового хаба мы добавляем новый столбец в ссылку. Я правильно понял?
Абсолютно согласен, что в DuckDB, пожалуй самый гибкий и правильный SQL
Смотря какой fabric..
Спасибо! Крутой доклад
Друзья, это очень плохой курс) Я просто не поинмаю людей ниже, которые комментируют и восхищаются! Женщина красивая, не спорю, но мало о чем понимает из того, что говорит, такое у меня ощущение.
65 на 45 - не окей, хорошо. инфа 146%
топчик
Ужастная схема
Прекрастная схема
То есть мап редьюс был давно реализован на хадупе- хранить данные распределено и спускать (мап) функции туда на кажд узел. И возвращать (редус) уже какой то ггтовый результат. Гринплам сделал по сути тоже самое?
Максима знаю только заочно, прекрасный специалист
Ожидал single table design /
Действительно соглашусь с другими комментариями, залетел в аналитику не поняв сам как это получилось. Не было нормального понимания что такое ETL и ELT хотя смотрел другие видео и читал, Ваша подача очень радует. Огромная благодарность.
Можете пожалуйста, рассказать подробнее, о том как стали аналитиком?
@@user-gv8zc2hw9z работал на госслужбе, анализировал данные сначала в эксель, потом в аксесс, затем пришлось работать с sql немного, потом ibm spss modeller, но не машинное обучение а обычные джоины и т.д. Немного столкнулся с графами без сильного погружения. Записался в академию “step» на fullstack. Начал с C++ был очень грамотный преподаватель, после ООП ушел с курса понял что fullstack не мое очень сложно, знаешь все и ничего). Пошел в ту же академию на python django параллельно работал с данными и уже пытался анализировать в python. Обучение было ужасным преподаватель студент без опыта преподавания. Сейчас наверное даже не до аналитик. Самым действенным двигателем конечно была работа. Если ты учишься и не применяешь знания очень сложно. Сейчас понимаю что нет хорошей базы. Опять хочу начинать с нуля)) всем добра. Мой совет идти на курсы и по возможности устраиваться на стажировку в компанию где ты можешь применять знания обязательно с хорошим наставником. Можно даже бесплатно. Но наставник важен, мне приходилась допетривать до всего самому уходило очень много времени.
Спасибо за видео!
всё супер но не помешало бы приложить репозиторий с лабораторкой в гитхабе что бы каждый мог по играться
А ссылку на гитхаб в коменты скиньте пожалуйста😅
Отвлекает, что камера весь урок шатается... :)
добрый день, планируется ли видео обновления, что изменилось в 2024? (тулс, методология etc)
Благодарность за курс! Начальные сведения понятны для новичка Обучаюсь в начале 2024 года
Спасибо тебе большое за такой труд! Тяжело отписать словами твой вклад в мою будущую карьеру
Весьма приятно было послушать и проверить такскать. Особливо завеселил ответ про настроить ручками графы тасков - нет.
Почему yarn а не airflow?) В курсе яндекс практикума
Даже на 720 такое мыло на экране (((
Где же ссылка на телеграм-канал мистера Трусова?
Сергей, вы умничка❤
наконец-то кто-то нормальнон про аирфлоу объяснил и показал
Для удобства в примере после WHERE вместо >= и <= было бы рационально использовать BETWEEN
Всем привет) Решил поделиться. Возможно могут быть ошибки пути даже после указания всех переменных. Возможный фикс - добавить переменную PENTAHO_DI_JAVA_OPTIONS со значением -Xms1024m Мне помогло
Имхо основа это SQl, а остальное просто прикладное и не так важно. Про Spark где-то спрашивали, про хадуп, в чем вообще смысл его юзать.
Присоединяюсь к благодарностям, у вас дар объяснять, как у Ричарда Фейнмана! Ещё знаете, что? Я пока искала обучающие материалы по SQL, разговаривала с разными людьми. С разницей в полгода 2 совершенно не связанных между собой человека (один - из Молдовы, работает в Apple в Цюрихе, программист со стажем, второй - начинающий Data analyst в Райффайзенбанке в Москве) посоветовали мне ваш курс :)))
Добрый день. Начал смотреть Ваш курс. В видео Вы сговорите, что ссылка будет на Фолдер в котором будут три файла. Сейчас же под видео три ссылки на каждый файл и открываются в виде массива текста, который необходимо еще закинуть в Excel b отформатировать по столбцам.
Пару лет назад с данными для лаб к этому модулю емнип с ЕТЛ тренировался, а сейчас пригождается при изучении dbt - сразу код с гитхаба можно в модели оборачивать. Спасибо в очередной раз Дмитрий.
лучшее объяснение!
Сбросьте кто ссылку на урок, где создавались таблицы, которые используются в этом уроке. Я что-то не смог найти.
Дрель на 25 минуте норм зашла😅
Будут видео по созданию чат ботов с бесплатными моделями и обучением бесплатных моделей на своих данных?
Пишу это сообщение как рекомендательное будучи завершившим данный курс. Не смотря на качество звука его можно подрихтовать методом расширений в браузере (эквалайзер), убавив шум, повысив четкость, громкость и т.д
Спасибо за замечательный курс! Буду рекомендовать. Не смотря на качество звука его можно подрихтовать методом расширений в браузере (эквалайзер), убавив шум, повысив четкость, громкость и т.д. (хотя толку об этом писать в конце курса :D) Обучаюсь на аналитика. Первые 2 модуля в связке с 1-м уроком 3-го модуля (оконные функции) были самыми необходимыми и полезными для меня. Жаль что данный курс не имеет особого спроса, он вмещает в себе всё, что необходимо знать как минимум начинающему специалисту, практики уйма. Связка "теория + практика одновременно" это то, что присуще этому курсу, и это безусловно один из лучших подходов в обучении.
Начали одной таблицей закончили звездой. Очень ограниченный подход к моделированию, где такое можно применить.
спасибо за труд, по data очень мало качественного контента. На одном из проектов работал с Databricks и юзал pyspark и могу сказать, что это очень мощный, удобный тул для data processing. Однако столкнулся с тем, что на собесах часто спрашивают подкапотку спарка и тут уже имеются пробелы, это видео помгло систематизировать знания и заполнить гэпы. Касательно RDD, dataframe and dataset в документации очень поверхам всё это описано и нет четкого понимая их применения, на практике же используются dataframe для всех манипуляций. лайк и подписка!