DataLearn
DataLearn
  • 189
  • 784 980
LLM / Большие языковые модели / Самообучаемый чат бот / DataLearn
Сегодня у нас в гостях команда WikiBot, которые создают сервис по по созданию чат-бота с искусственным интеллектом для общения с клиентами.
Спикеры: Сергей Христолюбов и Роман Чуприков
Их цель - сделать простое решение которое позволяет компаниям сократить расходы на зарплаты технической поддержки и уменьшить среднее время ожидания ответа.
Выступление будет включать большие языковые модели, LLM, а также как работать с ботом его исходники и пояснение.
Ссылки по выступлению:
Сергей Христолюбов, Founder
🔗WikiBot.tomleto.pro
Контакты:
🔗t.me/tom_leto
🔗linkedin.com/in/khristolyubov
Как работают большие языковые модели, 200+ лайков на хабр:
🔗habr.com/ru/articles/723660/
Осваивают ли LLM модели мира:
🔗habr.com/ru/companies/wunderfund/articles/729532/
Главное AI комьюнити в мире, 280+ тысяч готовых моделей:
🔗huggingface.co/models
Рейтинг открытых LLM:
🔗huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
Крутые аналитические отчеты и статьи по LLM:
🔗lifearchitect.ai/
Понятные простые курсы по NLP и Deep RL
🔗huggingface.co/learn
Хороший вводный курс LLM University:
🔗docs.cohere.com/docs/llmu
Введение в Word embeddings:
🔗 ua-cam.com/video/aZ5se_SW81c/v-deo.html
Что такое Vector Database:
🔗www.pinecone.io/learn/vector-database/
Репозиторий с исходниками чат-бота который индексирует сайт и отвечает на вопросы по нему:
🔗 github.com/TomLetoAI/chat-example
Пример как это работает:
🔗t.me/Excel_WikiBot Помощник по Excel от WikiBot
-----------------------------------------------------------------------------------------------------------------------
🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки!
📕 Записывайтесь и проходите курс Инженера Данных.
⚠️ КУРС БЕСПЛАТНЫЙ!
🔗 Записаться вы можете на нашем портале datalearn.ru/
👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания и получить сертификат прохождения курса.
🔥 Самые актуальные новости про аналитику в Telegram канале: t.me/rockyourdata
🔥 Телеграм канал DataLearn: t.me/data_learn
🔥 Чат DataLearn: t.me/datalearn_chat
Переглядів: 2 909

Відео

DATALEARN | DE - 101 | МОДУЛЬ 7-5 SPARK SQL и SPARK функции
Переглядів 2,1 тис.Рік тому
Мы уже познакомились с Spark и писали запросы с помощью PySpark, так сказать Python flavor. А теперь мы посмотрим на Spark SQL В этом видео вы узнаете про: 📌 Методы SparkSession для работы с SQL 📌 Как создавать таблицы и вьюхи 📌 Виды таблиц - Managed vs Unmanaged 📌 Примеры SQL запросов в PySpark 📌 Кеш в Spark 📌 Результат SQL запроса в DataFrame и наоборот 📌 Пример работы с различными файлами в ...
DATALEARN | DE - 101 | МОДУЛЬ 7-4 ЗНАКОМСТВО С SPARK API
Переглядів 2,7 тис.Рік тому
В этом модуле мы познакомимся еще ближе с Apache Spark. В этом видео вы узнаете про: 📌 что такое RDD (Resilient Distributed Datasets) 📌 что такое DataFrame 📌 посмотрим на пример синтаксиса Scala vs Python 📌 типы данных Spark 📌 схему(schema) dataframe 📌 колонки (colums) и вычисляемы (expressions) поля dataframe 📌 основные операции при работе с dataframe (Reader, Wrtiter) 📌 примеры чтения разных ...
DATALEARN | DE - 101 | МОДУЛЬ 7-3 НАЧАЛО РАБОТЫ В APACHE SPARK
Переглядів 3,3 тис.Рік тому
Apache Spark является самый популярным инструментом среди инженеров данных, аналитиков и инженеров машинного обучения. Его главная задача это обработка данных. С помощью Spark можно подключаться к любому источнику данных, читать большие данные и обрабатывать их в оперативной памяти с использованием распределенного вычисления (distributed computing). В этом видео: 📌 Скачаем и запустим Apache Spa...
DATALEARN | ВВЕДЕНИЕ V2 - О ПРОЕКТЕ, ЦЕЛЯХ, КУРСАХ И КАРЬЕРЕ
Переглядів 2,8 тис.Рік тому
Всем привет! Приветствую вас на бесплатном образовательном проекте DATALEARN! Как говорится никакого bullshit, все по делу;) Это новая версия вступления, на котором я расскажу про идею, про ресурсы, про история и много других организационных моментов! В этом видео: 📌 Что такое Datalearn 📌 Как появился 📌 Как записаться 📌Какие перспективы 📌 Все наши ресурсы, которые мы создали за 3 года 📌 И много...
Как стать Дата Инженером (Data Engineer)
Переглядів 12 тис.Рік тому
Как стать Дата Инженером (Data Engineer)
DATALEARN | DE - 101 | МОДУЛЬ 7-2-1 САМЫЙ МИНИМУМ PYTHON ДЛЯ SPARK (JUST ENOUGH PYTHON FOR SPARK)
Переглядів 4,2 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 7-2-1 САМЫЙ МИНИМУМ PYTHON ДЛЯ SPARK (JUST ENOUGH PYTHON FOR SPARK)
DATALEARN | DE - 101 | МОДУЛЬ 7-2 ЧТО ТАКОЕ APACHE SPARK
Переглядів 8 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 7-2 ЧТО ТАКОЕ APACHE SPARK
DATALEARN | DE - 101 | ВВЕДЕНИЕ ЧАСТЬ 3 | ОФОРМЛЕНИЕ ДОМАШНЕГО ЗАДАНИЯ - GIT, MARKDOWN, CLI
Переглядів 7 тис.2 роки тому
DATALEARN | DE - 101 | ВВЕДЕНИЕ ЧАСТЬ 3 | ОФОРМЛЕНИЕ ДОМАШНЕГО ЗАДАНИЯ - GIT, MARKDOWN, CLI
DATALEARN | DE - 101 | МОДУЛЬ 7-1 ВВЕДЕНИЕ
Переглядів 4 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 7-1 ВВЕДЕНИЕ
DATALEARN | DE - 101 | МОДУЛЬ 6-8 ОБЗОР ВАКАНСИЙ ДАТА ИНЖЕНЕРА (DATA ENGINEER) ПО ВСЕМУ МИРУ
Переглядів 1,6 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-8 ОБЗОР ВАКАНСИЙ ДАТА ИНЖЕНЕРА (DATA ENGINEER) ПО ВСЕМУ МИРУ
DATALEARN | DE - 101 | МОДУЛЬ 6-7 РЕШЕНИЯ ОПЕРАЦИОННОЙ АНАЛИТИКИ
Переглядів 1,4 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-7 РЕШЕНИЯ ОПЕРАЦИОННОЙ АНАЛИТИКИ
ИНТЕРВЬЮ С ЭМИЛЕМ БОГОМОЛОВЫМ
Переглядів 8862 роки тому
ИНТЕРВЬЮ С ЭМИЛЕМ БОГОМОЛОВЫМ
DATALEARN | DE - 101 | МОДУЛЬ 6-6 ЗНАКОМСТВО С СОВРЕМЕННЫМИ РЕШЕНИЯМИ ETL/ELT
Переглядів 4,1 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-6 ЗНАКОМСТВО С СОВРЕМЕННЫМИ РЕШЕНИЯМИ ETL/ELT
Women In Data Analytics | Интервью с главой отдела продаж и развития SqlDbm - Анной Абрамовой.
Переглядів 6542 роки тому
Women In Data Analytics | Интервью с главой отдела продаж и развития SqlDbm - Анной Абрамовой.
DATALEARN | DE - 101 | МОДУЛЬ 6-5 ЗНАКОМСТВО С SNOWFLAKE - THE ELASTIC DATA WAREHOUSE
Переглядів 4,2 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-5 ЗНАКОМСТВО С SNOWFLAKE - THE ELASTIC DATA WAREHOUSE
DATALEARN | DE - 101 | МОДУЛЬ 6-4 ЗНАКОМСТВО С AZURE SYNAPSE ANALYTICS (AZURE DATAWAREHOUSE)
Переглядів 2,6 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-4 ЗНАКОМСТВО С AZURE SYNAPSE ANALYTICS (AZURE DATAWAREHOUSE)
DATALEARN | DE - 101 | МОДУЛЬ 6-3 ЗНАКОМСТВО С AMAZON REDSHIFT
Переглядів 2,9 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-3 ЗНАКОМСТВО С AMAZON REDSHIFT
DATALEARN | DE - 101 | МОДУЛЬ 6-2 ЧТО ТАКОЕ АНАЛИТИЧЕСКОЕ ХРАНИЛИЩЕ ДАННЫХ
Переглядів 4,1 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-2 ЧТО ТАКОЕ АНАЛИТИЧЕСКОЕ ХРАНИЛИЩЕ ДАННЫХ
DATALEARN | DE - 101 | МОДУЛЬ 6-1 ВВЕДЕНИЕ
Переглядів 3,1 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 6-1 ВВЕДЕНИЕ
ML-101 | Module 03 | Lesson 03 | Multi-Class Classification: Practice | Anastasia Rizzo
Переглядів 8452 роки тому
ML-101 | Module 03 | Lesson 03 | Multi-Class Classification: Practice | Anastasia Rizzo
Women In Data Analytics | Интервью c Principal Engineer Amazon QuickSight Татьяной Якушевой
Переглядів 7552 роки тому
Women In Data Analytics | Интервью c Principal Engineer Amazon QuickSight Татьяной Якушевой
DATALEARN | DE - 101 | МОДУЛЬ 5-10 PYTHON В ОБЛАКЕ
Переглядів 1,5 тис.2 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-10 PYTHON В ОБЛАКЕ
DATALEARN | DE - 101 | МОДУЛЬ 5-9 ПРОФЕССИИ И СЕРТИФИКАЦИЯ В ОБЛАЧНЫХ ВЫЧИСЛЕНИЯХ
Переглядів 7602 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-9 ПРОФЕССИИ И СЕРТИФИКАЦИЯ В ОБЛАЧНЫХ ВЫЧИСЛЕНИЯХ
DATALEARN | DE - 101 | МОДУЛЬ 5-8 АНАЛИТИКА В ОБЛАКЕ
Переглядів 9372 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-8 АНАЛИТИКА В ОБЛАКЕ
DATALEARN | DE - 101 | МОДУЛЬ 5-7 МИГРАЦИЯ В ОБЛАКО
Переглядів 7202 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-7 МИГРАЦИЯ В ОБЛАКО
DATALEARN | DE - 101 | МОДУЛЬ 5-6 АРХИТЕКТУРА ОБЛАЧНЫХ РЕШЕНИЙ
Переглядів 1,4 тис.3 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-6 АРХИТЕКТУРА ОБЛАЧНЫХ РЕШЕНИЙ
DATALEARN | DE - 101 | МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ
Переглядів 1,1 тис.3 роки тому
DATALEARN | DE - 101 | МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ
DATALEARN | ИНТЕРВЬЮ С ЕВГЕНИЙ РЕБРИКОВОЙ (МЕНЕДЖЕР ПО АНАЛИТИКЕ В "БАЛТИКА"
Переглядів 7213 роки тому
DATALEARN | ИНТЕРВЬЮ С ЕВГЕНИЙ РЕБРИКОВОЙ (МЕНЕДЖЕР ПО АНАЛИТИКЕ В "БАЛТИКА"
ML-101 | Module 03 | Lesson 01 | Binary Classification: Theory & Practice | Anastasia Rizzo
Переглядів 6813 роки тому
ML-101 | Module 03 | Lesson 01 | Binary Classification: Theory & Practice | Anastasia Rizzo

КОМЕНТАРІ

  • @massarash
    @massarash День тому

    Надо было данные на кириллице использовать. С которыми ни LIKE, LOWER, UPPER не работают. Вот это было бы интересно посмотреть как на реальных данных приходится выкручиваться

  • @user-lt1ul9cn5c
    @user-lt1ul9cn5c 11 днів тому

    Почему всегда говорят про хабы, линки, сателлиты, но забывают про рефы?!

  • @lenar304
    @lenar304 12 днів тому

    Качественный контент с не качественным изображением

  • @user-cv1sr9io5h
    @user-cv1sr9io5h 17 днів тому

    после просмотра видео , я понял, что я еще даже не новичок 🙄

  • @user-pb9qh6ko7r
    @user-pb9qh6ko7r 19 днів тому

    Нихера не видно

  • @pavlosemeniuk
    @pavlosemeniuk 22 дні тому

    Классное видео. Спасибо! Я только не понял зачем заменять inner join на left join.

  • @yanazobnina7321
    @yanazobnina7321 23 дні тому

    Лайк, подписка. Супер

  • @mirziyodm
    @mirziyodm 25 днів тому

    Спасибо за серию, очень доступное и грамотное изложение материала!

  • @user-jy9eo8en8x
    @user-jy9eo8en8x Місяць тому

    Спасибо!!!

  • @anonimnoplz7228
    @anonimnoplz7228 Місяць тому

    Огромная благодарность

  • @vor6758
    @vor6758 Місяць тому

    Николай, рассказ на миллион долларов!!❤

  • @vor6758
    @vor6758 Місяць тому

    Схема на 22:25 Если мы просто от схемы звезды переместим в сателлиты атрибуты сущности, то при добавлении нового хаба мы добавляем новый столбец в ссылку. Я правильно понял?

  • @user-ts9kk4nd4w
    @user-ts9kk4nd4w Місяць тому

    Абсолютно согласен, что в DuckDB, пожалуй самый гибкий и правильный SQL

  • @user-yc8gz1qv1s
    @user-yc8gz1qv1s Місяць тому

    Смотря какой fabric..

  • @user-yi2pl8pr1t
    @user-yi2pl8pr1t Місяць тому

    Спасибо! Крутой доклад

  • @user-ry8rv2to5o
    @user-ry8rv2to5o Місяць тому

    Друзья, это очень плохой курс) Я просто не поинмаю людей ниже, которые комментируют и восхищаются! Женщина красивая, не спорю, но мало о чем понимает из того, что говорит, такое у меня ощущение.

  • @user-ry8rv2to5o
    @user-ry8rv2to5o Місяць тому

    65 на 45 - не окей, хорошо. инфа 146%

  • @apachesuperset
    @apachesuperset Місяць тому

    топчик

  • @SergiusBfg
    @SergiusBfg 2 місяці тому

    Ужастная схема

    • @vadeeman7114
      @vadeeman7114 8 днів тому

      Прекрастная схема

  • @Vilayat_Khan
    @Vilayat_Khan 2 місяці тому

    То есть мап редьюс был давно реализован на хадупе- хранить данные распределено и спускать (мап) функции туда на кажд узел. И возвращать (редус) уже какой то ггтовый результат. Гринплам сделал по сути тоже самое?

  • @ProtosNo1
    @ProtosNo1 2 місяці тому

    Максима знаю только заочно, прекрасный специалист

  • @UnnamedPB
    @UnnamedPB 2 місяці тому

    Ожидал single table design /

  • @user-qm9es3ln6s
    @user-qm9es3ln6s 2 місяці тому

    Действительно соглашусь с другими комментариями, залетел в аналитику не поняв сам как это получилось. Не было нормального понимания что такое ETL и ELT хотя смотрел другие видео и читал, Ваша подача очень радует. Огромная благодарность.

    • @user-gv8zc2hw9z
      @user-gv8zc2hw9z 2 місяці тому

      Можете пожалуйста, рассказать подробнее, о том как стали аналитиком?

    • @user-qm9es3ln6s
      @user-qm9es3ln6s 2 місяці тому

      @@user-gv8zc2hw9z работал на госслужбе, анализировал данные сначала в эксель, потом в аксесс, затем пришлось работать с sql немного, потом ibm spss modeller, но не машинное обучение а обычные джоины и т.д. Немного столкнулся с графами без сильного погружения. Записался в академию “step» на fullstack. Начал с C++ был очень грамотный преподаватель, после ООП ушел с курса понял что fullstack не мое очень сложно, знаешь все и ничего). Пошел в ту же академию на python django параллельно работал с данными и уже пытался анализировать в python. Обучение было ужасным преподаватель студент без опыта преподавания. Сейчас наверное даже не до аналитик. Самым действенным двигателем конечно была работа. Если ты учишься и не применяешь знания очень сложно. Сейчас понимаю что нет хорошей базы. Опять хочу начинать с нуля)) всем добра. Мой совет идти на курсы и по возможности устраиваться на стажировку в компанию где ты можешь применять знания обязательно с хорошим наставником. Можно даже бесплатно. Но наставник важен, мне приходилась допетривать до всего самому уходило очень много времени.

  • @svetlanazheleykina4113
    @svetlanazheleykina4113 2 місяці тому

    Спасибо за видео!

  • @alexandrgotlib2312
    @alexandrgotlib2312 3 місяці тому

    всё супер но не помешало бы приложить репозиторий с лабораторкой в гитхабе что бы каждый мог по играться

  • @volodink
    @volodink 3 місяці тому

    А ссылку на гитхаб в коменты скиньте пожалуйста😅

  • @vs1114
    @vs1114 3 місяці тому

    Отвлекает, что камера весь урок шатается... :)

  • @user62763
    @user62763 3 місяці тому

    добрый день, планируется ли видео обновления, что изменилось в 2024? (тулс, методология etc)

  • @user-fj8qh6el8j
    @user-fj8qh6el8j 4 місяці тому

    Благодарность за курс! Начальные сведения понятны для новичка Обучаюсь в начале 2024 года

  • @anonimnoplz7228
    @anonimnoplz7228 4 місяці тому

    Спасибо тебе большое за такой труд! Тяжело отписать словами твой вклад в мою будущую карьеру

  • @yaroslavsolntsev9909
    @yaroslavsolntsev9909 4 місяці тому

    Весьма приятно было послушать и проверить такскать. Особливо завеселил ответ про настроить ручками графы тасков - нет.

  • @granddad9566
    @granddad9566 4 місяці тому

    Почему yarn а не airflow?) В курсе яндекс практикума

  • @SV-13
    @SV-13 4 місяці тому

    Даже на 720 такое мыло на экране (((

  • @vladimir2139
    @vladimir2139 4 місяці тому

    Где же ссылка на телеграм-канал мистера Трусова?

  • @makmakmakk
    @makmakmakk 4 місяці тому

    Сергей, вы умничка❤

  • @gpankov
    @gpankov 4 місяці тому

    наконец-то кто-то нормальнон про аирфлоу объяснил и показал

  • @user-do2uh1hr8n
    @user-do2uh1hr8n 4 місяці тому

    Для удобства в примере после WHERE вместо >= и <= было бы рационально использовать BETWEEN

  • @DmitriiDenshiko
    @DmitriiDenshiko 5 місяців тому

    Всем привет) Решил поделиться. Возможно могут быть ошибки пути даже после указания всех переменных. Возможный фикс - добавить переменную PENTAHO_DI_JAVA_OPTIONS со значением -Xms1024m Мне помогло

  • @ololo2755
    @ololo2755 5 місяців тому

    Имхо основа это SQl, а остальное просто прикладное и не так важно. Про Spark где-то спрашивали, про хадуп, в чем вообще смысл его юзать.

  • @irinaveremeenko8304
    @irinaveremeenko8304 5 місяців тому

    Присоединяюсь к благодарностям, у вас дар объяснять, как у Ричарда Фейнмана! Ещё знаете, что? Я пока искала обучающие материалы по SQL, разговаривала с разными людьми. С разницей в полгода 2 совершенно не связанных между собой человека (один - из Молдовы, работает в Apple в Цюрихе, программист со стажем, второй - начинающий Data analyst в Райффайзенбанке в Москве) посоветовали мне ваш курс :)))

  • @aleksandrjacishin3150
    @aleksandrjacishin3150 5 місяців тому

    Добрый день. Начал смотреть Ваш курс. В видео Вы сговорите, что ссылка будет на Фолдер в котором будут три файла. Сейчас же под видео три ссылки на каждый файл и открываются в виде массива текста, который необходимо еще закинуть в Excel b отформатировать по столбцам.

  • @smbsmn324
    @smbsmn324 5 місяців тому

    Пару лет назад с данными для лаб к этому модулю емнип с ЕТЛ тренировался, а сейчас пригождается при изучении dbt - сразу код с гитхаба можно в модели оборачивать. Спасибо в очередной раз Дмитрий.

  • @gpankov
    @gpankov 5 місяців тому

    лучшее объяснение!

  • @viachaslaupailak3552
    @viachaslaupailak3552 5 місяців тому

    Сбросьте кто ссылку на урок, где создавались таблицы, которые используются в этом уроке. Я что-то не смог найти.

  • @sizalation-music8578
    @sizalation-music8578 6 місяців тому

    Дрель на 25 минуте норм зашла😅

  • @skulidropek607
    @skulidropek607 6 місяців тому

    Будут видео по созданию чат ботов с бесплатными моделями и обучением бесплатных моделей на своих данных?

  • @dgrey.
    @dgrey. 6 місяців тому

    Пишу это сообщение как рекомендательное будучи завершившим данный курс. Не смотря на качество звука его можно подрихтовать методом расширений в браузере (эквалайзер), убавив шум, повысив четкость, громкость и т.д

  • @dgrey.
    @dgrey. 6 місяців тому

    Спасибо за замечательный курс! Буду рекомендовать. Не смотря на качество звука его можно подрихтовать методом расширений в браузере (эквалайзер), убавив шум, повысив четкость, громкость и т.д. (хотя толку об этом писать в конце курса :D) Обучаюсь на аналитика. Первые 2 модуля в связке с 1-м уроком 3-го модуля (оконные функции) были самыми необходимыми и полезными для меня. Жаль что данный курс не имеет особого спроса, он вмещает в себе всё, что необходимо знать как минимум начинающему специалисту, практики уйма. Связка "теория + практика одновременно" это то, что присуще этому курсу, и это безусловно один из лучших подходов в обучении.

  • @_INDATAWETRUST_
    @_INDATAWETRUST_ 6 місяців тому

    Начали одной таблицей закончили звездой. Очень ограниченный подход к моделированию, где такое можно применить.

  • @vladimirnovickiy2927
    @vladimirnovickiy2927 6 місяців тому

    спасибо за труд, по data очень мало качественного контента. На одном из проектов работал с Databricks и юзал pyspark и могу сказать, что это очень мощный, удобный тул для data processing. Однако столкнулся с тем, что на собесах часто спрашивают подкапотку спарка и тут уже имеются пробелы, это видео помгло систематизировать знания и заполнить гэпы. Касательно RDD, dataframe and dataset в документации очень поверхам всё это описано и нет четкого понимая их применения, на практике же используются dataframe для всех манипуляций. лайк и подписка!