Весь ИИ за 24 минуты. Как он РЕАЛЬНО работает - Нейросети/Искусственный Интеллект/AI/ИИ

Все нейросети в одном месте без VPN и зарубежных карт qiper.ru - Нейросети/Искусственный Интеллект/AI/ИИ Весь ИИ за 24 минуты. Как он РЕАЛЬНО работает - Агрегатор Нейросетей AI/ИИ 00:00:00 Введение в GPT-OSS GPT-OSS — открытая модель от OpenAI, созданная теми же людьми, что и ChatGPT Модель содержит 15 огромных файлов с 117 миллиардами цифр В отличие от стандартного ПО, в модели нет правил и условий 00:02:00 Принцип работы нейронных сетей Нейронные сети используют числа вместо правил для распознавания образов Искусственный нейрон принимает несколько чисел и выдаёт одно Пример с выбором зонтика иллюстрирует работу нейрона: прогноз погоды имеет наибольший вес 00:03:55 Структура нейронной сети Фотография представлена как сетка пикселей с номерами от 0 до 255 Каждая точка имеет свой вес, который влияет на общий ответ нейрона Слой нейронов анализирует ответы предыдущих слоёв, формируя изображение 00:04:50 Обучение нейронной сети Нейронная сеть обучается на заранее помеченных изображениях с правильными ответами Она сравнивает свои ответы с метками и вычисляет потери Градиентный спуск позволяет корректировать веса для уменьшения ошибок 00:06:48 Обучение языковых моделей Языковые модели обучаются на триллионах фрагментов текста Слова преобразуются в числа, с которыми можно выполнять арифметические действия Токенизатор разрезает текст на части, называемые токенами 00:08:21 Векторы и семантика Каждый токен представлен списком чисел, называемым вектором Векторы отражают семантические связи между словами Пример с «королём», «мужчиной» и «женщиной» иллюстрирует, как модель обрабатывает семантику 00:10:05 Взаимодействие слов Модель должна взаимодействовать с другими словами для понимания контекста Пример с луком показывает, как модель различает разные значения одного слова Современные языковые модели используют взаимодействие слов для понимания смысла 00:11:15 Введение в внимание и трансформаторы Связь между словами называется вниманием Создана модель, где слова взаимодействуют через внимание Модель названа трансформатором, GPT — это трансформатор с 36 слоями 00:11:57 Структура внимания Каждый слой состоит из двух частей: внимания и знаний Внимание умножает номера фишек на весовые коэффициенты Получаются три списка чисел: запрос, ключ и ценность 00:12:50 Процесс внимания Модель преобразует баллы в доли, сумма которых составляет 100% Больше баллов получает слово с более высоким соответствием Значение слова определяется через сравнение запросов и ключей 00:13:49 Знания и остаточный поток Знания содержат основную часть чисел модели Жетоны проходят через нейроны, добавляя информацию о луке Остаточный поток распространяет знания через слои 00:14:48 Пример с вопросом о столице Вопрос о столице штата, в котором расположен Даллас, обрабатывается в два шага Исследователи заметили увеличение числа для Техаса на пути к ответу Аналогичный трюк используется для других слов, например, для моста 00:15:28 Угадывание следующего фрагмента текста Модель угадывает следующий фрагмент текста на основе чисел последнего символа Выбирается одна лексема из 200 000 вероятностей Модель отсекает слова с небольшим процентом и выбирает лучшие 00:16:48 Влияние температуры на ответы Температура модели влияет на предсказуемость и разнообразие ответов При низкой температуре ответы становятся более предсказуемыми При высокой температуре ответы становятся более разнообразными 00:17:42 Логический вывод и рабочая память Модель запоминает цифры во время ответа, но не между сообщениями Рабочая память модели ограничена контекстным окном Модель может выбирать рифму до начала строки 00:19:26 Тонкая настройка и Instruct GPT Тонкая настройка делает модель помощником OpenAI создал Instruct GPT, обучая модель на примерах вопросов и ответов Люди ранжируют ответы, корректируя весовые коэффициенты 00:20:01 Адаптация к новым данным Два способа адаптации модели: тонкая настройка и «наше яйцо» «Наше яйцо» использует отдельную программу для преобразования документов Программа находит близкие фрагменты документа и вставляет их в контекстное окно 00:21:53 Галлюцинации и обучение Уверенная ложь модели называется галлюцинациями Галлюцинации начинаются на этапе предварительной подготовки Награда за правильный ответ учит модель угадывать, а не честно говорить «я не знаю» 00:22:43 Работа модели с текстом Модель самостоятельно выбрала 117 миллиардов цифр из 15 огромных файлов Токенизатор разбивает вопрос на токены, каждый из которых проходит через конвейер из 30 слоёв Модель выбирает один токен и начинает процесс заново Anthropic и Claude показали наличие промежуточных этапов в работе модели 00:22:43 Контекстное окно и тонкая настройка Контекстное окно показывает, сколько лексем модель видит одновременно Тонкая настройка модели позволяет адаптировать её под конкретные потребности пользователя 00:23:41 Взаимодействие с аудиторией Программа находит необходимый фрагмент документов и помещает его перед вопросом Весь ИИ за 24 минуты. Как он РЕАЛЬНО работает - Агрегатор Нейросетей AI/ИИ