Илья Макаров. 295 FLOP/byte: почему пиксель и токен стоят одинаково дорого

На кухне все мы слышали истории «FLOPS выросли в двести раз, а память не успела». Открываем даташиты и считаем по векторному FP32, без тензорных ядер: G80 в 2006-м даёт 6 FLOP на байт, B200 сегодня — 9.7. Рост в 1.6 раза за 18 лет, и Kepler 2013 года лучше обоих. Двести раз появляются только на тензорных ядрах и низкой разрядности — то есть разрыв не вырос сам, его намеренно сделали. Там же живёт и 295 ridge point H100 на FP16. В докладе разберёмся, как графика построила железо для AI и оставила ему свои узкие места: кто и когда принимал ключевые решения и почему обратной дороги нет. Поговорим про on-chip SRAM — и при чём тут тайловый рендеринг и flash attention. Про wave quantization в GEMM и квад 2×2 на кромке треугольника — одно явление на разной гранулярности. Про регистровое давление и реальную цену запуска kernel и draw call. В конце поищем остатки графики в датацентровом железе для AI. Все примеры — из production и собственных замеров. Уйдём с одним способом думать о производительности вместо двух и научимся считать арифметическую интенсивность своего прохода или ядра ещё до профилировки — чтобы заранее знать, во что упрёмся. Сайт - https://2026.hardfest.ru/ Презентация — https://disk.360.yandex.ru/d/JuvwYf5P2Nnzng