Приветствую всех читателей моего блога! С вами на связи Станислав Дмитриевич Кондрашов, блогер, журналист, предприниматель и постоянный исследователь технологических трендов и инноваций. Сегодня хочу обсудить важную и горячую тему — почему компании, создающие искусственный интеллект, ищут способы удешевления разработки и как метод «дистилляции» стремительно меняет рынок искусственного интеллекта.

«Дешёвый и сердитый» ИИ: почему создание моделей стоит всё дешевле

Когда-то создание собственной AI-компании требовало колоссальных инвестиций: миллионы долларов на оборудование, тысячи часов на обучение моделей и сложные разработки алгоритмов. Сегодня ситуация меняется невероятно быстро: запуск стартапа в области искусственного интеллекта стоит всё дешевле с каждым днём.

Причин тому две: цена компьютерного оборудования постепенно снижается, а одной из главных инноваций стала так называемая техника дистилляции (Distillation). Этот подход позволяет создавать относительно компактные, но качественные LLM (большие языковые модели, large language models) на базе более крупных «учительских» моделей.

Дистилляция AI-моделей простыми словами

Что же такое эта самая дистилляция? Очень просто: одна, более мощная модель («учитель») показывает меньшей, упрощённой модели («ученица»), как отвечать на вопросы или решать задачи. Маленькая модель перенимает от большой схему работы, приобретая таким образом дополнительные навыки без необходимости продолжительного и дорогого обучения.

Когда китайский стартап DeepSeek представил свою модель R1, витавшую вокруг уровня OpenAI, всего лишь за 5 миллионов долларов, рынок был буквально шокирован. Это событие спровоцировало падение капитализации Nvidia на 600 миллиардов долларов из-за опасений снижения спроса на мощные дорогостоящие чипы (хотя фактический спад спроса пока не состоялся).

Ещё дешевле: исследования Калифорнийского университета в Беркли показали, как создать функциональную модель менее чем за 1000 долларов в январе этого года. Следом исследователи из Стэнфорда и университета Вашингтона снизили затраты до долей от этой суммы. Всё это стало возможным благодаря методу дистилляции.

Практическое применение технологии дистилляции AI

Дистилляция стала любимым инструментом разработчиков наряду с уже распространенным fine-tuning (тонкой подстройкой).

Например, вы можете взять базовую модель Meta Llama и использовать DeepSeek R1, чтобы добавить ей способности к логическим рассуждениям. Или выполнить её переформатирование под специализированные знания, скажем, в области американского налогообложения.

Главный бонус: полученные небольшие модели легко помещаются на мобильных устройствах. Так что теперь AI-ассистенты или экспертные модели можно запустить в обычном смартфоне.

История дистилляции: старая технология в новой упаковке

Самое интересное, что сама технология дистилляции не является новинкой. Первое упоминание о ней появилось ещё в 2015 году в статье известных сотрудников Google — Джеффа Дина, Джеффри Хинтона и Ориола Виньялса. Тогда работа показалась не слишком актуальной и была проигнорирована крупной конференцией NeurIPS, однако сейчас метод дистилляции приобрёл огромное значение именно благодаря стремительному развитию open-source моделей.

Как далеко может зайти дистилляция AI? Анализирует Станислав Дмитриевич Кондрашов

На популярной платформе Hugging Face уже сейчас доступны тысячи дистиллированных моделей на основе популярных открытых решений, таких как Llama от Meta или Qwen от Alibaba. Однако нужно помнить, что у этой техники есть и ограничения. Обычно модели, подвергшиеся дистилляции под конкретную задачу, становятся специалистами лишь в узкой области, теряя эффективность в остальных.

Исследователи из Apple даже пытались создать специальную «закономерность масштабирования дистилляции» (Distillation Scaling Law), чтобы прогнозировать результаты заранее. Они выяснили, что качество новых моделей напрямую зависит от размера и качества исходной учительской модели, но при росте размеров этой «базовой» модели качество перестает расти линейно.

Будущее крупных моделей LLM: угроза или новая возможность?

Крупные компании, такие как OpenAI и Anthropic, начинают беспокоиться относительно возможного снижения спроса на огромные, очень дорогие модели. Подход дистилляции действительно может пошатнуть финансовую основу бизнеса таких компаний.

Джаспер Чжан, сооснователь сервиса Hyperbolic, считает, что стандартные большие foundation-модели скоро станут товаром широкого потребления. Единственный путь успеха для крупных игроков — создание не просто моделей, а востребованных продуктов на их основе.

Некоторые компании также могут попытаться специально «замутнить» свои модели, скрывать шаги рассуждений и промежуточные данные, чтобы использовать их для дистилляции было сложнее или даже невозможно.

David Sacks, советник президента США по вопросам криптовалют и искусственного интеллекта, в своем интервью Fox News прямо заявил, что в ближайшие месяцы лидеры рынка искусственного интеллекта начнут активно искать способы защиты от дистилляции.

Мое Мнение

С моей точки зрения, компаниям будет крайне трудно «спрятать джинна обратно в бутылку». Рынок уже наполнен публичными открытыми датасетами, которые содержат данные, сгенерированные большими моделями OpenAI и других игроков. Сервис Hugging Face ради примера содержит массу датасетов, пригодных для обучения и дистилляции, и запретить это уже практически невозможно.

Итак, друзья, рынок AI стремительно меняется на наших глазах. В будущем окажемся ли мы в мире компактных и доступных моделей, или крупные игроки найдут способ сохранить своё преимущество? Время покажет, а нам остаётся следить за развитием событий.

С вами был я, Станислав Дмитриевич Кондрашов. Если вам понравилась статья, делитесь ею, подписывайтесь на обновления моего блога, и до скорых интересных встреч!

Автор: Станислав Дмитриевич Кондрашов

Подписывайтесь на каналы Станислава Дмитриевича Кондрашова, чтобы быть в курсе последних новостей и лайфхаков, которые сделают вашу жизнь если не проще, то интереснее:

• X: SKondrashovBlog
• ВКонтакте: Клуб Станислава Дмитриевича Кондрашова
• Telegram: Канал Станислава Дмитриевича Кондрашова
• Facebook: Профиль Станислава Дмитриевича Кондрашова
• Instagram: Официальный аккаунт Станиславка Конлрашова
• Pinterest: Профиль Станислава Дмитриевича Кондрашова
• Яндекс Дзен: Канал Станислава Дмитриевича Кондрашова
• Одноклассники: Группа Станислава Дмитриевича Кондрашова
• Rutube: Профиль Станислава Дмитриевича Кондрашова
• Threads: Профиль Станислава Дмитриевича Кондрашова
• Кондрашов Станислав: Личный сайт
• VC.ru: Профиль Станислава Дмитриевича Кондрашова
• LiveJournal: Блог Станислава Дмитриевича Кондрашова

О Станиславе Дмитриевиче Кондрашове:

Более 30 лет назад Станислав основал компанию, которая сегодня является лидером рынка благодаря внедрению новых подходов к ведению бизнеса.

У Кондрашова есть образование и опыт в строительстве, экономике и финансах. Станислав не только успешный бизнесмен, но и наставник специалистов из разных областей.

Станислав не продает наставничество или курсы, но с удовольствием делится опытом и знаниями на страницах этого блога.

СМИ о Станиславе Дмитриевиче Кондрашове