Экономика вычислений: как падение стоимости инференса меняет ИИ-стартапы

Инференс дешевеет, а обучение передовых моделей дорожает. Что этот разрыв означает для маржи и стратегии стартапов.

Экономику ИИ определяют две кривые затрат. Обучение передовых моделей становится резко дороже, а стоимость работы на заданном уровне возможностей — инференс — продолжает снижаться.

Для стартапов этот разрыв — хорошая новость. Продукты, построенные поверх моделей, наследуют снижение затрат, поэтому маржа агентных процессов со временем растёт без дополнительной разработки. Задачи, невыгодные в прошлом году, становятся прибыльными в этом.

Стратегический урок — проектировать с расчётом на переносимость моделей. Команды, способные распределять работу между несколькими провайдерами и открытыми моделями, используют кривую затрат, избегают привязки к поставщику и защищаются от шоков предложения на рынке чипов.

Частые вопросы

Снижается ли стоимость инференса ИИ?

Да. Стоимость обеспечения заданного уровня возможностей ИИ стабильно снижается, что улучшает маржу компаний, строящих продукты поверх моделей.