Как Pitchy.pro протестировала 16 ИИ-моделей через Polza.ai без отдельных интеграций с провайдерами
Pitchy.pro использует около 20 ИИ-моделей внутри одного продукта. Грант Polza.ai помог команде протестировать 16 новых моделей на реальных сценариях, быстрее пересобирать ИИ-пайплайн и не тратить время на отдельную интеграцию с каждым поставщиком.
О Pitchy.pro
Pitchy.pro – платформа для быстрой проверки продуктовых и стартап-гипотез. Она помогает предпринимателям и продуктовым командам изучить рынок, проанализировать конкурентов, определить целевую аудиторию и провести первичную валидацию идеи до начала полноценной разработки.
Одна из ключевых функций Pitchy – синтетические проблемные интервью. Платформа формирует портреты представителей целевой аудитории, моделирует диалоги с ними, анализирует ответы и собирает готовый отчет с потребностями, возражениями и выводами по гипотезе.
При этом ИИ используется не только на финальном этапе. Модели участвуют практически во всем основном сценарии продукта: анализируют исходную идею, помогают сформулировать гипотезу, ищут информацию о рынке и конкурентах, определяют сегменты аудитории, создают пользовательские портреты, проводят интервью и проверяют полученные результаты.
Один ответ – это 5-7 этапов и несколько моделей
Технически Pitchy — это не чат, который отправляет запрос в одну LLM и возвращает её ответ.
Один пользовательский запрос может проходить примерно через 5-7 последовательных этапов.
Сначала система определяет задачу и собирает необходимую информацию. Часть данных поступает из собственной базы знаний через RAG, при необходимости добавляется актуальная информация из интернета.
Затем найденные материалы разбиваются на смысловые фрагменты, а отдельная модель выполняет reranking и выбирает наиболее релевантный контекст. После этого к задаче подключается аналитический рой ИИ-агентов, которые рассматривают ее с разных сторон и формируют промежуточные выводы.
Основная модель собирает итоговый ответ, а на последнем этапе система еще раз проверяет факты и цифры, ищет противоречия, ошибки и возможные галлюцинации. Только после этого результат получает пользователь.
Почему одной модели оказалось недостаточно
Сейчас под капотом Pitchy работает около 20 моделей, включая семейства Qwen, DeepSeek, GLM и модели OpenAI.
Команда довольно быстро поняла, что использовать одну универсальную модель для всех операций неэффективно.
Для одного этапа важнее глубокий reasoning, для другого – минимальная задержка. Где-то достаточно лёгкой и недорогой модели, а для наиболее сложных задач требуется более мощная.
Поэтому разные модели внутри Pitchy выполняют разные роли: одни работают с поиском и обработкой данных, другие отвечают за reranking, третьи используются аналитическими агентами, а финальные модели собирают ответ и проверяют результаты. Такой подход позволяет балансировать между качеством, скоростью и стоимостью, не отправляя каждый промежуточный запрос в самую дорогую модель.
Но вместе с гибкостью появилась новая проблема – инфраструктура начала быстро усложняться.
Проблема: каждый эксперимент превращался в инфраструктурную задачу
У разных поставщиков свой набор моделей, уровень стабильности и SLA. Иногда нужная модель просто отсутствует у конкретного провайдера, а во время пиковых нагрузок увеличивается latency.
Для Pitchy задержки особенно критичны. Если пользовательский запрос последовательно проходит несколько этапов и каждый из них замедляется даже на секунду, это складывается в заметное ожидание на стороне пользователя.
Второй проблемой стала скорость экспериментов.
В ИИ-продукте сложно заранее определить, какая модель лучше справится с конкретной частью пайплайна. Это можно понять только на практике: прогнать реальные сценарии, сравнить качество, задержку и стоимость, а затем пересобрать архитектуру.
Но если для проверки каждой гипотезы сначала нужно интегрировать нового поставщика и поддерживать ещё одну инфраструктуру, значительная часть инженерного времени начинает уходить не на сам продукт.
Грант Polza.ai дал больше пространства для экспериментов
В этот момент команда Pitchy узнала о грантовой программе Polza.ai для стартапов.
После заявки проекту подключили грантовый баланс, который можно было использовать на реальные запросы к моделям через инфраструктуру Polza.ai.
Ценность гранта оказалась не только в снижении расходов на inference.
Вместо того чтобы заранее выбирать одну модель и строить вокруг нее продукт, команда смогла сравнивать разные варианты непосредственно на сценариях Pitchy: проверять, какая модель лучше подходит аналитическому агенту, какая быстрее выполняет промежуточные операции, а какую имеет смысл использовать только на наиболее сложных этапах.
Для раннего AI-стартапа это особенно важно: значительная часть разработки — это эксперименты, а каждый такой эксперимент одновременно требует и инженерного времени, и реальных расходов на модели.
Один API вместо отдельных интеграций
Не менее важной для Pitchy оказалась возможность работать с большим количеством моделей через единую инфраструктуру Polza.ai.
Команде не пришлось создавать отдельную интеграцию для каждого нового поставщика или перестраивать существующую архитектуру продукта.
Теперь появление интересной модели не обязательно означает новый интеграционный проект. Её можно быстрее подключить, прогнать на нужных сценариях, сравнить с текущими решениями и решить, стоит ли добавлять её в основной пайплайн.
Для небольшой команды это экономит не только деньги, но и время разработки.
Результат: 16 моделей протестированы на реальных сценариях
После подключения гранта Pitchy протестировала 16 передовых моделей, которые команда рассматривала для использования внутри своей инфраструктуры.
В результате стало проще:
- сравнивать модели на одинаковых продуктовых сценариях;
- распределять их по отдельным этапам ИИ-пайплайна;
- проверять новые модели без отдельного проекта по интеграции;
- искать баланс между качеством ответа, скоростью и стоимостью;
- направлять больше инженерного времени непосредственно на развитие продукта.
При этом команде не нужно поддерживать множество отдельных интеграций с поставщиками: доступ к моделям собран в одной инфраструктуре.
«Возможность быстро попробовать новую модель для нас ценнее, чем привязка к одному конкретному провайдеру», — Егор, фаундер Pitchy.pro
Что дальше
Сейчас команда Pitchy хочет в первую очередь улучшать качество синтетических интервью и формирование портретов целевой аудитории.
Ещё одно направление – развитие аналитического роя ИИ-агентов и механизмов проверки результатов. Команда хочет снижать количество галлюцинаций и противоречий в цифрах, а сами выводы делать более точными и обоснованными.
Параллельно Pitchy планирует расширять внутреннюю базу знаний и продолжать экспериментировать с новыми моделями по мере их появления. В перспективе продукт должен помогать командам не только при первичной проверке идеи, но и на следующих этапах: в исследованиях, развитии продукта, подготовке к запуску и участии в акселерационных программах.
Polza.ai стала не просто дополнительным балансом на использование моделей, а возможностью быстрее экспериментировать с собственной ИИ-архитектурой и направлять больше ресурсов на развитие продукта, а не на поддержку интеграций с разными поставщиками.
