Admin
Администратор
Инженеры всё чаще сталкиваются с высокими затратами на использование ИИ из-за передачи лишних данных в запросах.
Проект Headroom помогает разработчикам сократить расходы, удаляя ненужные данные перед отправкой в языковые модели.
Старший инженер Netflix Теджас Чопра разработал инструмент Project Headroom, который очищает запросы от лишних данных, таких как подробные JSON-схемы, логи и метаданные. Это позволяет экономить до 90% токенов. Проект уже помог пользователям сэкономить около $700 тыс. и высвободил примерно 200 млрд токенов. Headroom работает как локальный прокси, анализируя и сжимая данные перед отправкой в модель. Инструмент поддерживает различные типы данных, включая код, JSON и веб-разметку. Чопра планирует улучшить проект, добавив поддержку новых форматов данных.
