Долго мучал свою RTX 4090, понял что для 32B это тесно, а для 7B скучно. Сконцентрировался на нетривиальных задачах и первое что в голову пришло - написать семантический маппер данных для переноса из документоориентированных бд в реляционные.
В связи с этим вопрос - есть ли универсальное готовое решение или под каждый кейс отдельная разработка?
На сгенерированных хаотичных атрибутах (включая экстракцию из description) работает сносно (скормил хаотически размещенные атрибуты товара, расставила как надо).
Написал сложный валидатор чтобы проверить её работу - всё ок.
10000 полей обрабатывает в 3 секунды вместе с инициализацией.
Если есть у кого потребность в таких вычислениях на лету, готов взять в работу в порядке фриланса.
Следующее по плану - саунд дизайн с помощью DDSP от Google.