На просторах ресурса Tymscar был опубликован интересный материал, рассказывающий историю о том, как пользователю удалось за довольно небольшие денежные средства приобрести серверный ускоритель и адаптировать его под простой персональный компьютер, который теперь может работать с локальным ИИ.
Всё началось с того, что игровая видеокарта NVIDIA GeForce RTX 4080 вроде и производительное решение для игр, но 16 Гбайт видеопамяти недостаточно для работы с ИИ, поэтому было принято решение не обращать внимания на RTX 5090, а зайти на вторичный рынок и найти там бывший в употреблении ускоритель NVIDIA Tesla V100 с 16 Гбайтами HBM2. Но вот незадача — он выполнен в форм-факторе SXM2, в связи с чем пришлось приобрести адаптер, чтобы он мог работать с разъёмом PCI Express.
После подключения к системе появился ещё один нюанс в виде очень шумного вентилятора турбинного типа, из коробки работающего на 100% оборотах и создающего шум на уровне 82 дБА. Для защиты слуха пришлось немного постараться и подключить вентилятор к материнской плате, выставив ограничение на максимальную скорость вращения на уровне 10%, благодаря чему он стал практически бесшумным и справлялся с отводом 150 Вт тепла, создаваемого при максимальной нагрузке.
Установка второй видеокарты увеличила общее количество видеопамяти до 32 Гбайт, поэтому пользователь смог без проблем запустить модель Qwen3.6-27B-MTP Q5_K_M объёмом 19 Гбайт и с размером контекста 128 тысяч токенов, получив 32 токена в секунду при инференсе. Затраты на проведения эксперимента составили $332: $266 на ускоритель и $66 за адаптер.