Продолжаю изыскания по оптимизации Legion Go 2 Extreme (8ASP2), 32 GB RAM в качестве мобильного, приватного, умного искусственного интеллекта без цензуры.
По моему личному мнению, Gemma 4 — 26B MOE — это одна из лучших моделей для локального ИИ на октябрь 2026 в качестве универсального ассистента.
Основная проблема Gemma 4 — это встроенный режим предварительных размышлений, который мне никак не удавалось отключить промтами на уровне Ollama и ухищрениями на Open WebUI.
Мне удалось решить эту проблему, сменив движок на Unsloth. Это очень интересная оболочка-комбайн все в одном: прямая работа на глубоком уровне с ИИ-моделью, и это не надстройка над Ollama, как WebUI.
Стабильность на очень высоком уровне, легкий автоматический сброс окна контекста, полноценный встроенный поиск в интернете, инструменты с Python, своя песочница, возможность подключить MCP Servers, работа с разными моделями, предназначенными для работы не только с текстом, но и с графикой, а также с аудио — все в одном. Ну и главная ее функция — дообучение моделей.
Этот инструмент мне очень понравился, и я решил перейти на эту инфраструктуру.
Результат: отключаемый по желанию режим размышления на Gemma 4, очень комфортный режим работы.
По ходу возникла трудность с режимом памяти. Т.к. я использую очень маленькое окно контекста в 8192 токена для экономии памяти, модель очень быстро забывает, о чем мы с ней общаемся. Но я решил это через MCP Servers и скрипт, который делает автоматическую выгрузку истории чатов Unsloth в отдельную базу памяти.
Как это работает:
Unsloth хранит все чаты в собственной SQLite-базе (studio.db). Этот скрипт раз в несколько секунд копирует оттуда сообщения во ВТОРУЮ базу (memory.db), которая лежит вне песочницы чата. Модель подключается к memory.db через MCP-сервер sqlite-memory и может читать историю из любого нового чата.
ГЛАВНОЕ ПРЕИМУЩЕСТВО: запись делает скрипт, а не модель. Ноль токенов в окне, тексты дословные, модель не может «забыть» сохранить.
Что делает скрипт:
-
база Unsloth открывается ТОЛЬКО НА ЧТЕНИЕ, поэтому скрипт Unsloth не мешает;
-
новые сообщения добавляются, измененные (редактирование, регенерация) обновляются;
-
сообщения, удаленные в Unsloth, в архиве ОСТАЮТСЯ (это архив, а не зеркало);
-
дублей не бывает: у каждого сообщения уникальный src_id;
-
всё пишется в sync.log рядом с memory.db (при pythonw консоли нет);
-
после каждой синхронизации с изменениями файл conversation_history.txt (рядом с memory.db) пересобирается из архива: вся история в сыром виде, по чатам, которую можно открыть в Блокноте.
Скриптом готов буду поделиться по личному запросу.
В следующей части я расскажу, сколько токенов мне удалось получить в режиме 16 GB ОЗУ + 16 GB GPU RAM, и да — это работает! Т.ч. покупка GPD Win Mini (2025) AMD AI 370, 32 GB / 2 TB вполне оправдана, и мои опасения, что комбинация 16+16 окажется нежизнеспособна, не подтвердились.