Как установил Ollama и потестировал llama3, mistral и qwen3

После пробы Ollama на освободившейся от n8n VPS мне хватило полученных зависаний сервака, минимальных черепашьих результатов чтобы попробовать использовать свой локальный комп. У него мощности для работы с LLM вроде хватает, он с Nvidia 3060 12Gb.

Почти весь день ушёл на то, что нужно настраивать доступ к этому локальному «серваку» из интернета. Зато получилось. Не стал с ssl мудрить, таки тестово всё:

Для тестов взял текст на английском. Сам оригинал сложно написан, а ещё его перевести…

Вот это оригинальный текст на английском:

Tom Cruise Reflects on Getting Then-Wife Nicole Kidman Cast in ‘Eyes Wide Shut’: ‘She’s a Great Actress’ Stanley Kubrick initially only wanted to work with Cruise on what would become his final film, but the actor was able to convince the legendary director into making it a family affair.

За «идеальный» перевод возьму яндекс ГПТ —

Том Круз вспоминает, как уговорил свою тогдашнюю жену Николь Кидман сняться в фильме «С широко закрытыми глазами»: «Она отличная актриса».
Изначально Стэнли Кубрик хотел работать с Крузом только над фильмом, который стал бы его последним, но актёр смог убедить легендарного режиссёра сделать его семейным проектом.

— Офигеть качество перевода! Русский текст полно передает мысль оригинального текста.

А вот как отработали LLM на локальном компе:

Llama3 вариант через чат:

Том Круз размышляет о том, как он смог заручиться поддержкой своей тогдашней жены Николь Кидман в фильме «Глаза скрыты» (Eyes Wide Shut): «Она великая актриса».

Вначале Стэнли Кубрик хотел сработать только с Томом Крузом над тем фильмом, который бы стал его последним, но актёр смог убедить легендарного режиссёра сделать это семейным проектом.

Llama3 вариант через API:

Том Круз отражает на получившей тогда женой Николь Kidman в «Ширoko глядящим», где она снялась совместно с ней: «Она великая актриса»

Известный режиссёр Стэнтли Кубрик настроен был только работать с Томом Крузом над его последним фильмом, но актёр сумел убедить его сделать это семейным проектом.

Qwen3 вариант через чат:

<think>
Хорошо, мне нужно перевести этот текст на русский. Начну с первого предложения. «Tom Cruise Reflects on Getting Then-Wife Nicole
Kidman Cast in ‘Eyes Wide Shut’: ‘She’s a Great Actress’»

Первое, что бросается в глаза — это имя Тома Круза и его бывшей жены Николь Кидман. В оригинале «Then-Wife» — это «тогда жена»,
но в русском языке, возможно, лучше использовать «тогдашняя жена» или «сейчас жена». Проверю, как обычно переводят такие
выражения. Например, «then-wife» может быть «тогдашняя жена» или «в то время жена». Возможно, более естественно звучит «тогдашняя
жена».

Далее, название фильма «Eyes Wide Shut» — это «Открытое окно» или «Широкие глаза». Нужно выбрать стандартный перевод. Поищу в
интернете, как обычно переводят этот фильм. Оказывается, официальный перевод — «Открытое окно». Значит, будет ««Открытое окно»».

Теперь цитата: «She’s a Great Actress» — «Она великолепная актриса» или «Она отличная актриса». «Великолепная» звучит более
официально, но можно использовать и «отличная». Возможно, лучше «великолепная», чтобы передать восхищение.

Следующее предложение: «Stanley Kubrick initially only wanted to work with Cruise on what would become his final film, but the actor was able to convince the legendary director into making it a family affair.»

«Initially only wanted to work with Cruise» — «Сначала хотел работать только с Крузом». «What would become his final film» — «что в итоге стало его последним фильмом». «But the actor was able to convince the legendary director into making it a family affair»
— «но актёр смог убедить знаменитого режиссёра сделать это семейным делом».

Нужно проверить, правильно ли передан смысл. «Making it a family affair» — это сделать семейным делом, то есть включить семью.
Возможно, «сделать семейным проектом» или «включить в проект семью». Но «сделать семейным делом» звучит естественнее.

Теперь объединяю всё вместе. Проверю грамматику и структуру предложений. Убедюсь, что имена и названия правильно написаны.
Например, «Stanley Kubrick» — «Стивен Кубрик»? Нет, правильно «Стивен Кубрик» или «Стивен Кубрик»? Нет, имя Stanley Kubrick — «Стивен Кубрик» или «Стивен Кубрик»? Нет, правильно «Стивен Кубрик» — это имя, но в русском часто пишут «Стивен Кубрик» или «Стивен Кубрик». Проверю: Stanley Kubrick — «Стивен Кубрик» — да, так обычно пишут.

Теперь проверю весь перевод на соответствие исходному тексту и естественность. Возможно, некоторые слова можно переформулировать
для лучшего звучания. Например, «was able to convince» — «успел убедить» или «успешно убедил». «Legendary director» — «знаменитый
режиссёр» или «легендарный режиссёр». «Legendary» лучше перевести как «легендарный».

Итоговый перевод:

«Том Круз вспоминает, как смог включить тогдашнюю жену Николь Кидман в фильм «Открытое окно»: «Она великолепная актриса». Стивен Кубрик изначально хотел работать только с Крузом над тем, что в итню стало его последним фильмом, но актёр смог убедить знаменитого режиссёра сделать это семейным делом.»

Проверяю ещё раз: правильно ли переданы все детали. «Then-wife» — «тогдашняя жена», «final film» — «последним фильмом», «make it a family affair» — «сделать семейным делом». Похоже, всё верно. Теперь можно оформить окончательный перевод.
</think>

Том Круз вспоминает, как смог включить тогдашнюю жену Николь Кидман в фильм «Открытое окно»: «Она великолепная актриса». Стивен Кубрик изначально хотел работать только с Крузом над тем, что в итоге стало его последним фильмом, но актёр смог убедить знаменитого режиссёра сделать это семейным делом.

Выводы: с API то ли промпт не очень, то ли вообще сами LLM русский плохо знают. Пробовал и mistral — точно также. qwen3 при хорошем большом промпте выдает результат намного лучше. Но туда весь текст не засунуть, зависает LLM-ка, а если по кусочкам текст разбивать — то отлично.
В чате когда перевод делаешь — все тестируемые LLM переводят плохо.

qwen3 с доработанным промптом все равно тупит с переводами названий:

Том Круз отразил свое отношение к тому, как он смог убедить тогдашнюю жену Николь Кидман сыграть в фильме «С широко открытыми глазами»: «Она — отличный актёр». Стэнли Кубрик изначально хотел работать только с Крузом над тем, что впоследствии стало его последним фильмом, но актёр смог убедить знаменитого режиссёра сделать проект семейным. \nОдин из плюсов быть Томом Крузом — это то, что, когда он хочет чего-нибудь, он, вероятно, может это сделать. Даже когда речь шла о предложении режиссёру, который был известен своей капризностью, как Стэнли Кубрик, Круз всё же смог добиться своего, убедив режиссёра «С широко открытыми глазами» включить тогдашнюю жену Николь Кидман в проект. В интервью, снятом для выпуска июня журнала «Зрение и звук» (по данным «Индепендента»), знаменитый актёр «Миссии невыполнимой» вспомнил, как летел в Великобританию, чтобы познакомиться с Кубриком впервые, и сразу же предложил Кидман для роли в «С широко открытыми глазами». \n«Я прилетел к его дому, приземлился во дворе. Прочитал сценарий вчера и весь день обсуждали его. Я знал его фильмы», — сказал Круз. «Тогда это был просто процесс знакомства между ним и мной. И когда мы разговаривали, я предложил Николь сыграть роль [Алисы]. Потому что, очевидно, она — отличный актёр».»

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching