LARAVEL_IT Telegram 2690
Forwarded from The Dragon Code News
🚀 Быстрый запуск локального ИИ ассистента в PhpStorm

Для этого Вам нужна видеокарта с RTX ядрами от NVidia или RDNA от Radeon, иначе скорость работы нейронки будет низкой.

Также нужен Docker.


Теперь можно выполнить консольные команды:

docker run -d -p 11434:11434 --gpus=all -v ollama:/root/.ollama --name ollama --restart always ollama/ollama

docker exec ollama ollama run gemma3:12b


где gemma3:12b - это модель и её размер с сайта Ollama. Размер модели выбирайте не больше размера видеопамяти. Например, в карточке с 12 Гб VRAM самой большой моделью будет gemma3:12b иначе все вычисления лягут на CPU, а это очень-очень медленно. Если не нравится модель gemma3, тогда можете выбрать любую другую на сайте.

После того как запустили Ollama в докере и загрузили в неё модель, устанавливаем плагин ProxyAI в PhpStorm (раньше плагин назывался CodeGPT) и легко настраиваем.

Настройки плагина находятся в разделе File | Settings | Tools | ProxyAI.

1. Выбираем провайдер "Ollama (local)";
2. В разделе "Ollama (local)" жмём кнопку "Refresh models" для обновления списка доступных моделей и выбора нужной.

Нюанс один - не все модели отвечают на русском языке. Например, gemma3 принципиально отвечает только по-английски, хотя понимает русский язык.
47



tgoop.com/laravel_it/2690
Create:
Last Update:

🚀 Быстрый запуск локального ИИ ассистента в PhpStorm

Для этого Вам нужна видеокарта с RTX ядрами от NVidia или RDNA от Radeon, иначе скорость работы нейронки будет низкой.

Также нужен Docker.


Теперь можно выполнить консольные команды:

docker run -d -p 11434:11434 --gpus=all -v ollama:/root/.ollama --name ollama --restart always ollama/ollama

docker exec ollama ollama run gemma3:12b


где gemma3:12b - это модель и её размер с сайта Ollama. Размер модели выбирайте не больше размера видеопамяти. Например, в карточке с 12 Гб VRAM самой большой моделью будет gemma3:12b иначе все вычисления лягут на CPU, а это очень-очень медленно. Если не нравится модель gemma3, тогда можете выбрать любую другую на сайте.

После того как запустили Ollama в докере и загрузили в неё модель, устанавливаем плагин ProxyAI в PhpStorm (раньше плагин назывался CodeGPT) и легко настраиваем.

Настройки плагина находятся в разделе File | Settings | Tools | ProxyAI.

1. Выбираем провайдер "Ollama (local)";
2. В разделе "Ollama (local)" жмём кнопку "Refresh models" для обновления списка доступных моделей и выбора нужной.

Нюанс один - не все модели отвечают на русском языке. Например, gemma3 принципиально отвечает только по-английски, хотя понимает русский язык.

BY Laravel World







Share with your friend now:
tgoop.com/laravel_it/2690

View MORE
Open in Telegram


Telegram News

Date: |

Joined by Telegram's representative in Brazil, Alan Campos, Perekopsky noted the platform was unable to cater to some of the TSE requests due to the company's operational setup. But Perekopsky added that these requests could be studied for future implementation. Other crimes that the SUCK Channel incited under Ng’s watch included using corrosive chemicals to make explosives and causing grievous bodily harm with intent. The court also found Ng responsible for calling on people to assist protesters who clashed violently with police at several universities in November 2019. To view your bio, click the Menu icon and select “View channel info.” SUCK Channel Telegram Those being doxxed include outgoing Chief Executive Carrie Lam Cheng Yuet-ngor, Chung and police assistant commissioner Joe Chan Tung, who heads police's cyber security and technology crime bureau.
from us


Telegram Laravel World
FROM American