Игорь и программирование

Как сделать так, чтобы языковая модель работала локально и обрабатывала задачи без доступа к интернету?

Зачем это нужно?
Например, вы хотите удалить персональные данные из текста. Вы не можете делать это на серверах какой-либо компании, которая предоставляет API для доступа к языковой модели, потому что вам придется передать им персональные данные. А вы не хотите их передавать.

Что мы будем делать?
Установим обученную на нужной нам задаче нейросеть прям на компьютер и научимся обращаться к ней без запросов к сети.

Алгоритм:
1. Включаете PyCharm и создаете новый проект. Если не знаете, как, вот инструкция в моей статье.
2. Активируете Виртуальное окружение (venv). Если вы не знаете, как это делать, читайте соответствующий пункт в моей статье.
3. Убедитесь, что включено виртуальное окружение (в Терминале появилась надпись (venv)).
4. Пишем в Терминале

pip3 install transformers

(если не знаете, как работать с Терминалом, читайте в моей статье.
5. Устанавливаем

pip3 install torch torchvision torchaudio

6. Далее удаляете код из файла main.py и вставляете следующий код:

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

import os

os.environ['TRANSFORMERS_OFFLINE'] = "1"
os.environ['HF_DATASETS_OFFLINE'] = "1"

# model name (if Internet is enabled)
model_path_or_name = '../input/dslim/bert-base-NER'


tokenizer = AutoTokenizer.from_pretrained("dslim/bert-base-NER", local_files_only = True)
model = AutoModelForTokenClassification.from_pretrained("dslim/bert-base-NER",  local_files_only = True)

nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "My name is Andrew and I work at Google and live in Brooklin"

print(model)

ner_results = nlp(example)
print(ner_results)

7. Запускаете код, на экране появится результат. Будут выделены имена, названия городов, компаний.
8. Отключаете интернет, проверяете еще раз.
9. Все должно работать.

www.tgoop.com/IgorAndTheCode/22

379 viewsedited  Jul 19, 2023 at 16:41

Как сделать так, чтобы языковая модель работала локально и обрабатывала задачи без доступа к интернету?

Зачем это нужно?
Например, вы хотите удалить персональные данные из текста. Вы не можете делать это на серверах какой-либо компании, которая предоставляет API для доступа к языковой модели, потому что вам придется передать им персональные данные. А вы не хотите их передавать.

Что мы будем делать?
Установим обученную на нужной нам задаче нейросеть прям на компьютер и научимся обращаться к ней без запросов к сети.

Алгоритм:
1. Включаете PyCharm и создаете новый проект. Если не знаете, как, вот инструкция в моей статье.
2. Активируете Виртуальное окружение (venv). Если вы не знаете, как это делать, читайте соответствующий пункт в моей статье.
3. Убедитесь, что включено виртуальное окружение (в Терминале появилась надпись (venv)).
4. Пишем в Терминале

pip3 install transformers

pip3 install torch torchvision torchaudio

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

import os

os.environ['TRANSFORMERS_OFFLINE'] = "1"
os.environ['HF_DATASETS_OFFLINE'] = "1"

# model name (if Internet is enabled)
model_path_or_name = '../input/dslim/bert-base-NER'


tokenizer = AutoTokenizer.from_pretrained("dslim/bert-base-NER", local_files_only = True)
model = AutoModelForTokenClassification.from_pretrained("dslim/bert-base-NER",  local_files_only = True)

nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "My name is Andrew and I work at Google and live in Brooklin"

print(model)

ner_results = nlp(example)
print(ner_results)

BY Игорь и программирование