Notice: file_put_contents(): Write of 12588 bytes failed with errno=28 No space left on device in /var/www/tgoop/post.php on line 50

Warning: file_put_contents(): Only 4096 of 16684 bytes written, possibly out of free disk space in /var/www/tgoop/post.php on line 50
PyTorch Howsam@pytorch_howsam P.371
PYTORCH_HOWSAM Telegram 371
چطوری می‌تونم یک متن رو در پایتورچ توکنایز کنم؟ 🤔

ساده هست؛ بیایید مرحله به مرحله پیش بریم...

اول، ایمپورت get_tokenizer از لایبرری تورچ‌تکست:
from torchtext.data.utils import get_tokenizer

دوم، کانفیگ کردن تابع get_tokenizer؛ یعنی با دستور زیر بگیم که چه نوع توکنایزری می‌خواییم. مثلا، ما از توکنایزر آماده پایتورچ برای انگلیسی استفاده کردیم:
tokenizer = get_tokenizer('basic_english')

سوم، یک جمله بنویسیم. جمله زیر معنی خاصی نداره. یک جمله ناقص از دیتاست ag_news هست. پرانتز داره می‌خواییم ببینیم توکنایزر با پرانتزها چیکار میکنه:
line = "Carlyle Looks Toward Commercial Aerospace (Reuters) Reuters"

چهارم، توکنایزر لطفا توکنایز کن:
tokens = tokenizer(line)
print(tokens)

این هم نتیجه:
['carlyle', 'looks', 'toward', 'commercial', 'aerospace', '(', 'reuters', ')', 'reuters']

⭕️ انصافا ساده بود، نه؟
برگرفته از دوره جدید آموزش پایتورچ هوسم 😎

@pytorch_howsam



tgoop.com/pytorch_howsam/371
Create:
Last Update:

چطوری می‌تونم یک متن رو در پایتورچ توکنایز کنم؟ 🤔

ساده هست؛ بیایید مرحله به مرحله پیش بریم...

اول، ایمپورت get_tokenizer از لایبرری تورچ‌تکست:
from torchtext.data.utils import get_tokenizer

دوم، کانفیگ کردن تابع get_tokenizer؛ یعنی با دستور زیر بگیم که چه نوع توکنایزری می‌خواییم. مثلا، ما از توکنایزر آماده پایتورچ برای انگلیسی استفاده کردیم:
tokenizer = get_tokenizer('basic_english')

سوم، یک جمله بنویسیم. جمله زیر معنی خاصی نداره. یک جمله ناقص از دیتاست ag_news هست. پرانتز داره می‌خواییم ببینیم توکنایزر با پرانتزها چیکار میکنه:
line = "Carlyle Looks Toward Commercial Aerospace (Reuters) Reuters"

چهارم، توکنایزر لطفا توکنایز کن:
tokens = tokenizer(line)
print(tokens)

این هم نتیجه:
['carlyle', 'looks', 'toward', 'commercial', 'aerospace', '(', 'reuters', ')', 'reuters']

⭕️ انصافا ساده بود، نه؟
برگرفته از دوره جدید آموزش پایتورچ هوسم 😎

@pytorch_howsam

BY PyTorch Howsam


Share with your friend now:
tgoop.com/pytorch_howsam/371

View MORE
Open in Telegram


Telegram News

Date: |

SUCK Channel Telegram Telegram Channels requirements & features Just at this time, Bitcoin and the broader crypto market have dropped to new 2022 lows. The Bitcoin price has tanked 10 percent dropping to $20,000. On the other hand, the altcoin space is witnessing even more brutal correction. Bitcoin has dropped nearly 60 percent year-to-date and more than 70 percent since its all-time high in November 2021. best-secure-messaging-apps-shutterstock-1892950018.jpg Developing social channels based on exchanging a single message isn’t exactly new, of course. Back in 2014, the “Yo” app was launched with the sole purpose of enabling users to send each other the greeting “Yo.”
from us


Telegram PyTorch Howsam
FROM American