سلام
پایتورچ یک لایبرری داره که شاید تا الان ندیده باشید. اسم این لایبرری torcheval هست و تماما برای محاسبه معیارهای ارزیابی هست. خیلی از معیارهای ارزیابی در حوزه‌های مختلف مثل تصویر، متن و صوت رو می‌تونید در این لایبرری پیدا کنید. به شکل زیر نصب میشه:

pip install torcheval

معیارها معمولا دو شکل کلاس و فانکشنال دارن. بیاید F1 Score رو در دو حالت فانکشنال و کلاس ببینیم:

from torcheval.metrics.functional import binary_f1_score
predictions = model(inputs)
f1_score = binary_f1_score(predictions, targets)

خب فانکشنال ساده و سرراست هست. اما کلاس خفن‌تر و جالب‌تر هست. یک آبجکت از معیار می‌سازیم و بعد با استفاده از متد update می‌تونیم دائما مقدار معیار رو آپدیت کنیم. به درد کجا میخوره؟ زمانی‌که می‌خوایید از این معیار توی دیتالودر ترین و ولیدیشن استفاده کنید. درنهایت هم اگه از متد compute استفاده کنید، می‌تونید مقدار نهایی معیار رو مشاهده کنید.

from torcheval.metrics import BinaryF1Score
for inputs, targets in dataloader:
     predictions = model(inputs)
     metric = BinaryF1Score()
     metric.update(predictions, targets)
f1_score = metric.compute()

این هم داکیومنت لایبرری:
https://pytorch.org/torcheval/stable/index.html

دوره جدید پایتورچ هوسم ایز کامینگ... ☺️
@pytorch_howsam