گفت‌وگو دربارهٔ انتخاب مدل زبانی در جلسه‌های مدیریتی تقریباً همیشه با پرسشی نادرست آغاز می‌شود: «کدام مدل بهتر است؟» پاسخ درست هرگز یک نام تجاری نیست؛ ترکیبی است از کاری که باید انجام شود، سقفی که برای هزینه پذیرفته‌اید و داده‌ای که اجازهٔ خروج از سازمان را ندارد.

واقعیت ۲۰۲۶ این است که فاصلهٔ کیفی میان مدل‌های ردهٔ بالا برای کارهای متنی رایج سازمان — خلاصه‌سازی گزارش، دسته‌بندی تیکت و استخراج داده از سند — آن‌قدر کم شده که به‌تنهایی تصمیم‌ساز نیست. تصمیم را چهار چیز دیگر می‌سازد.

چهار معیاری که واقعاً تصمیم را می‌سازند

• تناسب با کار: برای دسته‌بندی و استخراج فیلد از سند، مدل کوچک با دستور دقیق کافی است؛ استدلال چندمرحله‌ای است که به مدل بزرگ نیاز دارد.
• هزینهٔ هر پاسخ: عددی که در آزمایش ناچیز است، در حجم روزانه به یکی از بزرگ‌ترین ردیف‌های هزینهٔ عملیاتی بدل می‌شود.
• کیفیت فارسی: رتبهٔ مدل در آزمون‌های انگلیسی‌زبان، تضمینی برای نگارش روان و بی‌خطای فارسی نیست.
• مسیر داده: پرسش این نیست که مدل چقدر توانمند است؛ این است که داده کجا و با چه تعهدی پردازش می‌شود.

مدل بزرگ‌تر، پاسخ بهتر نمی‌سازد

در بیشتر فرآیندهای سازمانی، خروجی مطلوب یک متن خلاق نیست؛ یک قالب مشخص و تکرارپذیر است. در چنین کارهایی مدل کوچک‌تر با دستور روشن و چند نمونهٔ درست، همان نتیجه را با کسری از هزینه و تأخیر کمتر تحویل می‌دهد. معیار سنجش هم نرخ پاسخ قابل‌پذیرش در همان کار است، نه جایگاه مدل در جدول‌های عمومی.

هزینه را به‌ازای نتیجه بسنجید، نه به‌ازای توکن

برآوردهای اولیه تقریباً همیشه کمتر از واقعیت درمی‌آیند، چون فقط بخشی از هزینه شمرده می‌شود:

• ورودی و خروجی هر درخواست، به‌علاوهٔ دستور سیستمی و بافتی که در هر تماس تکرار می‌شود.
• تلاش‌های دوباره؛ هر پاسخ نامعتبر، هزینهٔ همان مورد را چند برابر می‌کند.
• بازبینی انسانی، که تا رسیدن به اعتماد کافی همراه فرآیند می‌ماند.

فارسی را باید آزمود، نه فرض کرد

پنجاه تا صد نمونهٔ واقعی از مکاتبات و اسناد خودتان را بردارید و گزینه‌ها را روی همان‌ها بسنجید: درستی دستور خط و نیم‌فاصله، وفاداری به لحن رسمی سازمان، پرهیز از ترجمهٔ تحت‌اللفظی اصطلاح‌های تخصصی، و رفتار با عدد و تاریخ.

ابری یا محلی: تصمیمی دربارهٔ داده

این انتخاب دوگانه نیست. سرویس ابری برای داده‌های غیرحساس، سریع‌ترین راه شروع است. اجرای محلی حریم داده‌های مشتری و قرارداد را حفظ می‌کند و در عوض هزینهٔ سخت‌افزار و نگهداشت را به شما منتقل می‌کند. مسیر سوم که بیشترین کاربرد را دارد ترکیبی است: پاک‌سازی شناسه‌های هویتی پیش از ارسال و نگه‌داشتن دادهٔ اصلی در سازمان.

آزمونی که در یک هفته پاسخ می‌دهد

• یک کار مشخص و پرتکرار را انتخاب کنید، نه یک قابلیت کلی.
• مجموعهٔ آزمونی از دادهٔ واقعی خودتان با پاسخ درستِ تأییدشده بسازید.
• دو یا سه گزینه را با دستور یکسان بسنجید: یک مدل بزرگ، یک میان‌رده و یکی که در محل اجرا می‌شود.
• سه عدد را ثبت کنید: نرخ پاسخ قابل‌پذیرش، هزینهٔ هر پاسخ و زمان پاسخ.
• ارزان‌ترین گزینه‌ای را بردارید که از آستانهٔ کیفی شما عبور می‌کند، نه بهترین نمرهٔ مطلق را.

اشتباه‌های رایج در این انتخاب

• تصمیم‌گیری بر پایهٔ جدول‌های عمومی و چند پرسش دستی، بدون مجموعهٔ آزمون سازمانی.
• قفل شدن روی یک تأمین‌کننده، به‌گونه‌ای که تغییر مدل یعنی بازنویسی کل سامانه.
• نادیده‌گرفتن پایداری خروجی؛ مدلی که در ده اجرا ده قالب می‌دهد، در فرآیند خودکار به کار نمی‌آید.
• نبود آستانهٔ کیفی از پیش تعیین‌شده، که مقایسه را به سلیقهٔ افراد جلسه واگذار می‌کند.

پرسش‌های پرتکرار

• آیا همیشه باید گران‌ترین مدل را برداریم؟
  نه. مدل گران را برای کارهای دشوار نگه دارید و بار حجیم و ساده را به مدل ارزان بسپارید؛ همین تفکیک بیشترین صرفه را می‌سازد.
• اگر داده‌های ما حساس است چه کنیم؟
  کار را دو دسته کنید: پردازش داده‌های حساس در محل، و سرویس ابری برای محتوای عمومی و بی‌نام.
• چند وقت یک‌بار انتخاب را بازبینی کنیم؟
  هر چند ماه همان مجموعهٔ آزمون را دوباره اجرا کنید؛ نسبت کیفیت به هزینه سریع‌تر از چرخهٔ بودجه تغییر می‌کند.

جمع‌بندی

انتخاب مدل زبانی یک خرید فناوری نیست؛ تصمیمی مهندسی‌شده با معیار روشن است. سازمانی که مجموعهٔ آزمون فارسی خودش را دارد، آستانهٔ پذیرش را عدد کرده و هزینهٔ هر نتیجه را می‌شناسد، با هر تغییر بازار در چند روز تصمیم می‌گیرد؛ سازمان بی‌معیار، هر بار از صفر شروع می‌کند.

واژه‌نامه

• مدل زبانی بزرگ: موتوری که متن را می‌فهمد و متن تولید می‌کند؛ پایهٔ دستیارهای گفت‌وگومحور.
• هزینهٔ هر پاسخ: هزینهٔ کامل پردازش یک درخواست در حجم واقعی، شامل تلاش‌های دوباره.
• مجموعهٔ آزمون: نمونه‌های واقعی سازمان همراه با پاسخ درست، مبنای مقایسهٔ منصفانهٔ مدل‌ها.
• پایداری خروجی: یکنواختی قالب و محتوای پاسخ در اجراهای مکرر با ورودی مشابه.
• قفل تأمین‌کننده: وابستگی فنی به یک سرویس‌دهنده که تغییر آن را پرهزینه می‌کند.

اقدام این هفته

یک کار مشخص و پرتکرار از فرآیند سازمان خود را انتخاب کنید — مثلاً خلاصه‌سازی گزارش یا دسته‌بندی تیکت — و مجموعه‌ای از ۵۰ تا ۱۰۰ نمونه واقعی با پاسخ درست تأییدشده بسازید. سه گزینه را با دستور یکسان روی همین داده‌ها بیازمایید: یک مدل بزرگ، یک مدل میان‌رده و یک مدل قابل اجرا در محل. برای هر گزینه سه عدد ثبت کنید: نرخ پاسخ قابل‌پذیرش، هزینهٔ هر پاسخ و زمان پاسخ. در پایان هفته، ارزان‌ترین گزینه‌ای را انتخاب کنید که از آستانهٔ کیفی تعیین‌شدهٔ شما عبور می‌کند — نه بهترین نمرهٔ مطلق را. این آزمون را با دادهٔ واقعی خودتان انجام دهید، نه با چند پرسش دستی از مدل‌ها.

منابع

• راهنمای ارزیابی مدل‌های زبانی برای کاربردهای سازمانی — دانشگاه MIT
• انتخاب مدل زبانی مناسب برای کسب‌وکار — مؤسسه بروکینگز
• معیارهای سنجش مدل‌های زبانی در ۲۰۲۶ — Hugging Face
• راهنمای محاسبه هزینهٔ واقعی مدل‌های زبانی — CIO
• ارزیابی خروجی مدل‌های زبانی در فرآیندهای خودکار — LangChain