پردازش زبانهای طبیعی یکی از زیرشاخههای مهم در حوزهٔ علوم رایانه، هوش مصنوعی است که به تعامل بین کامپیوتر و زبانهای (طبیعی) انسانی میپردازد؛ بنابر این پردازش زبانهای طبیعی بر ارتباط انسان و رایانه، متمرکز است.
چالش اصلی و عمده در این زمینه، درک زبان طبیعی و ماشینی کردن فرایند درک و برداشت مفاهیم بیانشده با یک زبان طبیعیِ انسانی است. به تعریف دقیقتر، پردازش زبانهای طبیعی عبارت است از استفاده از رایانه برای پردازش زبان گفتاری و زبان نوشتاری. بدین معنی که رایانهها را قادر سازیم که گفتار یا نوشتار تولید شده در قالب و ساختار یک زبان طبیعی را تحلیل و درک نموده یا آن را تولید نمایند. در این صورت، با استفاده از آن میتوان به ترجمهٔ زبانها پرداخت، از صفحات وب و بانکهای اطلاعاتیِ نوشتاری جهت پاسخ دادن به پرسشها استفاده کرد، یا با دستگاهها، مثلاً برای مشورت گرفتن به گفتوگو پرداخت.اینها تنها مثالهایی از کاربردهای متنوع پردازش زبانهای طبیعی هستند.
هدف اصلی در پردازش زبان طبیعی، ایجاد تئوریهایی محاسباتی از زبان، با استفاده از الگوریتمها و ساختارهای دادهای موجود در علوم رایانه است. بدیهی است که در راستای تحقق این هدف، نیاز به دانشی وسیع از زبان است و علاوه بر محققان علوم رایانه، نیاز به دانش زبان شناسان نیز در این حوزه میباشد. با پردازش اطلاعات زبانی میتوان آمار مورد نیاز برای کار با زبان طبیعی را استخراج کرد.
کاربردهای پردازش زبان طبیعی به دو دسته کلی قابل تقسیم است: کاربردهای نوشتاری و کاربردهای گفتاری.
بهطور کلی تاریخچه پردازش زبان طبیعی از دهه ۱۹۵۰ میلادی شروع میشود. در ۱۹۵۰ آلن تورینگ مقاله معروف خود را دربارهٔ آزمایش تورینگ که امروزه به عنوان ملاک هوشمندی شناخته میشود، منتشر ساخت.
نخستین تلاشها برای ترجمه توسط رایانه ناموفق بودند، بهطوریکه ناامیدی بنگاههای تأمین بودجهٔ پژوهش از این حوزه را نیز در پی داشتند. پس از اولین تلاشها آشکار شد که پیچیدگی زبان بسیار بیشتر از چیزیست که پژوهشگران در ابتدا پنداشتهبودند. بیگمان حوزهای که پس از آن برای استعانت مورد توجه قرار گرفت زبانشناسی بود. اما در آن دوران نظریهٔ زبانشناسی وجود نداشت که بتواند کمک شایانی به پردازش زبانها بکند. در سال ۱۹۵۷ کتاب ساختارهای نحوی اثر نوام چامسکی زبانشناس جوان آمریکایی که از آن پس به شناختهشدهترین چهرهٔ زبانشناسی نظری تبدیل شد به چاپ رسید. از آن پس پردازش زبان با حرکتهای تازهای دنبال شد اما هرگز قادر به حل کلی مسئله نشد.
NLP مبتنی بر قوانین دستنویس (دهه ۱۹۵۰ - اوایل دهه ۱۹۹۰)
NLP مبتنی بر روشهای آماری (۱۹۹۰–۲۰۱۰)
تا دهه ۱۹۸۰، اکثر سیستمهای پردازش زبان طبیعی بر اساس مجموعههای پیچیدهای از قوانین دست نوشته بودند. از اواخر دهه ۱۹۸۰، با معرفی الگوریتمهای یادگیری ماشینی برای پردازش زبان، انقلابی در پردازش زبان طبیعی رخ داد. این امر هم به دلیل افزایش مداوم در قدرت محاسباتی و هم کاهش تدریجی تسلط نظریات زبانشناسی چامسکی بود.
NLP مبتنی بر شبکههای عصبی (در حال حاضر)
در دهه ۲۰۱۰، روشهای یادگیری بازنمایی و یادگیری ماشینی به سبک شبکه عصبی عمیق در پردازش زبان طبیعی رایج شد. این محبوبیت تا حدی به دلیل انبوهی از نتایج بود که نشان میداد چنین تکنیکهایی میتوانند به نتایج پیشرفتهای در بسیاری از کارهای زبان طبیعی، مانند مدلسازی زبان و تجزیه دست یابند. این امر بهطور فزاینده ای در پزشکی و مراقبتهای بهداشتی مهم است.
در ابتدا، بسیاری از سیستمهای پردازش زبان با قوانین دستنویس، یعنی کدگذاری دستی مجموعهای از قوانین، همراه با جستجوی فرهنگ لغت، طراحی میشدند: مانند نوشتن دستور زبان یا ابداع قوانین اکتشافی برای به دست آوردن ریشه واژه.
ولی سیستمهای جدیدتر مبتنی بر الگوریتمهای یادگیری ماشینی مزایای زیادی نسبت به قوانین دستساز دارند:
با وجود محبوبیت یادگیری ماشینی در تحقیقات NLP، روشهای دستنویس هنوز (۲۰۲۰) در موارد زیر استفاده میشوند:
از زمان به اصطلاح «انقلاب آماری» در اواخر دهه ۱۹۸۰ و اواسط دهه ۱۹۹۰، بسیاری از تحقیقات پردازش زبان طبیعی به شدت بر یادگیری ماشین تکیه کردند.
بسیاری از کلاسهای مختلف الگوریتمهای یادگیری ماشین برای وظایف پردازش زبان طبیعی به کار گرفته شدهاند. این الگوریتمها مجموعه بزرگی از «ویژگیها» را که از دادههای ورودی تولید میشوند، به عنوان ورودی میگیرند. با این حال، تحقیقات بهطور فزایندهای بر مدلهای آماری متمرکز شدهاست، که تصمیمهای نرم و احتمالی را بر اساس ضمیمه کردن وزنهای با ارزش واقعی به هر ویژگی ورودی میگیرند. چنین مدلهایی این مزیت را دارند که میتوانند قطعیت نسبی بسیاری از پاسخهای ممکن مختلف را به جای یک پاسخ بیان کنند، و زمانی که چنین مدلی به عنوان جزئی از یک سیستم بزرگتر گنجانده شود، نتایج قابل اعتمادتری تولید میکند.
برخی از اولین الگوریتمهای یادگیری ماشینی مورد استفاده، مانند درختهای تصمیم، سیستمهایی از قواعد سخت «اگر-آنگاه» مشابه قوانین دستنویس موجود تولید کردند. همچنین برچسبگذاری بخشی از گفتار، استفاده از مدلهای پنهان مارکوف را در پردازش زبان طبیعی را معرفی کرد، و بهطور فزایندهای، تحقیقات بر روی مدلهای آماری متمرکز شدهاند که تصمیمهای احتمالی را بر اساس ضمیمه کردن وزنهای با ارزش واقعی به ویژگیهای تشکیلدهنده ورودی میگیرند. مدلهای زبان حافظه پنهان که اکنون بسیاری از سیستمهای تشخیص گفتار بر آنها تکیه دارند، نمونههایی از این مدلهای آماری هستند. چنین مدلهایی معمولاً وقتی ورودی ناآشنا به آنها داده میشود، به ویژه ورودیهایی که حاوی خطا هستند (همانطور که برای دادههای دنیای واقعی بسیار رایج است)، بهتر عمل میکنند و زمانی که در یک سیستم بزرگتر شامل وظایف فرعی متعدد ادغام میشوند، نتایج قابل اعتمادتری تولید میکنند.
از زمان روی آوردن به شبکههای عصبی، روشهای آماری در تحقیقات NLP تا حد زیادی با شبکههای عصبی جایگزین شدهاند. با این حال، آنها همچنان برای زمینههایی که در آنها قابلیت تفسیر و شفافیت آماری مورد نیاز است، استفاده میشوند.
یک اشکال عمده روشهای آماری این است که آنها به مهندسی ویژگیها نیاز دارند. به همین علت از سال ۲۰۱۵ تحقیقات با روشهای آماری تا حد زیادی رها شده و به سمت شبکههای عصبی برای یادگیری ماشین رفتهاست. تکنیکهای رایج عبارتند از استفاده از جاسازی کلمات برای دریافت ویژگیهای معنایی کلمات، و افزایش یادگیری تمام کار در سطح بالاتر (مثلاً پاسخگویی به سؤال) بهجای تکیه بر یک صف از وظایف میانی جداگانه (مثلاً، برچسب گذاری بخشی از گفتار و تجزیه وابستگی). در برخی زمینهها، این تغییر مستلزم تغییرات اساسی در نحوه طراحی سیستمهای NLP است، به طوری که رویکردهای مبتنی بر شبکه عصبی عمیق ممکن است به عنوان یک الگوی جدید متمایز از پردازش زبان طبیعی آماری در نظر گرفته شوند. به عنوان مثال، اصطلاح ترجمه ماشینی عصبی (NMT) بر این واقعیت تأکید دارد که رویکردهای مبتنی بر یادگیری عمیق برای ترجمه ماشینی مستقیماً از تبدیلهای دنباله به دنباله یادمیگیرند، و نیاز به مراحل میانی مانند تراز کردن کلمات و مدلسازی زبان را که در آمار مورد استفاده قرار میگرفت، نیست.
پردازش زبانهای طبیعی رهیافت بسیار جذابی برای ارتباط بین انسان و ماشین محسوب میشود و در صورت عملی شدنش بهطور کامل میتواند تحولات شگفتانگیزی را در پی داشتهباشد. سیستمهای قدیمی محدودی مانند SHRDLU که با واژههای محدود و مشخصی سر و کار داشتند، بسیار عالی عمل میکردند، بهطوریکه پژوهشگران را به شدت نسبت به این حوزه امیدوار کردهبودند. اما در تقابل با چالشهای جدیتر زبانی و پیچیدگیها و ابهامهای زبانها، این امیدها کمرنگ شدند. مسئلهٔ پردازش زبانهای طبیعی معمولاً یک مسئلهٔ AI-complete محسوب میشود، چرا که محقق شدن آن بهطور کامل مستلزم سطح بالایی از درک جهان خارج و حالات انسان برای ماشین است.
پردازش زبانهای طبیعی بهشکل آمارگرا عبارت است از استفاده از روشهای تصادفی، احتمالاتی و آماری برای حل مسائلی مانند آنچه در بالا ذکر شد. بهویژه از این روشها برای حل مسائلی استفاده میکنند که ناشی از طولانی بودن جملات و زیاد بودن تعداد حالات ممکن برای نقش کلمات هستند. این روشها معمولاً مبتنی بر نمونههای متنی و مدلهای مارکف هستند.
Crystal D. , The Cambridge Encyclopedia of Language, 2nd edition, Cambridge University Press, 1996. ISBN 0-521-55967-7 Manning, C. D. , and Schutze, H. , Foundations of Statistical Natural Language Processing, 5th edition, The MIT Press, 2002. ISBN 0-262-13360-1
This article uses material from the Wikipedia فارسی article پردازش زبانهای طبیعی, which is released under the Creative Commons Attribution-ShareAlike 3.0 license ("CC BY-SA 3.0"); additional terms may apply (view authors). محتوا تحت CC BY-SA 4.0 در دسترس است مگر خلافش ذکر شده باشد. Images, videos and audio are available under their respective licenses.
®Wikipedia is a registered trademark of the Wiki Foundation, Inc. Wiki فارسی (DUHOCTRUNGQUOC.VN) is an independent company and has no affiliation with Wiki Foundation.