نمونه‌برداری گیبز: الگوریتم

کاربرد این الگوریتم در تولید دنباله‌ای از مشاهدات از یک تابع توزیع احتمالاتی چند متغیره است که تولید نمونه از آن به صورت مستقیم دشوار است. این دنباله را می‌توان برای تخمین توزیع همزمان (مثلاً برای تولید هیستوگرام توزیع)، تخمین توزیع حاشیه ای بر روی یک یا زیر مجموعه‌ای از متغیرهای توزیع (مانند پارامتر پنهان یا متغیرهای پنهان)، یا برای محاسبه یک انتگرال (مانند امید ریاضی متغیرها) استفاده نمود. اغلب برخی از متغیرها وابسته به مشاهدات هستند که مقدار آن‌ها مشخص است و بنابراین نیازی به نمونه‌برداری برای آن‌ها نیست.

نمونه‌برداری گیبز معمولاً به عنوان ابزاری برای استنتاج آماری و به ویژه در استنتاج بیزی استفاده می‌شود. این روش یک الگوریتم تصادفی (از آن جهت که با استفاده از اعداد تصادفی نمونه تولید می‌کند) که می‌تواند جایگزینی برای الگوریتم‌های قطعی در استنتاج آماری مانند الگوریتم بیشینه انتظار (ای ام) باشد.

نمونه‌برداری گیبز مانند دیگر الگوریتم‌های زنجیره مارکوف مونت کارلو، زنجیره مارکوفی از نمونه‌ها تولید می‌شود بطوری‌که هر نمونه وابسته به نمونه‌های نزدیک است؛ بنابراین اگر نمونه‌های مستقل مورد نظر است، باید نمونه‌برداری محتاطانه انجام پذیرد، این کار اغلب با نازک‌سازی زنجیرهٔ نمونه‌های حاصل شده انجام می‌شود بدین شکل که تنها مقدار n-ام زنجیره مثلاً ۱۰۰-ام انتخاب می‌شود. علاوه بر این نمونه‌های ابتدای زنجیره (تکرارهای سوخته) احتمالاً نمایانگر خوبی برای توزیع مورد نظر نخواهند بود.

نمونه‌برداری گیبز به افتخار نام فیزیکدان Josiah ویلارد گیبس, نامگذاری شده‌است و اشاره به یک مقایسه بین الگوریتم نمونه برداری و فیزیک آماری دارد. الگوریتم شرح داده شده، توسط برادران استوارت و دونالد Geman در سال 1984، یعنی هشت دهه پس از مرگ گیبس تشریح شد.

نمونه‌برداری گیبس در تجسم اولیه، یک حالت خاص از این الگوریتم متروپلیس‌هستینگز است. نکته‌ای که در نمونه‌برداری گیبس وجود دارد این است که برای یک توزیع چند متغیره، نمونه‌برداری از توزیع شرطی ساده‌تر است از محاسبه توزیع حاشیه ای، که با انتگرال‌گیری بر روی توزیع توام به‌دست می‌آید. فرض کنید ما می خواهیم ${\displaystyle \left.k\right.}$  نمونه از ${\displaystyle \mathbf {X} =(x_{1},\dots ,x_{n})}$  از یک توزیع توام ${\displaystyle p(x_{1},\dots ,x_{n})}$  به‌دست بیاوریم. نمونه ${\displaystyle i}$ -ام را به‌صورت ${\displaystyle \mathbf {X} ^{(i)}=\left(x_{1}^{(i)},\dots ,x_{n}^{(i)}\right)}$  روند الگوریتم به شرح زیر است:

1. با مقدار اولیه‌ای مانند ${\displaystyle \mathbf {X} ^{(i)}}$  شروع می‌کنیم.
2. نمونه بعدی را باید تولید نماییم. آن را ${\displaystyle \mathbf {X} ^{(i+1)}}$  می نامیم.${\displaystyle \mathbf {X} ^{(i+1)}=(x_{1}^{(i+1)},x_{2}^{(i+1)},\dots ,x_{n}^{(i+1)})}$  یک بردار است، مقدار هر اندیس ${\displaystyle x_{j}^{(i+1)}}$  از این بردار از توزیع آن اندیس مشروط بر باقی اندیس‌هایی که تاکنون نمونه‌برداری شده اند، نمونه‌برداری می‌شود.  اما یک دست آورد این است که: ما اندیس های ${\displaystyle \mathbf {X} ^{(i+1)}}$  را تا ${\displaystyle x_{j-1}^{(i+1)}}$  و پس از آن اندیس های${\displaystyle \mathbf {X} ^{(i)}}$  را با شروع از${\displaystyle x_{j+1}^{(i)}}$   تا${\displaystyle x_{n}^{(i)}}$  مشروط کردیم. برای دستیابی به این هدف نمونه‌برداری اندیس‌ها به ترتیب با شروع از اولین اندیس انجام شد. به بیان ریاضیاتی دقیق تر برای نمونه‌برداری از ${\textstyle x_{j}^{(i+1)}}$ , آن را بر اساس توزیعی که به صورت ${\displaystyle p(x_{j}^{(i+1)}|x_{1}^{(i+1)},\dots ,x_{j-1}^{(i+1)},x_{j+1}^{(i)},\dots ,x_{n}^{(i)})}$  بیان می‌شود، به روز رسانی کرده ایم.
3. دقت کنید که از مقدار اندیس  ${\displaystyle j+1}$ -ام در نمونه ${\displaystyle i}$ -ام استفاده کرده ایم نه نمونه${\displaystyle i+1}$ -ام.
4. گام فوق را به تعداد ${\displaystyle k}$ .