شکل ‏۴‑۱۰: طبقه ­بندی داده ­ها با بهره گرفتن از یک جداساز خطی، در دو دسته در فضای ویژگی
فصل مشترک بین فضای ویژگی و دسته­کننده یک مرز تصمیم را تعریف می­ کند. به طوری که اگر آن را به فضای ورودی برگردانیم، به صورت شکل (۴-۱۱) در می ­آید. بنا­براین انتقال داده ­های ورودی به فضای ویژگی غیر­خطی، آنها را به صورت خطی جدا­پذیر می­ کند. متاسفانه تشخیص فضای ویژگی مناسب برای هر مجموعه از داده ­ها به طوری که آنها را بتواند به صورت خطی جدا کند، نشدنی است و یافتن یک تابع ویژگی خوب در نتیجه یک فرایند سعی و خطا^[۳۷] است.

شکل ‏۴‑۱۱: مرز تصمیم دو دسته پس از نگاشت آنها

توابع کرنل رایج
برای اینکه انواع مختلفی از ماشین­های بردار پشتیبان را بسازیم، باید کرنل­های مختلفی که شرایط مرسر^[۳۸] را قانع کند، انتخاب کنیم.
(‏۴‑۲۶)
در حالت خاص، می­توانیم از کرنل­های زیر برای تعیین دسته مربوط به هر الگو استفاده کنیم:
(‏۴‑۲۷)
(‏۴‑۲۸)
(‏۴‑۲۹)
(‏۴‑۳۰)
(‏۴‑۳۱)
(‏۴‑۳۲)
(‏۴‑۳۳)
در نهایت تابع ممیّز به صورت زیر در می ­آید:
(‏۴‑۳۴)

رگرسیون بردار پشتیبان (SVR)
رگرسیون بردار پشتیبان طبق شرایط زیر امکان­ پذیر است:
۱) رگرسیون در مجموعه توابع خطی f(X)=w.X+b برآورد شود.
۲) مساله برآورد رگرسیون را به مسأله مینیمم­سازی ریسک­ها براساس تابع  -insensitive تعریف کنیم.
۳) ریسک را با بهره گرفتن از اصل کمینه­سازی خطای ساختاری مینیمم کنیم.
ماشین بردار پشتیبان در ابتدا برای شناسایی و طبقه ­بندی الگوها و سپس توسط واپنیک برای رگرسیون توسعه داده شد. که از یک تابع ارزش با حساسیت استفاده می­ کند. هدف SVR این است که یک تابع f(X) را برای الگوهای آموزشی X طوری تشخیص می­دهد که مینیمم حاشیه و ماکزیمم انحراف  را از مقادیر آموزشی y داشته باشد با بهره گرفتن از الگوهای آموزشی، SVR یک مدل را که بیانگر یک لوله^[۳۹] با شعاع  است، به داده ­ها فیت می­ کند.

رگرسیون­گیری خطی
در ابتدا یک مجموعه آموزشی T با N الگو با مقادیر آموزشی بدست آمده برای آنها را، با یکدیگر مقایسه و بررسی می­کنیم.
(‏۴‑۳۵)
حالت رگرسیون خطی با حاشیه سخت با تابع f(X)=w.X+b نشان داده می­ شود. برای این مورد ساده، SVR به صورت زیر بیان می­ شود:
(‏۴‑۳۶)
این شرایط می ­تواند به راحتی برای SVR با حاشیه نرم گسترش داده شود. یعنی اینکه بعضی اوقات ممکن است که نتوان تنها میزان خطای کمتر از  را لحاظ کرده و می­بایستی مقداری انحراف از  را نیز قابل قبول فرض نمود. این خطا با منظور نمودن متغیرهای کمبود  و  در مسأله بهینه­سازی بالا لحاظ می­ شود که در نهایت معادله بهینه­سازی به شکل زیر درخواهد آمد:
(‏۴‑۳۷)
، محدوده­ لوله­ی تقریب را تعیین می­ کند و C خطای مربوط به انحراف^[۴۰] بیشتر از  را کنترل می­ کند که هر دو بزرگتر از صفر هستند. برای تابع -insensitive انحراف به صورت زیر تعریف می­ شود:
(‏۴‑۳۸)
شکل ‏۴‑۱۲:نمودار تابع حساسیت واپنیک و جزئیات آن
لوله رگرسیون، محدود به ابر­صفحه  و  می­باشد. الگوهای قرار گرفته بین این ابرصفحه­ها، باقی مانده کمتر از  را دارند و در SVR خطای این الگوها صفر در نظر گرفته می­ شود. و فقط الگوهای قرار گرفته در بیرون از این محدوده باقی مانده بیشتر از  و در نتیجه یک خطای^[۴۱] غیر صفر دارند. که برای تابع حساسیت واپنیک با فاصله الگوها از محدوده رگرسیون متناسب می­باشد.
برای یافتن مقادیر و در معادله بهینه­سازی صفحه قبل، از روش تابع لاگرانژ استفاده می‌کنیم.
(‏۴‑۳۹)
که  ،  ،  و  ضرایب لاگرانژهستند. شرایط KKT برای این تابع به شکل زیر است: