شباهت کسینوسی

یادگیری ماشین و داده‌کاوی
موضوع‌ها طبقه‌بندی آماری خوشه‌بندی تحلیل رگرسیون روش تشخیص ناهنجاری یادگیری قانون وابستگی یادگیری تقویتی پیش‌بینی ساختاریافته مهندسی ویژگی یادگیری ویژگی یادگیری ماشین برخط یادگیری نیمه‌نظارتی یادگیری بی‌نظارت Learning to rank Grammar induction
یادگیری با نظارت (طبقه‌بندی آماری • تحلیل رگرسیون) یادگیری درخت تصمیم Ensembles (تکنیک بگینگ، بوستینگ، جنگل تصادفی) k-NN رگرسیون خطی دسته‌بندی کننده بیز ساده شبکه‌های عصبی مصنوعی رگرسیون لجستیک پرسپترون ماشین بردار مرتبط (RVM) ماشین بردار پشتیبانی
خوشه‌بندی کاهش و خوشه‌بندی ترازمند و بازکردی با بهره‌گیری از رده‌بندی خوشه‌بندی سلسله‌مراتبی خوشه‌بندی کی-میانگین الگوریتم امید ریاضی–بیشینه کردن DBSCAN OPTICS انتقال میانگین
کاهش ابعاد تحلیل عاملی CCA تحلیل مؤلفه‌های مستقل آنالیز افتراقی خطی فاکتورگیری نامنفی ماتریس تحلیل مؤلفه‌های اصلی t-SNE
پیش‌بینی ساختاریافته مدل‌های گرافیکی (شبکه‌های بیزی، میدان تصادفی شرطی، مدل پنهان مارکف) مدل‌های توالی به توالی (سک۲سک) (مدل‌های ترنسفورمر مثل برت یا جی‌پی‌تی) ماشین بردار پشتیبان ساختاریافته برنامه‌ریزی خطی صحیح (ILP) مدل‌های مبتنی بر انرژی
روش تشخیص ناهنجاری الگوریتم کی-نزدیکترین همسایه فاکتور پرتی محلی
شبکه عصبی مصنوعی خودرمزگذار یادگیری عمیق پرسپترون چندلایه شبکه‌های عصبی بازگشت‌کننده (RNN) ماشین بولتزمن محدود شده ترانسفورمر بینایی نقشه‌های خودسازمان‌دهنده (SOM) شبکه عصبی پیچشی
یادگیری تقویتی کیو-یادگیری سارسا (SARSA) یادگیری تفاوت زمانی یادگیری تقویتی چندعاملی خودبازی
یادگیری با انسان یادگیری فعال جمع‌سپاری انسان در حلقه یادگیری تقویتی از بازخورد انسانی (RLHF)
عیب‌یابی مدل ضریب تعیین ماتریس درهم‌ریختگی الگو:منحی یادگیری (یادگیری ماشین) منحنی مشخصه عملکرد سیستم
نظریه معضل بایاس-واریانس نظریه یادگیری محاسباتی کمینه‌سازی ریسک تجربی اصل یادگیری اوکام یادگیری احتمالاً تقریبا صحیح یادگیری آماری نظریه VC
حوزه‌های یادگیری ماشین کنفرانس سیستم‌های پردازش اطلاعات عصبی (NIPS) کنفرانس بین‌المللی یادگیری ماشین (ICML) مجله یادگیری ماشین (ML) ژورنال پژوهش‌های یادگیری ماشین (JMLR) آرشیو یادگیری ماشین ArXiv:cs.LG

در حوزه تحلیل داده، شباهت کسینوسی (به انگلیسی: cosine similarity) یک معیار شباهت میان دو بردار ناصفر است که در یک فضای ضرب داخلی تعریف می‌شود. شباهت کسینوسی برابر با کسینوس زاویه بین دو بردار است. به‌عبارت دیگر، برابر است با ضرب داخلی دو بردار تقسیم بر حاصل‌ضرب طول‌های آن‌ها. از این‌رو، شباهت کسینوسی به اندازه بردارها وابسته نیست و تنها به زاویه میان آن‌ها بستگی دارد. مقدار شباهت کسینوسی همواره در بازه ${\displaystyle [-1,+1]}$ قرار دارد. برای نمونه، دو بردار متناسب و هم‌راستا دارای شباهت کسینوسی ${\displaystyle +1}$ هستند، دو بردار متعامد شباهتی برابر با ${\displaystyle 0}$ دارند، و دو بردار مخالف دارای شباهت ${\displaystyle -1}$ هستند. در برخی زمینه‌ها، مقادیر مؤلفه‌های بردارها نمی‌توانند منفی باشند؛ در این حالت، شباهت کسینوسی به بازه ${\displaystyle [0,1]}$ محدود می‌شود.

برای مثال، در بازیابی اطلاعات و متن‌کاوی، به هر واژه یک مختصات متفاوت اختصاص داده می‌شود و هر سند نیز به نوبه خود با برداری از تعداد دفعات وقوع هر واژه در آن سند نمایش داده می‌شود. در این حالت، شباهت کسینوسی معیاری مفید برای سنجش میزان شباهت دو سند از نظر موضوعی فراهم می‌کند و این کار را مستقل از طول اسناد انجام می‌دهد.^[۱]

در حوزه داده‌کاوی از این روش برای اندازه‌گیری انسجام درون خوشه‌ها استفاده می‌شود.^[۲]

یکی از مزایای شباهت کسینوسی، پیچیدگی ناچیز محاسباتی آن، به‌ویژه برای بردارهای خلوت است. زیرا تنها مختصات ناصفر نیاز به بررسی دارند.

نام‌های دیگر شباهت کسینوسی شامل شباهت اورکینی^[الف] و ضریب تطابق تاکر^[ب] هستند. شباهت اوتسوکا–اوچیای^[پ]، که در ادامه آمده است، در واقع همان شباهت کسینوسی اعمال‌شده بر داده‌های دودویی است.^[۳]

کسینوس زاویه بین دو بردار ناصفر را می‌توان با استفاده از فرمول ضرب داخلی اقلیدسی بدست آورد:

$${\displaystyle \mathbf {A} \cdot \mathbf {B} =\left|\mathbf {A} \right|\left|\mathbf {B} \right|\cos \theta }$$

اگر دو بردار n-بعدی از ویژگی‌ها، یعنی ${\displaystyle \mathbf {A} }$ و ${\displaystyle \mathbf {B} }$، داشته باشیم، شباهت کسینوسی، cos(θ)، با استفاده از ضرب داخلی و بزرگی به صورت زیر نمایش داده می‌شود:

$${\displaystyle {\text{cosine similarity}}=S_{C}(A,B):=\cos(\theta )={\mathbf {A} \cdot \mathbf {B} \over |\mathbf {A} ||\mathbf {B} |}={\frac {\sum \limits _{i=1}^{n}{A_{i}B_{i}}}{{\sqrt {\sum \limits _{i=1}^{n}{A_{i}^{2}}}}\cdot {\sqrt {\sum \limits _{i=1}^{n}{B_{i}^{2}}}}}},}$$

که در آن ${\displaystyle A_{i}}$ و ${\displaystyle B_{i}}$ به‌ترتیب مؤلفه ${\displaystyle i}$-اُم از بردارهای ${\displaystyle \mathbf {A} }$ و ${\displaystyle \mathbf {B} }$ هستند.

شباهت بدست‌آمده در بازه‌ای از ${\displaystyle -1}$ (به‌معنای دقیقاً مخالف بودن) تا ${\displaystyle +1}$ (به‌معنای دقیقاً هم‌راستا بودن) تغییر می‌کند؛ مقدار 0 نشان‌دهنده تعامد یا ناهمبسته‌سازی است، و مقادیر بین این دو حد نشان دهنده درجات میانی شباهت یا عدم شباهت هستند.

در کاربرد بررسی تطابق متن، بردارهای ویژگی A و B معمولاً بردارهای فراوانی واژه اسناد هستند. شباهت کسینوسی را می‌توان روشی برای نرمال‌سازی طول اسناد هنگام مقایسه در نظر گرفت. در کاربرد بازیابی اطلاعات، شباهت کسینوسی دو سند در بازه ${\displaystyle 0\to 1}$ قرار می‌گیرد، زیرا فراوانی واژه‌ها نمی‌توانند منفی باشند. این موضوع هنگام استفاده از وزن‌دهی TF-IDF نیز برقرار است. زاویه بین دو بردار فراوانی واژه نمی‌تواند بیش از ۹۰ درجه باشد.

اگر بردارهای ویژگی با کم‌کردن میانگین بردار نرمال‌سازی شوند (برای نمونه ${\displaystyle A-{\bar {A}}}$)، این معیار شباهت کسینوسی مرکز‌شده نامیده می‌شود و معادل ضریب همبستگی پیرسون است. برای نمونه‌ای از مرکزسازی:

${\displaystyle {\text{if}},A=[A_{1},A_{2}]^{T},{\text{ then }}{\bar {A}}=\left[{\frac {(A_{1}+A_{2})}{2}},{\frac {(A_{1}+A_{2})}{2}}\right]^{T},}$

${\displaystyle {\text{ so }}A-{\bar {A}}=\left[{\frac {(A_{1}-A_{2})}{2}},{\frac {(-A_{1}+A_{2})}{2}}\right]^{T}.}$

مهم‌ترین ویژگی شباهت کسینوسی این است که مقایسه‌ای نسبی، نه مطلق، از ابعاد منفرد بردار ارائه می‌دهد. برای هر ثابت مثبت ${\displaystyle a}$ و بردار ${\displaystyle V}$، دو بردار ${\displaystyle V}$ و ${\displaystyle aV}$ بیشترین شباهت ممکن را دارند. ازاین‌رو، این معیار بیش از همه برای داده‌هایی مناسب است که در آن‌ها فراوانی نسبت به مقادیر مطلق اهمیت بیشتری دارد؛ به‌ویژه فراوانی واژه‌ها در اسناد.

با این حال، معیارهای جدیدتری که ریشه در نظریه اطلاعات دارند، مانند واگرایی جنسن–شانون، SED و واگرایی مثلثی، نشان داده‌اند که دست‌کم در برخی زمینه‌ها، معناشناسی بهتری ارائه می‌دهند.^[۱۴]

شباهت کسینوسی با فاصله اقلیدسی به صورت زیر مرتبط است. فاصله اقلیدسی را با نماد متداول ${\displaystyle |A-B|}$ نشان می‌دهیم و توجه می‌کنیم که (همانی قطبی‌سازی):

$${\displaystyle |A-B|^{2}=(A-B)\cdot (A-B)=|A|^{2}+|B|^{2}-2(A\cdot B)\ }$$

این رابطه با بسط چندجمله‌ای به‌دست می‌آید. هنگامی که A و B به طول واحد نرمال‌سازی شوند، رابطه ${\displaystyle |A|^{2}=|B|^{2}=1}$ برقرا خواهد بود و بنابراین عبارت بالا برابر می‌شود با:

$${\displaystyle 2(1-\cos(A,B)).}$$

به طور خلاصه، فاصله کسینوسی را می‌توان برحسب فاصله اقلیدسی به صورت زیر بیان کرد:

$${\displaystyle D_{C}(A,B)={\frac {|A-B|^{2}}{2}}\quad \mathrm {when} \quad |A|^{2}=|B|^{2}=1}$$.

فاصله اقلیدسی در این حالت «فاصله وتر»^[ح] نامیده می‌شود (زیرا طول وتر روی دایره واحد است) و همان فاصله اقلیدسی میان بردارهایی است که به‌گونه‌ای نرمال‌سازی شده‌اند که مجموع مربعات مؤلفه‌های آن‌ها برابر با یک باشد.

توزیع صفر^[خ]: برای داده‌هایی که می‌توانند هم منفی و هم مثبت باشند، توزیع صفر شباهت کسینوسی برابر با توزیع ضرب داخلی دو بردار واحد تصادفی و مستقل است. این توزیع دارای میانگین صفر و واریانس ${\displaystyle 1/n}$ (که در آن ${\displaystyle n}$ تعداد ابعاد است) می‌باشد. با وجود آن که این توزیع میان −1 و +1 کران‌دار است، هرچه ${\displaystyle n}$ بزرگ‌تر شود، این توزیع به طور فزاینده‌ای با توزیع نرمال تقریب زده می‌شود.^[۱۵][۱۶] برای انواع دیگر داده‌ها، مانند جریان‌های بیتی که تنها مقادیر ۰ یا ۱ را می‌پذیرند، توزیع صفر شکل متفاوتی دارد و ممکن است دارای میانگین ناصفر باشد.^[۱۷]

نابرابری مثلثی معمولی برای زاویه‌ها (یعنی طول کمان‌ها روی یک ابرکره واحد) به ما می‌گوید که:

${\displaystyle |~\angle {AC}-\angle {CB}~|\leq ~\angle {AB}~\leq ~\angle {AC}~+~\angle {CB}~.}$

از آن‌جا که تابع کسینوس با افزایش زاویه در بازه [0, ${\displaystyle \pi }$] رادیان کاهش می‌یابد، هنگام گرفتن کسینوس از هر یک از این مقادیر، جهت این نابرابری‌ها معکوس می‌شود:

${\displaystyle \cos(\angle {AC}-\angle {CB})\geq \cos(\angle {AB})\geq \cos(\angle {AC}+\angle {CB}).}$

با استفاده از فرمول‌های جمع و تفریق کسینوس، این دو نابرابری را می‌توان برحسب کسینوس‌های اولیه به صورت زیر نوشت:

${\displaystyle \cos(A,C)\cdot \cos(C,B)+{\sqrt {\left(1-\cos(A,C)^{2}\right)\cdot \left(1-\cos(C,B)^{2}\right)}}\geq \cos(A,B),}$

${\displaystyle \cos(A,B)\geq \cos(A,C)\cdot \cos(C,B)-{\sqrt {\left(1-\cos(A,C)^{2}\right)\cdot \left(1-\cos(C,B)^{2}\right)}}.}$

این شکل از نابرابری مثلثی را می‌توان برای کران‌بندی کمینه و بیشینه شباهت دو شیء A و B به کار برد، مشروط بر آن که شباهت هر یک از آن‌ها با یک شیء مرجع C از پیش معلوم باشد. از این ویژگی، برای مثال، در نمایه‌سازی داده‌های متریک استفاده می‌شود و همچنین برای شتاب‌بخشیدن به خوشه‌بندی کی-میانگین نیز به کار رفته است.^[۱۸] این کاربرد دقیقاً به همان شیوه‌ای است که نابرابری مثلثی اقلیدسی برای شتاب‌بخشی به الگوریتم کی-میانگین معمولی استفاده شده است.

کسینوس نرم ^[د]یا («شباهت نرم») میان دو بردار، شباهت میان جفت‌های ویژگی را نیز در نظر می‌گیرد.^[۱۹] شباهت کسینوسی سنتی، ویژگی‌های مدل فضای برداری را مستقل یا کاملاً متفاوت از یکدیگر در نظر می‌گیرد، در حالی که معیار کسینوسی نرم پیشنهاد می‌کند شباهت میان ویژگی‌ها در VSM نیز لحاظ شود؛ امری که به تعمیم مفهوم کسینوس (و کسینوس نرم) و همچنین ایده شباهت (نرم) کمک می‌کند.

برای نمونه، در حوزه پردازش زبان‌های طبیعی (کوته‌نوشت: NLP)، شباهت میان ویژگی‌ها امری بدیهی است. ویژگی‌هایی مانند واژه‌ها، ان-گرام‌ها، یا ان-گرام‌های نحوی^[۲۰] می‌توانند بسیار شبیه به یکدیگر باشند، هرچند که از نظر صوری به عنوان ویژگی‌های متفاوت در VSM در نظر گرفته می‌شوند. برای مثال، واژه‌های انگلیسی «play» و «game» دو واژه متفاوت هستند و بنابراین به نقاط متفاوتی در VSM نگاشته می‌شوند، اما از نظر معنایی با یکدیگر مرتبط‌اند. در مورد ان-گرام‌ها یا ان-گرام‌های نحوی، می‌توان از فاصله لون‌اشتاین استفاده کرد (در واقع فاصله لون‌اشتاین برای واژه‌ها نیز قابل اعمال است).

برای محاسبه کسینوس نرم، از ماتریس s استفاده می‌شود که میزان شباهت میان ویژگی‌ها را نشان می‌دهد. این ماتریس می‌تواند با استفاده از فاصله لون‌اشتاین، شباهت وردنت، یا سایر معیارهای شباهت محاسبه شود. در ادامه، کافی است این ماتریس در محاسبات ضرب شود.

اگر دو بردار ${\displaystyle a}$ و ${\displaystyle b}$ با بعد N داده شده باشند، شباهت کسینوسی نرم به صورت زیر محاسبه می‌شود:

$${\displaystyle {\begin{aligned}\operatorname {soft_{c}osine} 1(a,b)={\frac {\sum \nolimits {i,j}^{N}s_{ij}a_{i}b_{j}}{{\sqrt {\sum \nolimits _{i,j}^{N}s_{ij}a_{i}a_{j}}}{\sqrt {\sum \nolimits _{i,j}^{N}s_{ij}b_{i}b_{j}}}}},\\s_{i}j=similarity(feature_{\mathbf {i} },feature_{\mathbf {j} })\end{aligned}}}$$

اگر هیچ شباهتی میان ویژگی‌ها وجود نداشته باشد (s_ii = 1 و s_ij = 0 برای i ≠ j)، معادله فوق معادل فرمول متداول شباهت کسینوسی خواهد بود.

پیچیدگی زمانی این معیار از مرتبه درجه دوم است، که آن را برای مسائل دنیای واقعی قابل استفاده می‌سازد. توجه داشته باشید که این پیچیدگی می‌تواند به کمتر از درجه دوم نیز کاهش یابد.^[۲۱] یک پیاده‌سازی کارآمد از چنین شباهت کسینوسی نرمی در کتابخانه متن‌باز جنسیم گنجانده شده است.

• ضریب سورنسن–دایس
• فاصله همینگ
• همبستگی و وابستگی
• اندیس ژاکار
• SimRank
• بازیابی اطلاعات