سورس و کد استخراج کلمه کليدي با تفاوت آنتروپي بين حالت دروني و بيروني با ویژوال بیسیک دات نت

دانلود سورس و کد استخراج کلمه کليدي با تفاوت آنتروپي بين حالت دروني و بيروني با ویژوال بیسیک دات نت

ما در تلاش هستيم تا معيار جديدي را براي ارزيابي و رتبه بندي ارتباط کلمات در يک متن پيشنهاد کنيم. اين روش از تفاوت آنتروپي شانون بين حالت دروني و بيروني استفاده مي کند، که به اين واقعيت اشاره دارد که کلمات مرتبط به طور قابل توجهي منعکس کننده قصد نوشتن نويسنده هستند، به عنوان مثال، وقوع آنها توسط هدف نويسنده تعديل مي شود، در حالي که کلمات نامربوط به طور تصادفي در متن توزيع مي شوند. . با استفاده از منشاء گونه ها توسط چارلز داروين به عنوان نمونه متني نماينده، عملکرد آشکارساز ما نشان داده شده و با پيشنهادات قبلي مقايسه مي شود. از آنجايي که متن مرجع «پيشه» همه نوشته‌ها، کتاب‌ها، مقالات و غيره يک نويسنده است، نيازي به آثار جمع‌آوري‌شده او نيست. رويکرد ما به ويژه براي اسناد منفردي که هيچ اطلاعات قبلي در دسترس نيست مناسب است.

زمينه

يکي از مهم‌ترين تفاوت‌هاي بين متون نوشته شده توسط انسان و تايپ کردن ميمون‌ها، وجود کلي موضوعات معنادار در متون نوشتاري انسان است. کلمه کليدي / استخراج و رتبه‌بندي کلمات مربوطه نقطه شروع کارهاي حياتي مانند تشخيص موضوع و رديابي در متون نوشتاري است. آنها به طور گسترده اي در استخراج اطلاعات، انتخاب و بازيابي استفاده مي شوند.

حالت دروني و حالت بيروني در موقعيت هاي رخدادهاي نوع کلمه در متن.

در اينجا به معرفي مختصري از اصل الگوريتم مي پردازيم، مي تواند به شما در درک و استفاده بهتر از dll و نرم افزار کمک کند. ايده حالت دروني- بيروني بر اين ايده کلي استوار است که کلمات بسيار مهم تمايل دارند توسط قصد نويسنده تعديل شوند، در حالي که کلمات رايج اساساً به طور يکنواخت در سراسر متن پخش مي شوند. بنابراين حالت ذاتي ويژگي هاي آماري ظاهر يک کلمه مرتبط در يک موضوع را نشان مي دهد، به عنوان مثال، ويژگي هاي آماري خوشه بندي در هر موضوع. در همين حال، حالت بيروني ويژگي‌هاي آماري ناپديد شدن يک خوشه‌بندي کلمه در طول يک متن نوشته شده را نشان مي‌دهد و رابطه بين وقوع خوشه‌بندي کلمات در يک موضوع و سبک نوشتاري نويسنده را مشخص مي‌کند. همانطور که در شکل نشان داده شده است. 2. فاصله بين دو کلمه که تکرار متوالي است به صورت di = ti + 1 - ti تعريف مي شود. Ti جايگاه کلمه در متن است. اگر _di <? اختلاف زمان رسيدن di_به حالت ذاتي تعلق دارد. به عبارت ديگر، يک رخداد معين از کلمه بخشي از يک حالت ذاتي است اگر جداسازي محلي آن کمتر از ميانگين زمان انتظار آن باشد. اجازه دهيد dI = {di | di <?} مجموعه اتحاديه براي همه di <? است که در شکل پايين سمت چپ در شکل نشان داده شده است. 2. ما از طريق آزمايشات متوجه شديم که کلمه کليدي که در مقاله ظاهر مي شود، ويژگي هاي مصالح را نشان مي دهد. بنابراين آنتروپي حالت دروني آن بزرگ است در حالي که آنتروپي حالت بيروني آن کوچک است. كلمات كلي به طور مساوي در مقاله توزيع شده اند، فاصله هر دو كلمه متوالي تغيير كمي به نظر مي رسد، بنابراين تفاوت آنتروپي بين حالت دروني و بيروني كم است. به اين ترتيب مي توانيد از مقدار E که تفاوت آنتروپي بين حالت دروني و بيروني است براي استخراج کلمات کليدي استفاده کنيد. در عمل، براي حذف کلمات توزيع شده تصادفي و شرايط مرزي، از شرايط مرزي _C ~ c ~ و تفاوت آنتروپي نرمال شده _E_nor به عنوان شاخص هاي نهايي استفاده مي کنيم. اگر مي‌خواهيد با جزئيات بيشتر اين الگوريتم آشنا شويد.

نکات برجسته

• ما يک معيار جديد براي ارزيابي و رتبه بندي ارتباط کلمات در يک متن پيشنهاد مي کنيم.
• اين متريک از تفاوت آنتروپي شانون بين حالت دروني و بيروني استفاده مي کند.
• ما معتقديم که اين کار يک نتيجه جديد در استخراج و رتبه بندي کلمات کليدي است.
• رويکرد ما به ويژه براي اسناد منفردي که هيچ اطلاعات قبلي در دسترس نيست مناسب است.