magicfile icon فایل سحرآمیر

دانلود سورس و کد تشخیص زبان یک متن نوشته شده با vb.net

دانلود-سورس-و-کد تشخیص-زبان-یک-متن-نوشته-شده-با-vb.net
توضیحات کوتاه و لینک دانلود
سورس و کد تشخیص زبان یک متن نوشته شده با vb.net برای شما کاربران عزیز وبسایت فایل سحرآمیز آماده دانلود قرار داده ایم.

دانلود - Download

لیست فایل های مشابه

لینک کوتاه : https://magicfile.ir/?p=2453
توضیحات کامل در مورد فایل

دانلود سورس و کد تشخیص زبان یک متن نوشته شده با vb.net

سورس و کد تشخیص زبان یک متن نوشته شده با vb.net برای شما کاربران عزیز وبسایت فایل سحرآمیز آماده دانلود قرار داده ایم. تشخیص زبان راه حل داده شده بر اساس n-gram و مقایسه وقوع کلمه است. برای هر زبانی که از کلمات استفاده می کند مناسب است (این در واقع برای همه زبان ها صادق نیست). بسته به مدل و طول متن ورودی، دقت بین 70% (فقط کوتاه نروژی، سوئدیش و دانیش که توسط مدل "همه" طبقه بندی شده اند) و 99.8٪ با استفاده از مدل "پیش فرض" است.

زمینه

تشخیص زبان یک متن نوشته شده احتمالاً یکی از اساسی ترین وظایف در پردازش زبان طبیعی (NLP) است. برای هر زبانی که بسته به پردازش یک متن ناشناخته، اولین چیزی که باید بدانید این است که متن به چه زبانی نوشته شده است. خوشبختانه، این یکی از چالش‌های ساده‌تر NLP است. رویکردی که من برای پیاده سازی انتخاب کرده ام به طور گسترده شناخته شده و بسیار ساده است. ایده این است که هر زبان دارای یک مجموعه منحصر به فرد از کاراکترهای (هم) وقوع است.

نمونه از تصاویر در زمان اجرا

اولین قدم جمع آوری آن آمار برای همه زبان هایی است که باید قابل تشخیص باشند. این به آن راحتی که ممکن است در وهله اول به نظر برسد نیست. مشکل جمع آوری مجموعه بزرگی از داده های آزمایشی (متن ساده) است که فقط یک زبان را شامل می شود و مختص دامنه نیست. (فقط مقالات روزنامه ها ممکن است فاقد استفاده از کلمه "I" و گفتار مستقیم باشند. استفاده از نمایشنامه های شکسپیر بهترین رویکرد برای تشخیص متون معاصر نخواهد بود. مقالات پزشکی معمولاً حاوی بسیاری از اصطلاحات خاص دامنه هستند که حتی مختص زبان نیستند (عمده ، مینور، شریان و غیره...) و اگر این کار به اندازه کافی سخت نیست، متون نباید دارای حق چاپ باشند. (من مطمئن نیستم که آیا این یک الزام واقعی است. آیا نتایج تجزیه و تحلیل آماری متون دارای حق چاپ نیز دارای حق چاپ است؟) من انتخاب کردم که از ویکی پدیا به عنوان منبع اصلی خود استفاده کنم. مجبور شدم مقداری فیلتر کنم تا " ویکی‌پدیا حاوی نام‌های مناسب زیادی است (یعنی نام گروه‌ها) که اغلب حاوی یک «the» یا «and» هستند. به همین دلیل است که آن کلمات در بسیاری از زبان ها وجود دارند حتی اگر بخشی از زبان نباشند. این لزوما نباید یک نقطه ضعف باشد، زیرا انگلیسیسم به طور گسترده در بسیاری از زبان ها گسترش یافته است. من برای هر زبان سه آمار ایجاد کردم: ویکی‌پدیا حاوی نام‌های مناسب زیادی است (یعنی نام گروه‌ها) که اغلب حاوی یک «the» یا «and» هستند. به همین دلیل است که آن کلمات در بسیاری از زبان ها وجود دارند حتی اگر بخشی از زبان نباشند. این لزوما نباید یک نقطه ضعف باشد، زیرا انگلیسیسم به طور گسترده در بسیاری از زبان ها گسترش یافته است. من برای هر زبان سه آمار ایجاد کردم:

  • مجموعه کاراکتر
    • برخی از زبان ها دارای یک مجموعه کاراکتر بسیار خاص هستند (مانند چینی، ژاپنی، و روسی). برای دیگران، برخی از شخصیت ها اشاره خوبی به زبان های مورد نظر می دهند (به عنوان مثال، Umlauts آلمان).
  • N-Grams

    • پس از تبدیل متن به کلمات (در صورت لزوم)، تعداد دفعات 1، 2 و 3 گرم شمارش شد. برخی از n-gram ها بسیار خاص زبان هستند (به عنوان مثال، "TH" در انگلیسی).
  • فهرست واژه

    • آخرین منبع ابهام‌زدایی، کلماتی هستند که واقعاً استفاده می‌شوند. برخی از زبان‌ها (مانند پرتغالی و اسپانیایی) در نویسه‌های استفاده شده و همچنین بروز n-gram‌های خاص تقریباً یکسان هستند. با این حال، کلمات مختلف در فرکانس های مختلف استفاده می شود.

به مجموعه آماری مدل می گویند. من زیرمجموعه هایی از مدل "همه" ایجاد کرده ام که بهترین نیازهای من را برآورده می کند (جدول زیر را ببینید). مدل "متداول" شامل 10 زبان پرمکلم در جهان است. "کوچک" و "پیش فرض" بر اساس سناریوهای استفاده من است. اگر اهل بخش دیگری از جهان هستید، ممکن است ترجیحات شما متفاوت باشد. بنابراین لطفاً در انتخاب من از اینکه چه زبان هایی در کدام مدل وجود دارد، توهین نکنید.

تمام آمارها بر اساس وقوع آنها مرتب شده و رتبه بندی می شوند. در برنامه آزمایشی، همه مدل ها را می توان با جزئیات مطالعه کرد. طبقه بندی یک متن ناشناخته ساده است. متن نشانه گذاری می شود و سه جدول برای آمار تولید می شود. جدول نتیجه با تمام جداول مدل مقایسه می شود و فاصله محاسبه می شود. جدول مقایسه مدلی که کمترین فاصله را با متن مجهول دارد به احتمال زیاد زبان متن است.

کد زبانزبانکیفیتپیش فرضمشترکبزرگکوتاه
nlDutch13x x 
enEnglish13xxxx
caCatalan13    
frFrench13xxxx
esSpanish13xxxx
noNorwegian13x x 
daDanish13x x 
itItalian13  xx
svSwedish13x x 
deGerman13xxxx
ptPortuguese13xxx 
roRomanian13    
viVietnamese13    
trTurkish13  x 
fiFinnish12  x 
huHungarian12  x 
csCzech12  x 
plPolish12  x 
elGreek12  x 
faPersian12    
heHebrew12    
srSerbian12    
slSlovenian12    
arArabic12 x  
nnNorwegian, Nynorsk (Norway)12    
ruRussian11 xx 
etEstonian11    
koKorean10    
hiHindi10 x  
isIcelandic10    
thThai9    
bnBengali (Bangladesh)9 x  
jaJapanese9 x  
zhChinese (Simplified)8 x  
seSami (Northern) (Sweden)5    

برای شما کاربر عزیز پیشنهاد دانلود داده می شود

 

برای دریافت دانلود سورس و کد تشخیص زبان یک متن نوشته شده با vb.net بر روی لینک زیر کلیک فرمایید

برای دریافت اینجا کلیک کن

فایل های که ممکن است نیاز داشته باشید

نظرات کاربران

کد امنیتی

لیست فایل های ویژه وبسایت

دانلود-نرم-افزار-ترجمه-خودکار-فایل-های-po-,-pot-بصورت-کامل-برای-تمامی-زبان-ها-از-جمله-فارسی
دانلود نرم افزار ترجمه خودکار فایل های po , pot بصورت کامل برای تمامی زبان ها از جمله فارسی

بهترین-سرویس-پوش-نوتیفیکیشن-اسکريپت-مديريت-اعلان-و-ساخت-پوش-نوتیفیکیشن-سایت
بهترین سرویس پوش نوتیفیکیشن اسکريپت مديريت اعلان و ساخت پوش نوتیفیکیشن سایت

استخراج-فالوور-های-اینستاگرام-نرم-افزار-ربات-اينستاگرامي-براي-دريافت-ليست-کامل-فالو-شده-ها-و-فالو-کننده-ها
استخراج فالوور های اینستاگرام نرم افزار ربات اينستاگرامي براي دريافت ليست کامل فالو شده ها و فالو کننده ها

دانلود-نرم-افزار-تغییر-زبان-سورس-و-کد-ویژوال-استودیو-(عناصر-دیزاین-طراحی-فرم-ها)
دانلود نرم افزار تغییر زبان سورس و کد ویژوال استودیو (عناصر دیزاین طراحی فرم ها)

دانلود-نرم-افزار-تبدیل-فایل-متنی-به-vcf-(مخاطب-موبایل)
دانلود نرم افزار تبدیل فایل متنی به vcf (مخاطب موبایل)