15 Kasım 2021 |

Doğal Dil İşleme (Natural Language Processing) Teknolojisi Hakkında Her Şey

Günümüzde birçok şirket doğal dil işlemenin önemini kavramış ve doğal dil işleme teknolojisini optimizasyon için kullanmaktadır. Şirketlerin doğal dil işleme teknolojisini kullanmasının bazı sebepleri vardır. İhtiyaç duydukları bilgileri kolayca bularak metin analizinin verimliliğini artırmak ve sosyal medya izlemeyi geliştirmek bunlardan sadece bazılarıdır.

Bankalar müşteri desteğini artırmak için doğal dil işleme algoritmalarını uygulayabilir. Büyük bir tüketici ürünleri markası, bilgi yönetimi stratejilerini ve sosyal medya izlemelerini geliştirmek için doğal dil işlemeyi ve anlamsal analizi birleştirebilir. Bunlar gibi çeşitli avantajlarıyla şirketler için hayati denebilecek bir öneme sahip olan doğal dil işleme, büyük fırsatlar barındırmaktadır. Peki tam olarak doğal dil işleme (Natural Language Processing) teknolojisi nedir?

Bu yazımızda sizler için doğal dil işleme teknolojisi hakkında merak edilen tüm sorulara cevap vereceğiz.

 

Doğal Dil İşleme (Natural Language Processing) Nedir?

Doğal dil işleme genel olarak NLP (Natural Language Processing) olarak bilinmektedir. Doğal dil işleme, konuşma dillerinin işlenmesi ve makinelerce kullanılması için yapılan çalışmaları kapsamaktadır. Aynı zamanda doğal dil işleme için insanlar ve doğal dili çözümleyen bilgisayarlar arasındaki ilişkiyi anlamlandıran bir yapay zeka fonksiyonudur diyebiliriz.

Doğal dil işleme teknolojisi denildiğinde her ne kadar yakın tarihli bir uygulama olarak algılansa da aslında kökleri 1600’lü yıllara kadar dayanmaktadır. Doğal dil işleme teknolojisi, sözcükleri diller arasında ilişkilendirebilecek kodlar öneren René Descartes ve Gottfried Wilhelm Leibniz tarafından teoriye dökülmüştür. Ancak, doğal dil işlemenin uygulanabilir örneklerinin ortaya çıkması için yaklaşık 3 asırlık teknolojik gelişmelerin beklenmesi gerekti.

Baktığımızda doğal dil işlemede 1954’te gerçekleştirilen Georgetown-IBM deneyi bu alandaki ilk önemli atılımdır. Türünün ilk örneği olan bu deney, 60’tan fazla Rusça cümlenin bilgisayarlar tarafından otomatik olarak tercüme edilmesini içeriyordu. Gerçekleştirilen bu ilk örneğin ardından doğal dil işleme teknolojisi gün geçtikçe gelişip, ilerleyerek günümüzdeki halini almıştır ve günümüzde de sürekli olarak gelişmeye ve ilerlemeye devam etmektedir.

 

Doğal Dil İşleme (Natural Language Processing) Nasıl Yapılır?

Doğal dil işlemede yapılandırılmamış dil verilerinin makina tarafından bir forma dönüştürülecek şekilde doğal dil kurallarına göre tanımlamak ve çözümlemek için çeşitli algoritmaların uygulanması adımlarını içerir.

Temel doğal dil işleme görevleri arasında belirleme ve ayrıştırma, köklendirme, konuşma parçası etiketleme, dil algılama ve anlamsal ilişkilerin tanımlanması yer alır.

Genel anlamda doğal dil işleme ise dili daha kısa, temel parçalara böler ve parçalar arasındaki ilişkileri anlamaya çalışır. Parçaların anlam yaratmak için birlikte nasıl çalıştığını keşfeder.

 

Doğal Dil İşleme Algoritması Nasıl Çalışır?

Doğal dil işleme algoritmasında bilgisayar öncelikle kelimenin kökü üzerine gelen ekler ile birlikte dönüşüme bakar, buna kelime bilimi (lexical) denir.

Daha sonra ise cümledeki kelimelerin dizilimine göre ne anlama geldiğini kavramaya çalışır, buna da sözdizimi (syntactic) denir.

Ardından cümlenin özünde ne anlatmaya çalıştığına bakar, buna semantic (dilimize tam olarak çevrilmemesine rağmen anlamsal ağ diyebiliriz) denir.

Son olarak cümlelerin bir araya gelerek ne ifade etmek istediğine bakar, buna da söylev (pragmatics) denir.

Kısaca bilgisayar kelime kökünü ayrı, kelimelerin dizilmesini ayrı, cümlenin ve söylevin anlamını ayrı ayrı inceleyerek konuşmanın bağlamını öğrenir ve bu konuşmadan bir anlam çıkarır.

Tabii ki bu işlemler esnasında bilgisayar zekası başarısız olabilir. Başarısız bir sonuç alındığında ise genellikle ardışık düzen oluşturmak gerekir.

 

Doğal Dil İşleme Duygu Analizi Nasıl Yapılır?

Duygu analizi (Sentiment Analysis), doğal dil işleme çalışmalarının bir alt araştırma alanıdır. Fikir madenciliği (Opinion Mining) olarak da bilinen duygu analizi, belirli bir konu hakkındaki sözlü veya yazılı metinlerin içerisinden öznel dil ögeleri anlamlandırılabilmektedir.

Duygu analizi, doğal dil işleme alanında sık sık kullanılan bir yöntemdir. Herhangi bir resim, yazı veya ses dosyalarındaki görüş ve duyguların analiz edilmesidir. Baktığımızda özellikle şirketlerin karar verme süreçlerinde ciddi olarak yardımcı olmaktadır.

Duygu analizi yapmak isterseniz halkla yapılan röportajlar, anketler ve Twitter, Facebook, Instagram gibi sosyal medya platformlarında bolca duygu analizi yapabileceğiniz kaynak vardır.

Kısaca duygu analizi şu adımlar ile yapılır;

Gerekli kütüphanenin yüklenmesi

Verinin görselleştirilmesi

Verinin temizlenmesi

Kategorik Verilerin Sayısal Verilere Çevrilmesi.

Makine öğrenimi modeli ve test verilerinin tahmini

Bu adımlar uygulanarak doğal dil işleme duygu analizi yapılmaktadır.

İlgili İçerik: Veri Etiketleme (Data Annotation) | Artiwise

 

Doğal Dil İşleme (Natural Language Processing) Yöntemleri

Doğal dil işleme, bilgisayarların metinleri daha iyi anlamasına yardımcı olmak için iki teknik uygular. Bunlar, sözdizimsel analiz ve anlamsal analizidir.

Sözdizimsel Analiz: Sözdizimsel analiz ya da ayrıştırma, cümle yapısına, kelimelerin nasıl düzenlendiğini ve kelimelerin birbirleriyle olan ilişkisini tespit etmek için temel dilbilgisi kurallarından yararlanarak metni analiz eder. Görevlerinden bazıları ise simgeleştirme, konuşma etiketlemenin parçası ve lemmatizasyon ve kökten türetmedir.

Anlamsal Analiz: Anlamsal analiz, metnin anlamını bulmaya odaklanır. İlk olarak, her bir kelimenin anlamını inceler (sözcüksel anlam bilim). Daha sonra ise kelimelerin kombinasyonuna ve bağlam içinde ne anlama geldiklerini bakar. Anlamsal analizin ana alt görevleri vardır. Bunlar kelime anlamındaki belirsizliği giderme ve ilişki çıkarma şeklindedir.

 

Yapay Zekayla Doğal Dil İşleme Kullanım Alanları

Yapay zekayla doğal dil işleme sürecinin yarattığı faydalar ve imkanlar oldukça fazladır. Bu konu hakkında birkaç örnek verecek olursak;

Makine çevirisi, en çok bilinen ve sık sık kullanılan doğal dil işleme uygulamalarından biridir. Google gibi çeşitli arama motorlarında bir şeyler ararken, bilgiler girerek onları verilerle besliyorsunuz. Bir arama yaptığınızda ise sistem sizin için bulduğu sonuçları sıralar ve doğruluğunu kontrol edebilmek adına ‘‘bunu mu demek istediniz?’’ tarzında sorular ya da düzeltmeler sunarak onayınızı ister. İleride girilecek benzer kelimeler ya da cümleler için bu bilgilerden faydalanır.

Chatbotlarda aynı mantıkla çalışmaktadır. Siri ve Alexa gibi sesli asistanlar da ‘‘Hey, Siri’’ gibi ifadeleri duyduklarında hemen dili dönüştürerek uyanırlar.

 

Python İle Doğal Dil İşleme (NLP) Nasıl Yapılır?

Python basit söz dizilimi, şeffaf semantiği, açık kaynak kodlu olması ve topluluk desteği gibi birçok özelliği sayesinde doğal dil işlemede kullanılmaktadır. Python, makine öğrenimi ve derin öğrenme gibi doğal dil işleme üzerinde uygulanacak işlemler ve kullanılabilecek araçlar için adeta biçilmiş bir kaftandır. Çok sayıda teknoloji ile uyum içinde çalışabilmesi ve öğrenim kolaylığı ile Python diğer dillerden bir adım öne çıkmaktadır.

Python ve çeşitli kütüphaneleri geldiği bu son noktada geliştiricilere çok fazla seçenek sunmaktadır. Bunlara örnekler verecek olursak;

SpaCy: Doğal dil işlemede son teknolojilerden biridir. Python’a bağlı olan ancak C programlama diline benzer bir söz dizimi olan, Ptyhon’dan daha hızlı olması için tasarlanmış Cython dili ile yazıldığı için oldukça hızlıdır. Bu sayede büyük hacimli metinlerde çalışılmasına olanak sağlar. SpaCy için piyasada bulunan en hızlı söz dizimi ayrıştırıcısı diyebiliriz. SpaCy 49 dilde tokenization işlemini desteklemektedir.

NLTK (Natural Language Toolkıt): NLTK’yı dilimize Doğal Dil Araç Seti olarak çevirebiliriz. Doğal dil işleme alanında en çok bilinen kütüphanedir. İngilizce için geliştirilmiş sembolik ve istatistiksel bir doğal dil işleme kütüphanesidir. Doğal dil işlemeye girişte kullanılan ve oldukça pratik olan bir kütüphanedir. NLTK ile birlikte cümle tespiti, tokenleştirme, kök bulma gibi doğal dil işleminin temel işlevlerini çok kolay bir şekikde kullanıma sunulur. SemCor, WordNet ve Web Text Corpus gibi 50’den fazla corpora’ya sahiptir.

Gensim: Vektör uzayı modelleme ve konu modellemede kullanılan araçlara sahip olan bir Python kütüphanesidir. Numpy kütüphanesinden de yardım ile elde edilmiş çok iyi bir bellek kullanım optimizasyonuna ve işlem hızına sahiptir. Gözetimsiz öğrenme için sık sık kullanılmaktadır.

Bu örneklerin dışında TextBlob, CoreNLP, polyglot, scikit-learn, PyText ve Pattern gibi birçok Python kütüphanesi örneği verebiliriz.

 

Natural Language Processing (NLP) Gelişimi Neler Getirecek?

Teknoloji her ne kadar gelişmiş olursa olsun bilgisayarlar hala daha duygu, akıl yürütme, bölgesel konuşma kalıpları, argo, konuşma dili, sektöre özgü terminoloji veya bilgi gerektiren ifadeler ve konuşma kalıplarını anlamakta zorlanıyor. Sohbet botlarının bunları anlayabilecek seviyeler gelebilmeleri için yapay zeka ve makine öğrenimi alanlarındaki kullanılan doğal dil işleme uygulamalarına ihtiyacı vardır.

Natural Language Processing (NLP) gelişimi ile karmaşık konuşmalar yapabilen, kendi kendine geliştirebilen ve daha önce eğitilmemiş görevleri nasıl yerine getirebileceğini öğrenebilen yeni nesil bot ve robotlar görmemiz mümkün olabilecektir.

 

Türkçe Doğal Dil İşleme Örnekleri

Türkçe doğal dil işleme çözümleri ile metinsel verilerinizi yapılandırarak büyük veri analizleri yapabilir, iş süreçlerinizi iyileştirebilir ve otomatikleştirebilirsiniz. Baktığımızda doğal dil işleme günlük hayatımızda sık sık duyduğumuz terimler arasında yer almasa dahi birçok teknolojik uygulama ile aslında hayatımızın içindedir.

Doğal dil işlemelere örnekler verecek olursak;

OK Google, Siri, Cortana ve Alexa gibi kişisel asistan uygulamaları

Google, Yandex Çeviri gibi dil çeviri uygulamaları

Paraphrasing, Word Spinner gibi cümlelerdeki anlamsal bütünlüğü bozmadan değişiklik yapan kelime işlemcileri

Metinlerin dil bilgisi doğruluğunu kontrol etmek için Microsoft Word ve Grammarly gibi uygulamalar

İnsan Kaynakları departmanı işe alım süreçlerinde adlandırılmış varlık tanıma ile bilgi çıkarma ( Named Entity Recognition) tekniği kullanmaktadır.

Çağrı merkezlerinde kullanılan Sesli Yanıt (IVR) uygulamaları gibi pek çok uygulama, doğal dil işleme örnekleri olarak verilebilir.

 

Doğal Dil İşleme Projeleri

Günümüzde pek çok alanda doğal işleme kullanılmaktadır. Bazı doğal dil işleme projeleri şu şekildedir;

Adlandırılmış Varlık Tanıma (Named Entity Recognition) (NER)

Yorum Bulma (Paraphrase Detection)

Metin Sınıflandırma ve Kategorizasyon (Text Classification and Categorization)

Anlamsal Ayrıştırma ve Soru Cevaplama (Semantic Parsing and Question Answering)

Konuşma Bölümü Etiketleme (Part-of-Speech Tagging)

Dil Üretimi ve Çok Belgeli Özetleme (Language Generation and Multi-document Summarization)

Yazım Denetimi (Spell Checking)

Dil Çeviri (Machine Translation)

Karakter Tanıma (Character Recognition)

Ses Tanıma (Speech Recognition)

Bunlar gibi pek çok doğal dil işleme projeleri mevcuttur.

Bu yazımızda sizler için doğal dil işleme nedir, doğal dil işleme nasıl yapılır, doğal dil algoritması nasıl çalışır, doğal dil işleme duygu analizi nasıl yapılır, Python ile doğal dil işleme nasıl yapılır ve natural language processing gelişimi neler getirecek sorularına cevap verdik. Ayrıca doğal dil işleme yöntemleri, yapay zekayla doğal dil işleme kullanım alanları, Türkçe doğal dil işleme örnekleri ve doğal dil işleme projelerinden bahsettik.

Eğer sizde doğal dil işleme gibi pek çok yapay zeka destekli ürünleri kullanarak müşterilerinizi daha iyi analiz etmek, anlamak ve iletişim kurmak isterseniz bizimle iletişime geçebilirsiniz. Artiwise olarak, uzman ekibimiz ile sizlere destek oluyoruz.

Related Resources