Yapay Zeka, makinelerin insan gibi yeteneklere sahip olmasını hedefleyen teknolojidir. Bir Yapay Zeka alanı olarak Doğal Dil İşleme’nin (NLP) amacı; doğal dilleri makinelerle işlemek, anlamak ve analiz etmektir. Doğal diller, bilinçli planlama veya önceden tasarlama olmaksızın insanların doğal şekillerde kullanımı ve tekrarı yoluyla evrimleşmiş dillerdir. İsimlendirilmiş Varlık Tespiti (NER), NLP alanında yapılan bir çalışmadır ve bu yazımızda İsimlendirilmiş Varlık Tespiti ile ilgili konulara değineceğiz.
İsimlendirilmiş Varlık Tespiti, metinlerdeki varlıkların makineler tarafından belirlenmesi ve kategorize edilmesi işlemidir. Varlıklar NER sayesinde sahip oldukları anlamlara göre önceden tanımlanmış olan kategorilere ayrılır. Bu kategoriler kişileri, mekanları, zamanı ya da gerekli diğer varlıkları ifade edebilir.
NER modeli metindeki varlıkları tespit eder ve ilgili kategorilere ayırır.
NER modeli varlıkları fark ettikçe, sistem metnin anlamı hakkında daha fazla bilgi alır, çünkü konuşulanların farkında olmak anlatılanı anlamaya yardımcı olur. Sistem hem zekaya hem de bilgiye (eğitim verisi) sahip olan ve bu sayede istenen sonucu verme becerisinde olan yapıdır.
Bir metin anlama sistemi yalnızca Doğal Dil İşleme tarafından geliştirilebilir. Doğal Dil İşleme, doğal bir dili anlamanın zekasını öğrenen bir sistemdir.
NER, bir NLP çalışması olarak metinlerdeki bilgilerin çıkarılmasına yardımcı olur ve bu çalışma “Bilgi Çıkarımı” olarak adlandırılır. Bilgi Çıkarımı, yapılandırılmamış metinlerden (örneğin tweet’lerden) yapılandırılmış bilgiler çıkarmayı amaçlar.
NER bilgileri iki adımda çıkarır;
1- Varlıkları Tanımlama
Yapay Zeka iki önemli tamamlayıcıyla çalışır: Programlama ve Eğitim Verileri. NER modelleri, herhangi bir metindeki varlıkları fark etmek için birçok farklı metni tanımalı ve “metinlerdeki hangi kelimelerin konuyla ilgili olduğunu ve bunları kategorilere nasıl ayıracağını” öğrenmelidir. NER modelleri bu şekilde varlıkların metinlerdeki özelliklerinin ne olduğunu öğrenir.
2- Varlıkları Sınıflandırma
Varlıkları sınıflandırmak için önce kategoriler belirlenmelidir. Kategoriler aşağıdaki gibi olabilir;
- Kişi: Mustafa Kemal Atatürk, Nikola Tesla
- Kuruluş: Artiwise, Google
- Yer: İstanbul, Times Meydanı
- Saat: İlkbahar, 14.00
- Kurum: İktisadi ve İdari Bilimler Fakültesi, Dokuz Eylül Üniversitesi
Kategorilerinizi, verilerinize ve bu verilerden çıkarmak istediğiniz bilgilere göre belirlemeniz önemlidir. Sadece kamu maliyesine aşina olan bir NER modeli, bankacılık sektörü için yeterli olmayabilir.
Kategoriler belirlendikten sonra ilgili veriler işaretlenerek eğitim verisi oluşturulmalı ve bir algoritma eğitilmelidir. Böylelikle NER modeli sizin istekleriniz doğrultusunda sonuç verebilecektir.
NER modellerinin verdiği sonuçlar sayesinde;
- Verilerinizi tek tek okumanıza gerek kalmadan sınıflandırırsınız
- Verilerinizde geçen varlıkları, tanımladığınız kategorilere ayrılmış şekilde görürsünüz
- İlgili verileri kolayca bulursunuz
NER’in Zorlukları
Doğal diller bilinçsizce oluşur ve şekillenir, bu nedenle metinlerdeki varlıkları tespit etmek karmaşık bir hal alabilir;
- Başka bir varlığı da içerebilecek bir varlığı tespit etme
“İstanbul Teknik Üniversitesi”, “İstanbul”un başka bir varlık olduğu göz ardı edilerek tek bir varlığı belirtir. NER modelleri, NLP sayesinde metinlerdeki söylemleri anlar ve iç içe geçmiş varlıkları da fark eder.
- Söylemi birden çok varlık türüne işaret edebilen varlıkları tespit etme
Program olarak tespit edilen söylem; bir meslek olarak İşletme Mühendisliği’ni değil, akademik bir programı işaret etmektedir. NER modelleri cümle yapılarından yola çıkarak varlık türlerini doğru çıkarabilir.
- Eşsesli kelimeler içeren varlık türlerini tespit etme
Bu cümlelerdeki “çay” aynı varlık türünden değildir. NER modelleri, varlıkları metnin genel anlamından yola çıkarak tespit edebilmek için İlişki Çıkarımı’nı kullanır.
Kullanım Alanları
Haberler
NER modelleri; haberlerdeki kuruluşları, ünlüleri, para birimlerini vb. tespit edebilmektedir. Arama motorları, haberlerdeki varlıkları bulmanız gerektiğinde eşsesli kelimeleri ya da söylemlerdeki farklılıkları ayırt etmekte yetersiz kalabilir. Bu nedenle aradığınızı bulmak için haberleri tek tek okumanız gerekebilir. NER modelleri, haberlerde geçen varlıkları önceden belirlenen kategorilere göre bulur, bu sayede ilgili haberleri kolayca sınıflandırabilir ve listeleyebilirsiniz.
Chatbot’lar
Chatbot’lar genellikle kurallarla çalışır ve yüksek düzeydeki ihtiyaçları karşılamakta zorlanır. NER ile çalışan Chatbot’lar kullanıcıların ne hakkında konuştuğunu anlayabilir ve buna göre yanıtlar oluşturabilir. Kullanıcıların ne hakkında konuştuğunu gördükçe, önceliklerinizi şekillendirebilir ve süreçlerinizi verimli şekillerde yönetebilirsiniz.
Chatbot’lar kullanıcılar hakkında bilgi almak için hazinedir, çünkü gelen tüm veriler doğrudan kullanıcıların kendilerinden alınır. Sohbet onlar hakkında altın bilgiler içerir, bu nedenle içeriği doğru görmek ve anlamlandırmak son derece önemlidir. NER, sohbet robotlarından bilgi çıkarmanızı ve anlamlı sonuçlara ulaşmanızı sağlar.
Makine Çevirisi
Başka bir dile çevrilecek metinlerdeki varlıkları tespit etmek ve tespit edilen varlıkların başka dillerdeki anlamını bilmek tam çeviri yapmaya yardımcı olur. NER sadece belirli varlıklar için değil; aynı zamanda özel isimler, eşanlamlılar ve deyimler için de kullanılabilir. Örneğin, NER modeli bir özel isim fark ettiğinde onu algılamalı ve tercüme etmemelidir.
NER modeli “Mustafa Kemal Atatürk”ün özel bir isim olduğunu algılamış ve çevirisini yapmamıştır.
NER modelleri aynı zamanda, bir varlığı doğru bir şekilde tespit etmek için o varlığın tüm kelimelerini fark etmelidir; bu nedenle varlığın başlangıç ve bitiş kelimelerini de belirlemelidir. Yukarıdaki örnekteki varlıklar BILOU formatına göre belirlenmiştir, ancak farklı veri etiketleme formatları da vardır.
B – Varlığın ilk kelimesini gösterir.
I – Varlığın adının devam ettiğini gösterir.
L – Varlığın son kelimesini gösterir.
O – Herhangi bir kategoriye ait olmayan varlık kelimelerini belirtir.
U – Tek kelimelik varlık adlarını belirtir.
Google Translate makine çevirisi için iyi bir örnektir, istenildiği zaman kullanılabilir ve anında sonuç alınabilir. Makine çevirisi aynı zamanda Youtube’da altyazılarda da görülebilir; Yapay Zeka öncelikle konuşulan dili ve söylenenleri algılar, sonra ise onu başka bir dile çevirir.
Sağlık Hizmetleri
Yapay Zeka, tahlil sonuçlarını eğitim verisi olarak kullandığında sonuçları anlamlandırabilir. NER; sağlık sorunlarını tanımlama, analiz etme ve iyileştirme sürecini hızlandıran kolaylaştırıcı bir yöntemdir. NER kullanımının, varlıkları etiketlemek ve varlıklar arasında ilişki çıkarmak yoluyla biyomedikal bilgi çıkarımı için faydalı olduğunu söyleyebiliriz.
CRM ve ERM
Tespit etme yeteneği, verilerde anlatılan varlıkları gerçek zamanlı olarak işlemek yoluyla süreçleri hızlandırmaya ve verimli olarak şekillendirmeye yardımcı olur. NER modelleri kullanıcıların yorumlarını analiz edip tanımlanmış varlıklara göre sonuçlar verebilir. Bu sayede yöneticiler ihtiyaçlara göre daha hızlı aksiyon alabilmektedir.
NER, iletilerdeki varlıkları fark etmede önemli bir yeteneğe sahiptir. Soruları gerçekten sorulana göre cevaplar ve yöneticileri ihtiyaçlar ve isteklere göre bir sonuca götürür.
Akademi / Edebiyat
Tek bir konuda yüzlerce makale/eser olabilir ve bir insan olarak bu kadar veride belirli bir içeriği bulmak zorlaşabilir. NER, verileri kategorize etmek ve yapılandırmak için en iyi seçenektir; çünkü içerikleri varlıklara göre sınıflandırmak literatürde belirli bir içeriği bulmayı kolaylaştırır.
Artiwise ile NER
Haberler
Artiwise ile, haber verilerindeki ünlüler, futbol takımları, şehirler gibi varlıkları tespit edebilir, bu sayede bu varlıklara ilişkin haber etiketlemeleri ve listelemelerini kolayca yapabilirsiniz.
Geleneksel arama motorları ihtiyaç duyduğunuz belirli bir kelimeyi bulmakta yetersiz kalabilir, çünkü bir kelimenin farklı anlamları olabilir ve bu nedenle farklı varlıkları işaret edebilir. Artiwise, yapay zeka ile ihtiyacınız olana ulaşmanıza yardımcı olur.
Chatbot’lar
Chatbot’lar, gerçek kullanıcılarla doğal dillerde iletişim kuran dijital asistanlardır. Artiwise Analytics, chatbot verilerindeki her bir içeriği anında sınıflandırabilir ve ilgili yaklaşımı etiketleyebilir. Mesajları hızlı bir şekilde tanımlayabileceğiniz için zaman kaybetmeden önceliklerinizi şekillendirirsiniz.
Artiwise, NER sayesinde Chatbot verilerinde aşağıdaki işlemleri gerçekleştirebilir;
- Kullanıcılardan talep edilebilecek parametrelerin tespiti
- Gerekirse kullanıcıya soru sorulması
- Kullanıcıların girdiği doğal dil girdisinden gerekli parametrelerin çıkarılması