Metin Analizi Nedir?

Metin Analizi’ni (Text Analysis) yapısal olmayan metin verisinden yapay zeka, makine öğrenmesi ve veri analitiği teknolojileri kullanarak, değerli içgörüler, bilgiler ve örüntüler çıkartma süreci olarak tanımlayabiliriz. Metin Analizi ile kişiler / kurumlar elde ettiği anlamlı ve değerli içgörüler sayesinde iş, karar süreçlerini güçlendirebilecek veri odaklı kararlar alırken, verimliliklerini de arttırabilirler.

Günümüzde özellikle sosyal medyanın da etkisiyle bilgiye ve bilgi kaynaklarına erişim çok hızlı bir şekilde artmakta. Fakat bilgiye erişimin artması beraberinde bu kaynaklar içerisinden doğru ve anlamlı bilgilerin çıkarılması konusunu da gündeme getirmekte.

Metin Analizi ile;

• Binlerce açık uçlu soru içeren anketler içerisinden önemli konuları tespit edebilmek,
• Online yorumlar içerisinde ürününüze, servisinize vb. ait problemli alanları tespit edebilmek,
• Gelen destek taleplerinden Müşteri çekincelerini anlayıp, aksiyon alabilmek.

gibi konuları kolayca gerçekleştirebilirsiniz.

Metin Analizi & Metin Madenciliği & Metin Analitiği

Metin Analizi, Metin Analitiği ve Metin Madenciliği birbirleri yerine çok fazla kullanılan terimler olarak karşımıza çıkıyor. Ve bu terimler arasında ciddi bir anlam belirsizliği mevcut. Bu noktada bir ayırım yapabilmek için terimler üzerinden gitmek yerine uygulama alanına odaklanmak daha sağlıklı olacaktır.

Metin Analizi ile Metin Madenciliği benzer süreçleri kullanarak, yapısal olmayan metin verilerini kolayca analiz yapabilmek ve içgörüler çıkartabilmek adına yapısal veriye dönüştürme sürecini anlatmaktadır. Burada makine öğrenmesi, doğal dil işleme gibi teknolojiler sıklıkla kullanılmaktadır ve niteliksel sonuçlar üretmektedir.

Metin Analitiği ise, yapısal hale gelmiş verilerden sadece nicel ve ölçülebilir sonuçlar çıkartmaktadır. Bir metin içerisinde önemli bilgi ve içgörü çıkarımı Metin Analizi ile gerçekleştirilirken, binlerce metin içerisinden benzer örüntülerin yakalanıp farklı formatlarda (grafik, rapor vb.) ölçülebilir ve kıyaslanabilir halde çıkartılması Metin Analitiği ile yapılmaktadır.

 Bir örnekle anlatmak gerekirse; geliştirmiş olduğunuz bir uygulama için gelmiş kullanıcı yorumlarının kaç adetinin ne kadar sürede ve kimler tarafından cevaplandığını görebilmek Metin Analitiği ile gerçekleştirilirken, bu gelen yorumların hangilerinin olumlu/olumsuz/ilgili/ilgisiz olduğunun tespiti için Metin Analizi’ne başvurulmalıdır.

Metin Madenciliği ve Doğal Dil İşleme

Metin Analizi’ni tanımlarken amacının metinler içerisinden anlamlı ve önemli içgörüler çıkartmak olduğundan bahsetmiştik. Bu çıkarımı yaparken farklı yöntemler kullanılmakta ve Doğal Dil İşleme teknolojisi de bu yöntemlerden bir tanesini oluşturmaktadır.

Doğal Dil İşleme’yi tanımlamak gerekirse; yapay zekanın altında yer alan ve amacı insanların ürettiği doğal dilin işlenebilmesi, anlaşılabilmesi, analiz edilerek çıktılara dönüştürülebilmesi olan bir araştırma alanıdır.

Dolayısıyla bu iki kavram arasında amaçları bakımından farklılıklar bulunmaktadır. Metin Analizi içgörü üretme hedefini taşırken, Doğal Dil İşleme insan dilini anlamayı ve amaçlamaktadır. Metnin arkasındaki bağlamı ve içeriği anlamak için Doğal Dil İşleme’ye ihtiyaç duyulmaktadır. Bu yüzden Doğal Dil İşleme’nin Metin Analizi’nde kullanımı çok güçlü bir etki yaratmaktadır. Binlerce metnin içeriğini doğru anlayabilmek, duygu durumunu tespit edebilmek daha anlaşılır ve önemli içgörüler ortaya çıkartmayı sağlamakta ve Metin Analizi’nin en önemli zorluklarından bir tanesi olan dil belirsizliğini ortadan kaldırmaktadır.

Metin Analizi’nin Önemi

Yazımızın girişinde kurumların iş ve karar süreçlerini güçlendirmek için, anlamlı içgörülere ihtiyaç duyduğundan ve bunun da Metin Analizi sayesinde gerçekleştirebildiklerine kısa değinmiştik.

Özellikle günümüzde artan rekabet koşulları; kurumların hizmetleri, ürünleri ve markaları için doğru stratejileri uygulamaları ve kararları vermeleri noktasında her zamankinden daha önemli hale getirmiş durumda. Bu noktada da bu konularla ilgili erişilebilen her verinin ve bilginin analiz edilmesi büyük önem taşımaktadır. Sadece nicel verilerin değil, nitel verilerin de bu sürece dahil edilmesi gerekliliği Metin Analizi’ne ihtiyacı arttırmaktadır.

Kurumlar özellikle anketlerle, zayıf ve güçlü alanlarını tespit edip, bunlara ilişkin olarak aksiyonlarını almaktalar. Burada da daha çok aşağıda yer alan örnekte olduğu gibi nicel olarak ölçebilecekleri sorular hazırlayarak, buradan sonuçlara ulaşmaktalar.

Bu tarz sorularda bu puanların neden verildiğine ilişkin bildirimler yeteri kadar alınmamakta. Tüketicilerin yaşadıkları deneyimleri özgürce anlatabildiği durumda asıl sonuçlar ve alınması gereken aksiyonlar ortaya çıkmaktadır. Tam da bu noktada Metin Analizi devreye girmekte. Tüketicilerin sorunlarını ve deneyimlerini kendi ifadeleriyle anlatmaları birçok aksiyon alınacak içgörü demek. Metin Analitiği ile bu açık uçlu soruların analizinin yapılabilmesi, kurumların ürünleri, markaları, hizmetleri hakkında problemlerin kök-nedenlerine inerek, iş süreçlerini iyileştirme şansı vermektedir.

Buradan elde edilen nitel veriler, nicel verilerle birleştirilerek stratejik karar Süreçleri güçlendirilebilmektedir.

Kullanılan Metin Analizi Teknikleri

Metin Sınıflandırma (Text Classification)

Metinlerin belirli konulara göre gruplanması için yapılan çalışmaların tamamıdır. Güdümlü (supervised) sınıflandırma yöntemlerinde gruplar önceden belirlenir ve her gruba ait belirli sayıda veri kümesi elle işaretlenir, ardından bu eğitim verisi ile model eğitilir. Güdümsüz (unsupervised) yöntemlerde ise istenen grup sayısı verilerek ilgili algoritmanın verileri kendi çıkarımlarına göre en uygun gruplara ayırması beklenir. Sınıflandırma çalışmaları pek çok alana uygulanabilir olduğu için NLP ve diğer veri bilimi alanlarında en sık kullanılan çalışmadır.

Duygu Analizi (Sentiment Analysis)

Metinlerin ifade ettikleri duyguya göre sınıflandırılması işlemidir. Duygular pozitif, negatif, nötr gibi 3 gruba ayrılabileceği gibi, kullanım alanına göre sevinç, üzüntü, öfke, hayal kırıklığı vb. gibi alternatif gruplara da ayrılabilir.

Dil modelinin dili yeterince anlamamasından veya dil modelinin kullanılmamasından kaynaklı olarak ironiler, değillemeler (iyi değil, yok yok, kötü sayılmaz) gibi insan gözüyle rahat anlaşılan duygu durumlarının algoritma tarafından anlaşılamaması gibi durumlar klasik duygu analizi çalışmalarında en sık karşılaşılan problemlerdir. Duygu analizi diyaloglarda yapıldığı durumlarda ise duygu değişimlerinin tespiti, karşı tarafın konuşmasının bir sonraki konuşma üzerinde yarattığı duygusal etkinin analizi  mevcut algoritmaların en zayıf yanıdır.

Niyet Tespiti (Intent Detection)

Chatbot’lar ve akıllı asistanlar başta olmak üzere pek çok alanda önemli işlev gören niyet tespiti bir metinde bulunan ifadenin pragmatik analizini yaparak metin sahibinin bu ifade ile ne ifade etmeye çalıştığını veya ne elde etmek istediğini ortaya çıkarır.

İsimlendirilmiş Varlık Tespiti (Named Entity Recognition)

Metin içerisinde geçen varlıkların belirlenmesi işlemidir. Tespit edilmeye çalışılan varlıklar özel isimler, yer isimleri, organizasyon isimleri, tarihler, para birimleri gibi pek çok farklı gruptan seçilebilir.

Örnek: "Ali ve Ayşe 10 Ocak'ta Bursa'da Kiraz Eğlence Merkezi'nin organize ettiği kampa katılmak için 100 TL ödediler."

İsim: Ali, Ayşe

Tarih: 10 Ocak 

Lokasyon: Bursa         

Organizasyon: Kiraz Eğlence Merkezi    

Para Birimi: 100 TL

Kelime Anlamı Belirsizliğini Giderme (Word Sense Disambiguation)

Metinde kullanılan kelimelerin olası anlamları arasında doğru anlamın seçilmesi işlemidir. Bu işlemin sağlıklı işletilebilmesi için kullanılacak algoritmada sağlam bir dil modeli bulunması önemlidir. Alternatif olarak söz dizimleri ile de kelime tipine göre seçim yapan algoritmalar bulunmakla beraber genel başarıları dil modeli kullanan sistemlere göre zayıf kalmaktadır.

Örnek: “Yüz verdik tepemize çıktılar.” “Numaram beş yüz on.” “Sporcuyu daha hızlı yüzsün diye yüreklendirmeye çalıştılar.”

Mesela yukarıdaki metinlerde yüz kelimesi farklı anlamlarda kullanılmıştır. Bu anlamların birbirinden ayrılması kelime anlam çözümlemesinin konusudur.

Normalizasyon (Text Normalization)

Metin içinde aynı anlamı paylaşan fakat cümle içindeki durumuna bağlı olarak farklı çekim veya yapım eki almış kelimelerin kullanım alanına göre ortaklaştırılmasını sağlayan adımlardır. Burada verilerin ortaklaştırılması, veri/özellik seyrekliği (data/feature sparsity) nedeniyle algoritmaların veriyi yeterince gruplayıp anlamlandıramadığı durumlarda uygulandığında oldukça faydalı olmaktadır. Eğer kelimelerin cümle içinde kullanımı ek bir bilgi kaynağı değilse normalizasyon adımlarının uygulanması mevcut bir problem olmasa bile veri kalitesini arttırarak ilgili görevdeki başarıyı da arttıracaktır.

 

Metin Analizi Kullanım Senaryoları

Müşteri Deneyimi

Birçok farklı müşteri iletişim kanalından gelen yazılı içeriklerde geçen bildirimlerin, yorumların analiz edilerek, olumlu ve olumsuz deneyimlerin ortaya çıkartılması, deneyimi etkileyen ilgili yeni konuların tespit edilmesi, aksiyonların belirlenmesi.

İtibar Analizi

Haber kaynaklarında iş ortakları, tedarikçiler ve sektörle ilgili çıkan haberlerin sınıflandırılıp, itibarı olumsuz etkileyecek durumların tespit edilip, stratejik karar süreçlerinin güçlendirilmesi.

Müşteri Hizmetleri

Müşteri Hizmetleri’ne iletilen destek taleplerinin, otomatik olarak acil, önemli gibi etiketlenerek ilgili birimlere yönlendirilmesi.

Ürün & Uygulama Geliştirme

Uygulama mağazalarında yer alan ürünlere gelen yorumların analiz edilerek, kullanıcı taleplerine ve isteklerine uygun hale getirilmesi.