Semantik arama sistemini sıfırdan kuruyoruz: dokümanları parçalama, vektöre çevirme ve Qdrant ile sorgulama.

Yeni bir blog için Hugo Çözümü? Peki Nasıl?

Blog yazmak istiyorsunuz. Elinizde yazılarınız var. Ya da yazma isteğiniz ama ne kullanacağınıza henüz karar veremiyorsunuz. Bunun için yapılmış onlarca çözüm var elbette ama şahsi olarak Hugo’yu tercih ettim. Hugo GoLang ile yazılmış sitatic site oluşturmaya yarayan bir uygulama aslında. Yazmış olduğunuz Markdown formatındaki yazıları HTML’e çeviriyor. Bu yüzden siteniz bir HTML’e cevap verecek şekilde MAKSİMUM HIZA sahip oluyor. Tabii site resimlerini ve kullandığınız third-party şeyleri de hesaba katmanız lazım. Ama ben SEO için hızın önemli olduğu dünyamızda HUGO’nun hem yeterli hem de güzel olacağına kanaat getirdim ve kullanmaya başladım.

Bir çok AI sistem çıktı. Siz de merak ettiniz. Bir content oluşturmak ve bir blog yazısını AI ile generate ettirmek istediniz. Ama isteğiniz öyle fazla sûni bir şey değil. İnsan yazmışsa dolu dolu ve belki de resimler ve infografikler ile desteklenmiş bir yapı. Daha önce anlattığım N8N bunun için biçilmiş kaftan! Neden? Hemen anlatayım:

• N8N sizin istediğiniz gibi datayı bir webscrapper ya da RSS ile toplayabilir. Hadi siz daha kolay yol olan RSS’si seçtiniz. RSS ile URL verisini aldınız. N8N yine web request yapacağı bileşeni ile sizin için ilgili sayfaya HTML çağrısında bulunabilir. Hatta HTML Extract ile ilgili sayfa kaynağını alıp içerik içinden content tutucuyu tespit edip anında içeriği alabilirsiniz.

Elimizde bir server var. Ya da henüz aldık. Şimdi üzerine N8N kurmak istiyoruz. Dökümantasyonu açtık. Bunun için en güzel yöntemlerden birinin Docker olduğunu söylüyor. Hatta başlangıç için bir docker-compose yaml parçası bile veriyor. Biz de kabul ediyoruz. Heyecan ile bunu ekleyip başlıyoruz. Her şey yolunda giderken bir database kullanmak ihtiyacı hasıl oluyor. Sunucuya tekrar gidiyoruz. Elimizdeki docker-compose’u güncelliyoruz. Ardından her ne zaman bir şeye ihtiyacımız olduğunda kendimizi sunucudaki nano/vim editor karşısında buluyoruz. Artık yeni bir şey eklemek neredeyse imkansız.

Qdrant + RAG bir sistem tasarlamak istediniz. Bu elinizdeki dökümanları parça parça edip vektörlere çevirip bir vektör tabanında saklamak ve ihtiyacınız olunca “cos benzerliğinden” yararlanıp sistemden çekmek demek. Yani sisteme öğrettiğiniz bir şey yok sadece kendi daha akıllı DB sisteminizi kurdunuz.

Bir dakika zaten LLM kursaydınızda böyle bir şey olacaktı 3 aşağı 5 yukarı değil mi? Evvet aynen öyle… Bizim öğrenme mekanizmamız da daha farklı değil ki. Hangimiz öğrendiğmiz şeyin yanlış olduğundan şüphelenip daha iyisinin peşine düşüyor ki. Ya da öğrenmiş olduğu bilgiyi kaçımız reddediyor? Cevap hiçbirimiz.