DIWG PoC: Sergi endüstrisi için işlevsel bir yapay zeka sesli asistanı oluşturmak ne kadar zor?

UFI Dijital İnovasyon Çalışma Grubu Üyeleri Mykyta Fastovets ve Stephan Forseilles tarafından yazılmıştır.

Sektörümüzün en iyi yönlerinden biri açıklıktır. Paylaşmaktan ve işbirliği yapmaktan çekinmiyoruz. Merak rekabetin yerini alır ve heyecan ilgisizliğin önüne geçer. Ve bu, başka hiçbir yerde UFI Dijital İnovasyon Çalışma Grubu’ndan daha görünür değildir.

Bilmeyenler için, UFI Dijital İnovasyon Çalışma Grubu (veya arkadaşlar ve aile için DIWG), teknoloji ve bunun sektörümüzde kullanımının nasıl geliştirilebileceği hakkında tartışmak, fikir alışverişinde bulunmak ve deneyimleri paylaşmak için çoğunlukla dijital olarak ancak bazen yüz yüze bir araya gelen, sergi evreninden tutkulu teknoloji fikirli kişilerden oluşan bir gruptur.

Bir araya geldiğimizde bazen çılgın fikirlerimiz oluyor. Ancak fikirler kolaydır, hayata geçirmek daha zordur. Bu nedenle bazen bir fikri hayata geçirmek ve onun geçerliliğini gösteren bir kavram kanıtı oluşturmak için bir araya geliriz. İşte böyle bir fikrin hikayesi.

Farzedelim…?

Mart ayında, DIWG üyeleri soğuk Paris’te tartışmalarla, fikir paylaşımıyla, eğlenceyle, yemekle ve yoğun saatlerde şehrin bulvarlarında biraz intihara meyilli bisiklet sürmekle geçen bir gün için bir araya geldi. Elbette konuşmaların çoğu yapay zeka ve onun sektörümüzdeki kullanımları etrafında dönüyordu. Sonra bir fikir ortaya çıktı: Sektörümüze gerçekten faydalı olacak bir sesli asistan yaratmak mümkün olabilir miydi? Bu, bazılarımızın bunu denemeye ve bulgularımızı Haziran ayında Selanik’teki UFI Avrupa Etkinlikler Haftası’nda sunmaya karar veren 8 yaşındaki (o kadar uykulu olmayan) çocuğu uyandırmak için yeterliydi.

Öğrenme yolculuğu

Bu deneylerin güzel tarafı bunların günlük işimizin dışında gerçekleşmesidir. Evet, bazı akşamları ve hafta sonlarını oyun oynayarak geçirdik, ancak bu herhangi bir kurumsal çerçeveden bağımsızdı, harcanan zamanı haklı çıkarmak zorunda değildik ve kendi paramız dışında hiçbir bütçemiz yoktu, bu da bizi yaratıcı ve dikkatli olmaya zorluyor. Saf eğlence ve öğrenme, en iyi şekilde kişisel gelişim, dolaylı olarak sadece kendi işimize değil, aynı zamanda fuar endüstrisinin tüm topluluğuna da fayda sağlar.

İlk önce araçları seçmelisiniz. Neredeyse her hafta yeni oyuncaklar dijital raflarda boy gösterirken seçim yapmak zor çünkü seçmek, vazgeçmek anlamına geliyor ve hepsinin farklı güçlü yanları var. Bu durumda hız çok önemlidir. Bir aracı çok hızlı bir şekilde test edebilmek ve onu takip edip etmemeye karar verebilmek. İyi ve kötü tecrübeleri dürüstçe paylaşmak. Alan o kadar yeni ki piyasadan gelen kapsamlı geri bildirimlere güvenemiyoruz. Bütçemiz olmadığından uzmanlardan yardım isteyemiyoruz. Kendi kendimizin uzmanı olmamız gerekiyor.

Keşfedin, kurun, test edin, karar verin, durulayın, tekrarlayın. Mümkün olduğu kadar çabuk.

Bunu düzenli aramalarla ve aynı zamanda devam eden bir Whatsapp tartışmasıyla da yaptık. “Şunu keşfettim…”, “Bunu deneyebilir misin…” Ve “Bakın bu ne kadar hoş…”. En iyi şekilde birlikte yaratma.

Asistan

Bulgularımızı UFI Avrupa Etkinlikler Haftası Konferansı’nda sunacağımız için ses özellikli bir Konferans Danışmanı seçmeye karar verdik. Bir katılımcıyı arayabilmeli, hatta arayabilmeli, kendisini tanıtabilmeli ve kişinin ilgi alanlarının ve motivasyonlarının neler olduğunu öğrenmek için bir sohbet başlatabilmelidir. Buna ve konferans programına ilişkin derin bilgiye dayanarak, en iyi oturumları ve konuşmacıları önerir ve ayrıca molalar, öğle yemekleri, konferans sonrası turlar vb. hakkında temizlik bilgileri konusunda size rehberlik eder.

İşlerin çok kolay olmasından hoşlanmadığımız için konferans, program ve konuşmacılar hakkında bilgi toplamak için de yapay zekayı kullanırız.

Nasıl

Asistan’ı oluşturmak üç farklı zorluğun çözülmesini gerektiriyordu: konferans verilerinin toplanması, konuşmacı bilgileriyle zenginleştirilmesi ve ona insanların gerçekten arayabileceği bir ses verilmesi. Özellikle, tüm proje boyunca manuel olarak tek bir kod satırı yazmadık; her şey yapay zeka kodlama asistanları tarafından oluşturuldu. Neye ihtiyacımız olduğunu açıkladık, sonuçları yineledik ve uygulamayı yapay zekanın halletmesine izin verdik.

Veri çıkarma

İlk adım, UFI Avrupa Etkinlikler Haftası web sitesinden oturum ve konuşmacı bilgilerini çıkarmaktı. Basit gibi görünse de, konferans web siteleri nadiren veri çıkarımı düşünülerek tasarlanmaktadır. Sitede tembel yükleme kullanılıyordu; bu, içeriğin yalnızca siz kaydırdıkça göründüğü anlamına geliyordu; bu, basit kazıma yaklaşımlarını bozan yaygın bir kalıptı.

Bir yapay zeka kodlama asistanı kullanarak bu zorlukların üstesinden gelebilecek bir Python kazıyıcı geliştirdik. İlginç bir şekilde, yapay zekadan sayfayı doğrudan kazımasını istemek defalarca başarısız oldu, ancak bunu yapacak bir komut dosyası yazmasını istemek, birkaç yinelemeden sonra başarılı oldu; bu, bir isteği nasıl çerçevelediğinizin, ne istediğiniz kadar önemli olduğunu gösteren iyi bir hatırlatmadır. Son kazıyıcı, 50 oturumu ve 48 benzersiz konuşmacıyı çıkardı ve her şeyi oturum başlıkları, açıklamalar, zamanlar ve temel konuşmacı bilgileri (isim, iş unvanı, şirket) ile yapılandırılmış JSON olarak çıkardı.

Hoparlör zenginleştirme

Konferans web siteleri genellikle konuşmacıları isim, unvan ve şirket gibi minimum bağlamla, ancak nadiren uygun bir biyografiyle listeler. Asistanımızın, sektördeki iyi bağlantılara sahip bir kişinin yapacağı gibi konuşmacıları tanımasını istedik ve bu nedenle, yine neye ihtiyacımız olduğunu açıklayarak ve yapay zekanın kodu oluşturmasına izin vererek bir zenginleştirme hattı oluşturduk.

Süreç şu şekilde işledi: Her konuşmacı için komut dosyası, web’de arama yapmak için SerpAPI’yi kullandı ve doğruluğu artırmak amacıyla konuşmacının adını şirketiyle birleştirdi. Buradaki zorluk, doğru kişiyi bulmamızı sağlamaktı; “John Smith” araması binlerce sonuç döndürüyor; böylece komut dosyası, güveni değerlendirmek için olasılık tahminini kullanarak eşleşmeleri bilinen şirket adı ve iş unvanına göre doğruluyor.

Sadece ilk arama sonucunu almanın güvenilmez olduğu ortaya çıktı; Bazen en iyi sonuç ilgisiz bir kişi veya genel bir şirket sayfasıydı. Bu nedenle senaryo, yeterli ilgili biyografik bilgi bulana kadar sonuçları yineledi. Ham web içeriği toplandıktan sonra API aracılığıyla GPT-4’e aktarıldı; bu da bilgileri doğruladı, alakasız içeriği filtreledi ve birkaç cümleden oluşan konferans tarzı bir biyografi halinde sentezledi. 48 konuşmacının tamamı için zenginleştirme sürecinin tamamlanması yalnızca birkaç dakika sürdü.

Ona bir ses vermek

Zenginleştirilmiş veri kümemiz hazır olduğundan JSON’u ElevenLabs’ın Konuşmalı Yapay Zeka platformuna yükledik. Şema, temsilciye oturumların, konuşmacıların, zamanların ve açıklamaların yapısını anlayabilmesi için anlatıldı. Yalnızca 20 saniyelik bir kayıt örneğini kullanarak özel bir ses oluşturduk ve Asistan’ı konferans ekibinin yardımcı bir üyesi olarak konumlandıran bir sistem istemi hazırladık.

Asistan’ı erişilebilir kılmak için Twilio’nun ElevenLabs ile yerel entegrasyonu aracılığıyla onu bir telefon numarasına bağladık. Özel ara yazılım gerekmez; yalnızca yapılandırma yeterlidir. Yanıtlarda ara sıra hafif gecikmeler yaşandı, ancak doğal konuşma akışını bozan hiçbir şey olmadı.

Ne sorabilirsin?

Sonuç, gerçek konferans katılımcılarının sorduğu türden soruları yanıtlayabilen, gerçekten konuşkan bir asistan oldu. Sormak “Konferansta JMIC’den biri konuşacak mı?” ve size Ortak Toplantılar Endüstri Konseyi Başkanı James Rees’i ve oturumunun ne zaman planlandığını anlatacaktı. Söylemek “Yunanistan’da sergi düzenleme fırsatlarını anlamakla ilgileniyorum” İlgili oturumları önerir, neleri kapsadığını açıklar ve hangi konuşmacılarla bağlantı kurmak isteyebileceğinizi önerir. Bu, anahtar kelime eşleşmelerini döndüren bir arama motoru değildi; daha önce tartıştığınız konulara göre uyarlanmış takip soruları, açıklamalar ve öneriler içeren bir sohbetti.

Çok dilli olmak

Son geliştirme olarak Asistanı çok dilli hale getirdik. Ayrı temsilciler oluşturmak veya bilgi tabanını tercüme etmek yerine, arayanın hangi dili konuştuğunu tespit edip buna göre yanıt verecek tek bir temsilci yapılandırdık. Yapay zeka, İngilizce kaynak verilerinden çeviriyi anında gerçekleştirir. Test sırasında konuşmanın ortasında İngilizce, Fransızca ve İtalyanca arasında geçiş yaptık ve geçişler kusursuzdu; her yanıt yerel bir aksanla verildi.

Zaman ve maliyet

Tüm inşaat yaklaşık üç hafta akşamları ve hafta sonları sürdü. Toplam maliyet yaklaşık 65 $ oldu: ElevenLabs ve Twilio’nun her biri yaklaşık 20 $, ChatGPT API çağrıları için 5 $ ve SerpAPI kredileri için 20 $. Bu yatırım için – ve kendimiz tek bir kod satırı yazmadan – gerçek konferans bilgisine sahip, tamamen işlevsel, çok dilli bir sesli asistanımız vardı; bu asistan, algılanan halüsinasyonlar veya başarısızlıklar olmadan sahnede iki kez canlı olarak sunuldu.

Elbette uygulanan konsept kanıtı, genel, yeniden kullanılabilir, üretim düzeyinde bir çözüm değil, ancak yine de özellikle Yapay Zeka ve Büyük Dil Modellerinin etkileyici gücünü gösteriyor.

Bunu dünyaya gösteriyoruz

Çok sayıda sunum ve açılış konuşması yaptık, ancak Asistan’ı Yunanistan’da sahnede, yüzlerce sergi profesyonelinden oluşan bir izleyici kitlesinin önünde dünyaya sunmak, en hafif tabirle ikimiz için de biraz sinir bozucuydu.

Birincisi, “A/V Mücadelesi” vardı: Sahnedeyken, sesli asistanı gerçek zamanlı olarak aramak zorunda kaldık, hem bulutta çalışan asistana hem de odadaki izleyicilere bir mikrofon kanalize ettik. Daha sonra soru ve önerilerinin dinleyiciler tarafından anlaşılır olmasını sağladık. Ama A/V ekibi harikaydı, orada sorun yok!

Daha sonra Asistanın kendisi. Asgari eğitim ve test gerektiren genel bir yüksek lisans kullandığımızdan (bunun bütçesi olmayan bir yan proje olduğunu unutmayın), her zaman halüsinasyon riski vardı. Katılımcı sürdürülebilirlikle ilgilendiğini söylerse ve asistan Taylor Swift’in sunduğu yosun bazlı kurabiyelerin pişirilmesiyle ilgili bir oturum önerirse ne olur?

Ama sonunda her şey yolunda gitti…

Sunumun tamamını buradan izleyin.

Sırada ne var?

Böyle bir PoC yapmak inanılmaz derecede eğlenceli ve öğretici bir deneyimdir. Biraz zaman harcayarak ve neredeyse hiç para harcamadan tonlarca bilgi edindik ve sektörümüze bir şeyler katmayı umuyoruz. Ve çalışmanızı sahnede dünyaya göstermenin gururunu (ve stresini) hafife almayın!

Yapay zeka ve Bulut teknolojisi kolaylıkla bulunabiliyor ve küçük ölçekte çok ucuz. Burası deney yapmak ve öğrenmek için mükemmel bir ortamdır. Elimizdeki araçlar yukarıda da gördüğünüz gibi çok derin teknik bilgi gerektirmiyor. Youtube kelimenin tam anlamıyla harika eğitimler ve demolarla dolup taşıyor.

Peki ne bekliyorsun?