„Циљ Дурбина није да се такмичи са Гуглом, то би било нереално за очекивати, али јесте да мање сајтове учини видљивијим и доступнијим корисницима, што јесте једна ниша у којој се Гугл не сналази баш најбоље. С друге стране, иако Дурбин активно промовише ћирилицу, алгоритам претраге је такав да равноправно третира све сајтове без обзира на писмо које користе те ће тако сви мањи, а вредни сајтови, избити на површину,” на почетку разговора објаснио нам је Дејан Илић, инжењер електротехнике, програмер и аутор првог ћириличког претраживача – Дурбина.
Дурбин је, укратко, домаћи претраживач свих сајтова на националним интернет доменима .rs и .срб , без обзира на писмо (ћирилица или латиница) на ком је унет садржај. Тренутно је пописано више од 165.000 сајтова и више од 1.300.000 припадајућих страница. Резултати претраге приказују се на ћирилици, а претрага равноправно третира оба писма: ћирилицом се могу претраживати сајтови са садржајем на латиници и обрнуто. С друге стране, резултати не зависе од писма којим се претражује, него искључиво од вредности и релевантности садржаја.
Како је настао Дурбин и зашто га користити?
„Идеја о Дурбину се није одмах јавила већ се постепено искристалисала кроз рад на првом пројекту, Ћирилизатору (https://cirilizator.com) који има за циљ да попише све ћириличке сајтове на интернету на српском језику. Када сам пописао већину ћириличких сајтова, јавила се и идеја да омогућим претрагу њиховог садржаја и тако је настао Дурбин,”каже Дејан Илић.
Дејан је образложио и шта га је мотивисало на развој овог пројекта, те каже да је мотивација пре свега културолошка, али и технолошка. С једне стране ћирилица заслужује да буде „грађанин првог реда на интернету”, а с друге стране ћирилица је писмо изузетно погодно за интернет претрагу имајући у виду њена фонетска својства. Сматра да је због масовне употребе латинице, општи утисак можда супротан, али идеја водиља Дурбина је управо да ту заблуду отклони и ћирилици помогне да заузме место које заслужује.
Иако Дурбин нема амбицију да постане нови Гугл, има амбицију да доприносе већој видљивости мањих сајтова квалитетног садржаја, а корисницима понуди садржај који најчешће неће пронаћи на првој страници Гугл претраге. „Пошто Гуглов алгоритам неминовно доводи до фаворизације великих сајтова, мањи сајтови, а нарочито ћирилички, ефективно остају недоступни за корисника,” констатује Илић.
Дурбин не разматра величину сајта као фактор у рангирању, нити број линкова који на њега упућују без обзира на то што су такви линкови важни као потенцијална потврда релевантности сâмог сајта.
„Својим системом Дурбин помаже мањим сајтовима са квалитетним и добро оптимизованим садржајем по SEO принципима, да буду добро рангирани у претрагама и на тај начин доступнији корисницима,” објашњава Илић, и додаје да је и број приказаних резултата још једна разлика у односу на Гугл, доминантно коришћен претраживач у Србији. „Дурбинова претрага враћа већи број резултата (у просеку од 50 до 100) на првој и јединој страници, чиме се психолошки разбија утисак да се разматрају само првих 10 сајтова који се сервирају на Гугловој страници (што су врло често велики сајтови).”
С друге стране, Дурбин уважава све SEO препоруке које користи и Гугл, дакле, ако је садржај сајта већ оптимизован по SEO принципима, имаће и добру видљивост на Дурбину.
Резултати претраге биће приказани искључиво на ћирилици јер Дурбин интерно преслови сав садржај сајтова на ћирилицу, као и сâм упит којим се врши претрага, па тако резултати претраге не зависе од писма којим се претражује, нити које се користи на сâмом веб-сајту.
Иза кулиса: технологија и изазови развоја
Дејан Илић поделио је техничке детаље везане за развој Дурбина. „Бекенд је развијен у Јава програмском језику као Спринг Бут сервис који се покреће у виду веб-апликације на Томкет серверу. Испред Томкета се налази Апачи веб-сервер за прихватање и рутирање саобраћаја. За чување и претрагу текста са сајтова користим Солр базу која је заснована на Лусин решењу (Lucene) на коме су засноване и друге светски познате базе попут Elasticsearch-а и AWS Opensearch-а. Фронтенд је чист Јаваскрипт - основни програмски језик коришћен на интернету - који је више него довољан да подржи главну функционалност сајта, а то је претрага.”
Дејан је говорио и о инфраструктури која, иако скромна опслужује пројекат, но, којој је планирана надоградња. „Тренутно, користим један Линукс сервер са 50 ГБ простора и 8 ГБ РАМ меморије, што на први поглед може звучати скромно. Но, како ће број докумената тј. скенираних страница све више да расте (за сад је то преко 1.300.000 страница), осећа се потреба да пређем на кластер од два сервера на којима би радиле две инстанце Солр базе. Друга краткорочно доступнија алтернатива, би било вертикално скалирање сервера у виду даљег повећања РАМ меморије.”
Програм – бот који обавља преглед сајтова односно страница, чији садржај потом похрани у базу, не оптерећује исте великим бројем захтева, до 20 по сајту, и то са задршком од бар три секунде између сваког захтева. У овом тренутку, сајтови на националним доменима скенирају се на тромесечном нивоу, међутим, аутор сматра да динамика није оптимална, и да је потребно да скенирање буде чешће. Каже да је изазов идентификовати сајтове чији се садржај чешће мења од оних са "статичнијим" садржајем, а сајтове на којима су промене чешће сматра да је потребно скенирати на недељном нивоу.
„Процес скенирања је у великој мери аутоматизован, али не у потпуности, и то је област на којој тренутно највише радим. У плану је да број основних страна које алгоритам скенира постепено повећавам и да наредно скенирање обухвати 50 носећих страница на сајту, у смислу њихове садржајне вредности. То су углавном странице до којих воде линкови из менија на сајтовима, али је у плану и да алгоритам продре по дубини сајтова,” поделио је са нама Дејан Илић.
Осврнуо се и на комплексности које су пратиле развој претраживача, пре свега самог кролера – бота, чији је задатак да у позадини испарсира и пресложи корисни текст са сајтова у структурирани формат који олакшава претрагу, како по релевантности садржаја сајтова, тако и по перформансама претраге. „И поред ХТМЛ језика који описује структуру веб-страница, сâм текст као и линкови менија, су често неструктурирани и „разбацани“ до див елементима, што је нарочито карактеристично за старије сајтове,” објаснио је Илић.
Други изазов тицао се постизања оптималне конфигурације Солр схеме и поља у којима се чувају структурирани подаци прочитани са веб-страница. „То подразумева изнијансирано и пажљиво пондерисање „тежина“ која ова поља имају у претрази, чиме се директно утиче на рангирање резултата. Ова конфигурација треба да буде таква да враћа најрелевантније резултате како за опште и уобичајене, тако и за врло специфичне претраге што није лак задатак за решити,” примећује Илић, „јер то захтева константни мониторинг резултата и накнадно прилагођавање.”
Корисници, даљи развој и неизоставни ВИ
Kонтинуиран рад на унапређењу алгоритма претраге, што чешће освежавање Дурбинове базе најновијим садржајима са сајтова и повећање укупног броја скенираних страница, водећи рачуна о перформансама, превасходно брзини претраге, основни је план за будућност. Но, да труд не би био узалуд, Дурбину су потребни корисници.
”Популаризација Дурбина је убедљиво најтежи изазов и он се може посматрати кроз два одвојена изазова. Први је да корисници сазнају да такав претраживач постоји, чему и ваш чланак активно доприноси, а други је да квалитет претраге буде такав да корисницима заиста помаже у проналажењу релевантних информација. Квалитетном претрагом мотивисаће се и корисници да чешће посећују сајт и тиме га сами популаризују,” сматра аутор Дурбина.
Ширење претраге и на друге зоне – генеричке домене попут .com, .net, .org, за сајтове са садржајем на српском јесте једна од амбиција, међутим, имајући у виду величине зона, аутоматско скенирање је тренутно ван домашаја. Како нам је Дејан Илић рекао, за сада ће се ослонити на ад хок додавање познатијих сајтова и корисничке сугестије.
Мало је планова за развој било ког сервиса или производа који на неки начин не подразумевају и употребу вештачке интелигенције. Тако је и са Дурбином. Као један од приоритета аутор наводи додавање концизних снипета или исечака са најрелевантнијим информацијама са сајтова, но, разматра два могућа правца развоја. Први, за који каже да је тежи али аутентичнији, би било коришћење неког од доступних великих језичких модела за српски језик и векторизација комплетног Дурбиновог садржаја како би се омогућила семантичка претрага (претрага по блискости значења самог упита и садржаја сајтова) и тзв. РАГ функционалност, тј. креирање одговора "укрштањем" знања похрањеног у велике језичке моделе и стварног садржаја са најрелевантнијих сајтова. Но, овај приступ је захтевнији, и у погледу ресурса и улагања. Друга опција, прагматичнија и приступачнија је коришћење неког од сервиса за генерисање исечака (снипета, сажетака) попут Гугловог, Антропиковог или неког од кинеских сервиса. „Међутим, овај приступ не подразумева домаћи развој, већ коришћење иностраних услуга, а Дурбинова мотивација је да се што више ослони на домаће услуге и производе, наравно колико је то могуће,” закључио је разговор Дејан Илић.
Да ли сте већ посетили и пробали први ћирилички претраживач? Пронаћи ћете га на адреси durbin.rs.
