webmaster
 
›
Konu Kilitli
17-05-2009 15:22:40
 

Arama Motoru Yapmak

Konuyu bura amamın sebebi çoğu kişi arama motru sistemi arasada kimsenin aklına php bölümüne bakmak gelmiyor.Konu alıntıdı.Ama her zamanki gibi + repler esirgenmesinBu arada W~S abi godbaba orjinal paylaşımlarına yine başladı...


Bir cok kisinin kendi sitesi icin bir arama motoru olusturmak istedigini gordugum icin PHP ile bu isin nasil yapilacagina baktim.Bir kac kutuphane gezdikten sonra en sonunda aradigim ornege bir kitapta rastladim.


Yanliz kucuk bir talihsizlik ile kitaptaki ornegin bir cok hata icerdigini gordum.Bir tarafi duzeltiyorsunuz baska bir yerde hata veriyor ve anlamsiz sonuclar ortaya cikiyordu.Bende en az 10-15 noktaya "echo ()" ile degisken sonuclarini belirli noktalarda isleyerek ve "gettype ()" fonksiyonu ile degiskenin yapisina bakarak sorunun nerede oldugunu anlamaya calisiyordum.



Zaten bir onceki yazimda ozellikle degisken veri tipi ve ozelliklerini anlamamiza yarayan fonksiyonlari makale yapmistim



Once degiskenleri,yapilarini,davranislarini ogrenip sonra ava cikmak daha mantikli gelmisti...



Simdi kitaptaki ornegin yapisini inceleyelim.ben bu ornekle ilgili yaklasik 1 haftadir calisiyorum.Hatalari bulup cikarirken eglendigimi soyleyemem ama cok sey ogrendim.



Ilk olarak belirtmeliyim ki yazar gercekten usta bir programci ve neden bu kadar cok hata yaptigini halen cozebilmis degilim.Ben ozellikle betik'teki degisken isimleri ve aciklamalara dokunmadim ki duzelltigim ve oldukca gelistirdigim bu ornegi ona da gonderirken ikinci bir isle ugramayayim istedim.



Yazar bir web sitesini indekslemek ve bu indekse dayali bir arama motoru kurabilmek icin <meta> etiketlerinden yararlanmis.Zaten tum arama motorlarida siteleri o <meta> etiketlerine gore indeksliyor.



<meta> etiketleri <head> ve </head> etiketleri arasina yaziliyor ve asagidaki gibi bir yapisi bulunuyor :






<meta name="keywords" content="kelime1,kelime2,kelime3,vb">
<meta name="description" content="Buraya ise sayfanin aciklamasi geliyor...">




Yani her web sayfanizin,kendisi ile ilgili bir anahtar kelime ve aciklama alanina sahip olmasi gerekiyor.HTML ile bu saglandiginda siteyi indeksleyecek program bu <meta> etiketlerinin icinde yer alan, "keywords" yani anahtar kelimeler ve "description" denilen aciklama alani ile sayfayi indeksliyor ve veritabaninda o sayfa ile ilgili bir satir aciyor.



Bundan ayri olarak veritabanina o sayfanin isminide yaziyor ve arama yapilirken sayfanin ismi alaninda da aranan kelime icin bir eslesme olup olmadigina bakiliyor.






Boylece "keywords","description" ve "filename" yani sirasi ile "anahtar kelimeler","aciklama" ve "dosyaadi" olarak uc alan veritabaninda yer aliyor.Birisi bir seyler aradiginda sayfalarla ilgili sonuclar veritabaninda karsilastiriliyor ve uyan sonuclar ekrana geliyor.



Hazirladigimiz program veritabanindan bagimsiz calisiyor.yani siz isterseniz MySQL isterseniz ORACLE isterseniz PostgreSQL veritabanini kullanabilirsiniz.Program icinde DB.php isimli bir sinif tarafindan veritabanina baglanti gerceklestiriliyor.Bu dosya PHP ile berber geliyor ve veritabani bagimsiz uygulama yazmak icin kullaniliyor.Programin yapisina bakinca nasil boyle bir islemin saglandigini gorebilirisiniz.



Programin ayarlar dosyasindan istediginiz veritabani ismini yazmaniz programin o veritabani ile ilgili fonksiyonlari kullanarak veritabani ile etkilesime gecemesini sagliyor...



Hemen hemen butun ayarlar bir tek ayar dosyasindan yapiliyor ama yinede bazi ayarlar hakkinda konusmak istiyorum.



Ilk olarak sitenizdeki butun dosyalar sizin belirlediginiz bir klasor baz alinarak ice dogru gidecek sekilde taraniyor.Bu tarama sirasinda sizin belirlediginiz dosya uzantisina sahip dosyalar indeksleniyor.Ornegin yanlizca sonu .html ile biten dosyalarin indekslenmesini yada sadece sonu .php ile biten dosyalarin indekslenmesini saglamak mumkun oluyor.



Asagiya ayar dosyasinin bir ornegini yaziyorum :






dbtype:mysql ; SQL Sunucu ne tip bir veritabani?
Host:localhost ; SQL Sunucu Nerede?
User:turkphp_user ; SQL Kullanici Adi
Password:****** ; SQL Sifresi
database_name:turkphp_veritabani ; Veritabani ismi?
filters:html,htm,php,php3,php4 ; Indekslenecek dosya uzantilari?
saveresults:yes ; Sonuclari kaydet?
basedir:/home/turkphp/public_html ; Indeksleme icin temel alinacak klasor?




Tum ayarlarin yanina turkce olarak ne anlama geldigini yazdim.



Simdi de veritabani icin tablo yapisini inceleyelim :



Tum kayitlari tutmak icin bir tek tablodan yararlanmak yetiyor.Asagidaki SQL yapisini kendi veritabani sunucunuz uzerinde calistirin,






CREATE TABLE sites_table (
id INT(4) PRIMARY KEY AUTO_INCREMENT,
filename VARCHAR (70),
keywords TEXT,
description TEXT
);







Guzel simdi "sites_table" isminde bir tabloya ve o tablonun icinde yer alan tablo alanlarini yaratmis oldunuz.Sitemizdeki tum dosyalar indekslendikten sonra bu alanlara ilgili veriler yazilacak.






Kurulum :



1.Bir paket halinde sikistirilmis dosyayi bilgisayariniza indirin.
2.Web sunucunuza upload yapmadan once 'config.txt' dosyasini acarak istediginiz ayarlari girin.
3.Yukaridaki SQL sorgusunu uygulayip tabloyu yarattiysaniz,artik dosyalari sunucuya yukleyebilirsiniz.(Dosyalari herhangi bir klasore koyabilirisiniz ama size tavsiyem ornegin "arama_motoru" gibi bir klasor acip o dizine "777" erisim haklari vermenizdir.Cunku indeksleme sirasinda bazi kayit dosyalari yaratilmaktadir.Eger dosyalara ve dizine "777" erisim hakki vermez iseniz klasorde gerekli izinlere sahip olmadigi icin program gecici kayit dosyalarini yaratamayacaktir.)
4."arama_motoru" isminde bir dizine dosyalari koydugunuzu kabul edersek,simdi web tarayicinizdan asagidaki gibi adrese gidebilirisiniz :







Sayfa acilir acilmaz sizin ayarlar bolumunde verdiginiz verilere dayanarak siteyi bastan asagi (sizin belirlediginiz klasorden baslayarak) indekslemeye ve sayfalarda "keywords" ve "description" meta etiketlerine bakamya baslayacaktir.Eger bu kayitlara rastlanmaz ise bu alanlar veritabanina bos olarak kayit edilir ve yanlizca dosyalarinizin ismi veritabaninda bir kayit olarak yer alir.



5.Sitenizin indekslenmesi bittiginde sayfanin en altinda bu verileri veritabanina yazip yazmak istemediginiz sorulur.Bu islemden sonra artik siteniz indekslenmis ve aranmaya hazir hale gelmistir.



6.Simdi ornek bir arama yapmak icin,







adresine gidebilirsiniz.Ilk olarak sayfa acildiginda indeks sonuclari ve en altta bir arama kutusu gorunur.Oraya arama kriteri girerek arama islemine baslayabilirsiniz.Eger basit bir web formu hazirlayarak,her defasinda veritabanindaki butun sonuclarin ekrana gelmesini engelleyerek yanlizca arama kutusunun yer aldigi bir sayfa hazirlamak istiyorsaniz ornegin asagidaki gibi bir html sayfasi hazirlayarak da arama yapabilirsiniz :






<html>
<head></head>
<body>
<form action='voyager.php' method='GET'>
Anahtar kelimeleri yaziniz : <input type='text' name='query'>
<input type='submit' value='Aramaya Basla'>
</form>
</body>
</html>




Kurulumu boylece tamamlamis oldunuz.Eger bir sebepten oturu hata mesaji aliyorsaniz once klasore gerekli izni vermeyi deneyin.Eger klasor izinleri tamamsa bu sefer veritabani kullanici adi ve sifrenizi gozden gecirin.Bu progrm bazi PEAR siniflarini kullanmaktadir.Bu sinifilar PHP ile otomatik gelir ve bu konuda bir sikinti yazamaniz mumkun degildir.



Ornek Dosyalar











Programi bilgisayariniza indirin :







Kaynak : ISBN 0-672-31924-1



Not : Kaynak kitapta yer alan yapi,duzen kaynak kodlar ile yukarida indirdiginiz sikistirilmis dosyadaki kaynak kodlar cok farklidir.






EK - 1 Kaynak Kodlar



octopus.php






<?php
include 'File/Find.php';
include 'LoadConfig.php';


$config = LoadConfig ('config.txt');



#A-Z ye dosyalar ve nokta karekterini tanimladim...
#Siz istediginiz degisikligi yaparak hangi dosylarin bulunup
#Indekslenmesini istediginizi burada belirleyebilirsiniz.
$regex = "[a-zA-Z0-9.]";



$fs = new File_Find;



$files = $fs->search ($regex,$config['basedir'], 'perl');



while ($file = array_pop ($files)) {
$meta_tags = get_meta_tags ($file);
$indexed .= "$file | " . $meta_tags[keywords] . ' | ';
$indexed .= str_replace (" ", '', $meta_tags[description]) . " ";
}



if (strtolower ($config['saveresults']) == 'yes' or
$config['saveresults'] == '1') {
touch ('savefile'); #Create if doesn't exist
$n = (int)join('', file('savefile'));



$fp = @fopen ('savefile','w') or die("Cannot Open savefile");
fputs ($fp, ++$n);
fclose($fp) or die("Cannot Close savefile");



$filename = 'octopus_index' . $n . '.txt';
$fp = @fopen ($filename, 'w') or die ("Cannot Open $filename");
fwrite ($fp,$indexed);
@fclose ($fp) or die("Cannot Close $filename");
confirm ($indexed);
} else {
$filename = 'octopus_index.txt';
$fp = @fopen ($filename,'w') or die("Cannot Open $filename");
fwrite ($fp,$indexed);
@fclose($fp) or die("Cannot Close $filename");
confirm($indexed);
}



function confirm () {
global $filename,$indexed;
?>
<html>
<head>
<title>Dosylarin Indekslenmesi Basarili Sekilde Tamamlandi</title>
</head>
<body>
Dosyalar Indeksleniyor...Lutfen Bekleyiniz:<br><br>
<?php
$indexed = explode (" ", $indexed);



while (list (, $file) = each ($indexed)) {
$file = str_replace ('|', '<br>', $file);
print "$file <br><br> ";
}
?>
<br>
<br>



<form action='finalize.php' method='get'>
<input type='hidden' name='filename' value='<?php echo $filename; ?>'>
<input type='radio' name='finalize' value='yes'>Dosyalari Indekslemeyi Bitirdim.<br>
<input type='radio' name='finalize' value='no'>Dosyalari Tekrar Indekslemek Istiyorum.<br>
<input type='submit' value='ILERI>>'>
</form>
</body>
</html>
<?php
}
?>








finalize.php






<?php
include 'DB.php';
include 'LoadConfig.php';


$config = LoadConfig ('config.txt');



if ($finalize == 'yes') {
$dbconn = array ('phptype' => $config[dbtype],
'username' => $config[User],
'password' => $config[Password],
'database' => $config[database_name],
'hostspec' => $config[Host]);



$dbh = DB::connect($dbconn);



if (DB::isError ($dbh)) {
die (sprintf ('Hata1 [%d]: %s',$dbh->getCode(), $dbh->getMessage()));
}



$fcontents = file ($filename);



while(list($key,$line) = each($fcontents)) {
list ($fname,$keywords,$desc) = explode('|', $line);



$fname = ereg_replace($config['basedir']," ",$fname);
$fname = trim($fname);
$keywords = trim($keywords);
$desc = trim($desc);






$stmt = 'INSERT INTO sites_table (filename, keywords, description)';
$stmt .= " VALUES ('$fname','$keywords','$desc')";
$dbh->query ($stmt);
if (DB::isError ($dbh)) {
die (sprintf ('Hata 2 [%d]: %s',$dbh->getCode(), $dbh->getMessage()));
}
}
//$dbh->close();
print "Sitenizin Indekslenmesi Tamamlandi...";
} elseif ($finalize == 'no') {
unlink ($filename)
or die ("Cannot delete $filename");
if ($saveresults == 'yes' or $saveresults == '1') {
$n = (int)join ('',file ('savefile'));
$fp = @fopen ('savefile','w') or die ("Connot Open savefile");
fputs ($fp, --$n);
@fclose ($fp) or die ("Cannot Close savefile");
}
print "Yapilan tum islemler geri alindi ve indeks dosyalari silindi...";
} else {
die ("Gecersiz bir secenek girildi...");
}
?>








voyager.php








<?php



include_once 'DB.php';
include_once 'LoadConfig.php';



$config = LoadConfig ('config.txt');



//Submitted data is $query -- Users search term



$dbconn = array ( 'phptype' => $config[dbtype],
'username' => $config[User],
'password' => $config[Password],
'database' => $config[database_name],
'hostspec' => $config[Host]);
$dbh = DB::connect($dbconn);



if (DB::isError ($dbh)) {
die (sprintf ('Error [%d]: %s',$dbh->getCode(),$dbh->getMessage()));
}



$stmt = 'SELECT * FROM sites_table ';
$stmt .= " WHERE keywords LIKE '%$query%' OR description LIKE '%$query%'";
$stmt .= " OR filename LIKE '%$query%'";



$sth = $dbh->query ($stmt);






if (DB::isError ($dbh)) {
die (sprintf ('Hata [%d]: %s',$dbh->getCode(),$dbh->getMessage()));
}



$count = $sth->numRows ();



$header = ($count > 0) ? "Sorgunuza uyan $count tane sonuc bulundu." :
'Uzgunum sorgunuza uyan herhangi bir kaynak sitemizde yer almiyor.';



function result_set () {
global $sth;
while ($row = $sth->fetchRow()) {
?>
<a href='<?php echo $row[1]; ?>'> <? echo $row[1]; ?> </a>
<br>
<dir><?php echo $row[3]; ?></dir><br><br>
<?php
}
}
//$dbh->close ();
?>



<html>
<head>
<title>
<?php echo $header; ?>
</title>
</head>
<body>
<h1> <?php echo $header; ?></h1>



<br>
<br>



<?php
if ($count) {
result_set();
} else {
echo $header;
}
?>



<form action='<?php echo $PHP_SELF; ?>' method='GET'>
Sitede bulmak istediginiz anahtar kelimeleri yaziniz : <input type='text' name='query'>
<input type='submit' value='Aramaya Basla'>
</form>
</body>
</html>








config.txt






dbtype:mysql ; SQL Server Type
Host:localhost ; SQL server location
User:turkphp_user ; SQL username
Password:****** ; SQL Password
database_name:turkphp_veritabani ; Name of the Database
filters:html,htm,php,php3,php4 ; Allowed File endings.
saveresults:yes ; Save the results of each succesful indexing
basedir:/home/turkphp/public_html ; Base directory where files are held




LoadConfig.php






<?php


function LoadConfig ($filename,$seperator=':', $comment=';')
{
$regex = "/$comment.*/i";
$fp = @fopen ($filename,'r');
if (!$fp) {
die ("Cannot open $filename");
}



while ($line = @fgets ($fp,1024)) {
$line = preg_replace ($regex,"",$line);
list ($key,$val) = explode ($seperator,$line);



$key = trim ($key);
$val = trim ($val);



$config[$key] = $val;
}



@fclose ($fp);
return ($config);
}
?>

Bir önceki yazı Peter Carl Fabergé hakkında bilgi vermektedir.

17-05-2009 15:27:57
 
Wayy be bu kadar kolaymıydı Teşekkürler baba google.tr.cx hemen açıyorum : )

17-05-2009 15:35:30
 
Alıntı:
Wayy be bu kadar kolaymıydı Teşekkürler baba google.tr.cx hemen açıyorum : )
şaka mı ? ciddi mi ?
Eğer ciddiysen repimi isterim çünkü bak yardım ettim lütfen biraz + rep...

17-05-2009 18:37:03
 
way be :S
resmen koca bir site kurulumu demekmiş ben daha basit bir mantık düşünüyordum
teşekkürler godbaba

17-05-2009 19:55:04
 
Rep dediğin nedirki verdim gitti

Edit: veremedim hata verdi
" Bu godbaba Mesajı yeniden değerlendirebilmeniz için başka Üyelerin Mesajlarınıda değerlendirmeniz gerekmektedir. "

17-05-2009 20:12:14
W-S W-S offline
 
Repler geldi sıcak sıcak yeşil yeşil aferim azimlisin iyi gidiyosun.

03-06-2012 23:52:35
 
kafam karıştı

Konu Kilitli

"Arama Motoru Yapmak" konusu hakkında etiketler
31924 672 adresi ana aradigim arama aramamotoru bagimsiz baktim basedir basit baska bedava benzer benzeri bir butonu camineyring cok config diger formda gelmiyor gerekli gereklidir gezdikten gogle gogul goole gordugum hazirlamak html icin ile inter Irina isbn isimleri isin istedigini istiyorum kac kendi kendin kisinin kitapta kucuk kullanarak kurmak kutuphane like mantigi motor motorlari motorlu motoru motory moturu mysql nasil nda neler olustur olusturma olusturmak ornege php populer rastladim sayfasi scripti server Shayk site sitede sitene sitesi sitesinde siteyi sonra sonunda sql tarzi turk turkce ucretli ucretsiz uzerinde wep yandex yap yapilacagina yapimi yapma yapmak yaptirmak yarat yaratmak yazmak yeni yla

Peter Carl Fabergé Önceki | Sonraki 100 Adet Google + (plus) BİRDEN




Saat: 20:48 - Webmaster Forumu - Rss - Arşiv
İletişim Bilgileri, Contact Us, Kullanım Sözleşmesi, Gizlilik