A. Pengertian Search Engine
Mesin pencari web atau yang lebih dikenal dengan istilah web search engine merupakan program komputer yang dirancang untuk mencari informasi yang tersedia didalam dunia maya. Berbeda halnya dengan direktori web (seperti dmoz.org) yang dikerjakan oleh manusia untuk mengelompokkan suatu halaman informasi berdasarkan kriteria yang ada, web search engine mengumpulkan informasi yang tersedia secara otomatis.
B. Cara Kerja Search Engine
Mesin pencari web bekerja dengan cara menyimpan hampir semua informasi halaman web, yang diambil langsung dari www. Halaman-halaman ini diambil secara otomatis. Isi setiap halaman lalu dianalisis untuk menentukan cara mengindeksnya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data
tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.
Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.
Mesin pencari lain yang menggunakan proses real-time, seperti Orase, tidak menggunakan indeks dalam cara kerjanya. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal seperti informasi selalu mutakhir, (hampir) tak ada broken link, dan lebih sedikit sumberdaya sistem yang diperlukan (Google menggunakan hampir 100.000 komputer, Orase hanya satu.). Tetapi, ada juga kelemahannya yaitu pencarian lebih lama rampungnya.
C. Komponen utama dalam Search Engine
Sebuah search engine memiliki beberapa komponen agar dapat menyediakan layanan utamanya sebagai sebuah mesin pencari informasi. Komponen tersebut antara lain :
- Web Crawler
Web crawler atau yang dikenal juga dengan istilah web spider bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler bekerja secara otomatis dengan cara memberikan sejumlah alamat website untuk dikunjungi serta menyimpan semua informasi yang terkandung didalamnya. Setiap kali web crawler mengunjungi sebuah website, maka dia akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di kunjungi lagi satu persatu.
Proses web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat salinan secara sebhagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat dip roses lebih lanjut oleh system pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.
Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya.
Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
- Halaman mana yang harus dikunjungi terlebih dahulu.
- Aturan dalam proses mengunjungi kembali sebuah halaman.
- Performansi, mencakup banyaknya halaman yang harus dikunjungi.
- Aturan dalam setiap kunjungan agar server yang dikunjungi tidak kelebihan beban.
- Kegagalan, mencakup tidak tersedianya halaman yang dikunjungi, server down, timeout, maupun jebakan yang sengaja dibuat oleh webmaster.
- Seberapa jauh kedalaman sebuah website yang akan dikunjungi.
- Hal yang tak kalah pentingnya adalah kemampuan web crawler untuk mengikuti
perkembangan teknologi web, dimana setiap kali teknologi baru muncul, web crawler harus dapat menyesuaikan diri agar dapat mengunjungi halaman web yang menggunakan teknologi baru tersebut.
Proses sebuah web crawler untuk mendata link – link yang terdapat didalam sebuah halaman web menggunakan pendekatan regular expression. Crawler akan menelurusi setiap karakter yang ada untuk menemukan hyperlink tag html (<a>). Setiap hyperlink tag yang ditemukan diperiksa lebih lanjut apakah tag tersebut mengandung atribut nofollow rel, jika tidak ada maka diambil nilai yang terdapat didalam attribute href yang merupakan sebuah link baru.
- Indexing system
Indexing system bertugas untuk menganalisa halaman web yang telah tersimpan sebelumnya dengan cara mengindeks setiap kemungkinan term yang terdapat di dalamnnya. Data term yang ditemukan disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya.
Indexing system mengumpulkan, memilah dan menyimpan data untuk memberikan kemudahan dalam pengaksesan informasi secara tepat dan akurat. Proses pengolahan halaman web agar dapat digunakan untuk proses pencarian berikutnya dinakamakan web indexing. Dalam implementasinya index system dirancang dari penggabungan beberapa cabang ilmu antara lain ilmu bahasa, psikologi, matematika, informatika, fisika, dan ilmu komputer.
Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.
- Search system
Search system inilah yang berhubungan langsung dengan pengguna, meyediakan hasil pencarian informasi yang diinginkan. Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan kata pencarian biasanya dengan beberapa kata kunci, search system akan mencari data dari indeks database, data yang cocok kemudian akan ditampilkan, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.
D.Kegunaan Search Engine
"Search engine" beralih ke halaman ini. Untuk kegunaan lain, lihat Search engine (disambiguasi).
Tiga mesin pencari yang paling banyak digunakan web dan berbagi perkiraan mereka pada akhir 2010
Sebuah mesin pencari web yang dirancang untuk mencari informasi di World Wide Web dan server FTP. Hasil pencarian umumnya disajikan dalam daftar hasil dan sering disebut hits. Informasi dapat terdiri dari halaman web, gambar, informasi dan jenis file lainnya. Beberapa mesin pencari juga tambang data
yang tersedia dalam database atau direktori terbuka. Tidak seperti web direktori, yang dikelola oleh editor manusia, mesin pencari beroperasi algorithmically atau campuran masukan algoritmik dan manusia.
Isi
[Hide]
1 Sejarah
2 Bagaimana web mesin pencari bekerja
3 Pasar saham dan perang
4 bias Search engine
5 Lihat juga
6 Referensi
7 Bacaan lebih lanjut
8 Pranala luar
E.Sejarah Search Engine
Timeline (daftar lengkap) Tahun Engine Event 1993 W3Catalog Luncurkan Aliweb Luncurka JumpStation Luncurkan 1994 WebCrawler Luncurkan Go.com Luncurkan Lycos Luncurkan 1995
Alta Vista Luncurkan Daum Didirikan Buka Teks Web Peluncuran Indeks.
[2]
Magellan Luncurkan Excite Luncurkan SAPO Luncurkan Yahoo! Diluncurkan sebagai sebuah direktori
1996 Dogpile Luncurkan Inktomi Luncurkan HotBot Didirikan Ask Jeeves Didirikan 1997 Peluncuran Cahaya Utara Yandex Luncurkan 1998 Google Luncurkan MSN Search Luncurkan 1999 AlltheWeb Luncurkan GenieKnows Didirikan Naver Luncurkan Teoma Didirikan Vivisimo Didirikan
Didirikan 2000 Baidu Exalead Didirikan 2002 Inktomi Diakuisisi oleh Yahoo 2003 Info.com Luncurkan
2004 Yahoo! Search Diluncurkan pencarian web sendir A9.com Tertutup Sogou Luncurkan
2005 Ask.com Luncurkan GoodSearch Luncurkan SearchMe Didirikan 2006 wikiseek Didirikan Quaero Didirikan Ask.com Luncurkan Live Search Diluncurkan sebagai rebranded MSN Search ChaCha Luncurkan Guruji.com Luncurkan 2007 wikiseek Tertutup Sproose Tertutup Wikia Search Diluncurkan
Blackle.com Diluncurkan 2008 Powerset Diakuisisi oleh Microsoft Picollator Tertutup Viewzi Tertutup
Cuil Diluncurkan Boogami Diluncurkan LeapFish Luncurkan Beta Forestle Diluncurkan VADLO Diluncurkan Duck Duck Go Diluncurkan 2009 Bing Diluncurkan sebagai rebranded Live Search Yebol Luncurkan Beta Mugurdy tertutup karena kurangnya dana Goby Diluncurkan 2010 Yandex Diluncurkanglobal (bahasa Inggris) search Cuil Tertutup Blekko Luncurkan Beta Viewzi tertutup karena kurangnya dana Yummly Diluncurkan 2011 Exalead Diakuisisi oleh Dassault Systèmes Nama Domain Yebolkadaluarsa
Selama pengembangan awal dari web, ada daftar webservers diedit oleh Tim Berners-Lee dan host pada webserver CERN. Satu snapshot sejarah dari tahun 1992 tetap.
[3]
Sebagai webservers lebih pergi online daftar sentral tidak bisa mengikuti. Di situs NCSA server baru yang diumumkan dengan judul "What's New!"
[4]
Alat yang pertama digunakan untuk mencari di Internet adalah Archie [5] Nama singkatan "arsip" tanpa "v".. Itu dibuat pada tahun 1990 oleh Alan Emtage, Bill Heelan dan J. Peter Deutsch, mahasiswa ilmu komputer di McGill University di Montreal. Program-download daftar direktori dari semua file yang terletak di publik anonim (File Transfer Protocol) situs FTP, menciptakan database dicari nama file, namun tidak Archie mengindeks isi dari situs-situs tersebut karena jumlah data yang sangat
terbatas itu bisa dengan mudah dicari secara manual. Munculnya Gopher (diciptakan pada tahun 1991 oleh Mark McCahill di University of Minnesota) menyebabkan dua program pencarian baru, Veronica dan Jughead. Seperti Archie, mereka mencari nama file dan judul yang disimpan di dalam sistem index Gopher. Veronica (Very Easy Indeks Net-lebar Rodent-Oriented untuk Computerized Archives) menyediakan pencarian kata kunci dari judul yang paling Gopher menu pada daftar seluruh Gopher. Jughead (Jonzy's Universal Gopher Hierarchy Penggalian Dan Display) adalah alat untuk memperoleh informasi menu dari server Gopher tertentu. Sedangkan nama mesin pencari "Archie" itu tidak merujuk ke seri buku komik Archie, "Veronica" dan "Jughead" adalah karakter dalam seri, sehingga referensi pendahulu mereka.
Pada musim panas tahun 1993, tidak ada mesin pencari ada namun untuk web, meskipun banyak katalog khusus yang dikelola oleh tangan. Oscar Nierstrasz di Universitas Jenewa menulis serangkaian script Perl yang secara berkala akan cermin halaman ini dan menulis ulang ke dalam format standar yang membentuk dasar untuk W3Catalog, web pertama mesin pencari primitif, dirilis pada tanggal 2 September 1993.
[6]
Pada bulan Juni 1993, Matthew Gray, kemudian di MIT, menghasilkan apa mungkin robot web pertama, Dunia Perl berbasis Wide Web Wanderer, dan menggunakannya untuk menghasilkan indeks yang disebut 'Wandex'. Tujuan dari Wanderer adalah untuk mengukur ukuran dari World Wide Web, yang hal itu sampai akhir 1995. kedua cari web mesin Aliweb muncul pada bulan November 1993. Aliweb tidak menggunakan robot web, tetapi tergantung pada diberitahu oleh administrator situs keberadaan di setiap lokasi dari file indeks dalam format tertentu.
JumpStation (dirilis pada bulan Desember 1993
[7])
menggunakan robot web untuk mencari halaman web dan untuk membangun indeks, dan menggunakan formulir web sebagai antarmuka untuk program query nya. Itu demikian WWW pertama penemuan sumber daya alat untuk menggabungkan tiga fitur penting dari mesin pencari web (merangkak, pengindeksan, dan mencari) seperti yang dijelaskan di bawah ini. Karena keterbatasan sumber daya yang tersedia pada platform yang berlari, maka pengindeksan dan pencarian yang terbatas pada judul dan judul ditemukan di halaman web crawler yang ditemui.
Salah satu yang pertama "full teks" search engine crawler-based adalah WebCrawler, yang keluar pada tahun 1994. Tidak seperti pendahulunya, itu membiarkan pengguna mencari setiap kata dalam setiap halaman web, yang telah menjadi standar untuk semua mesin pencari utama sejak. Itu juga yang pertama yang dikenal luas oleh masyarakat. Juga pada tahun 1994, Lycos (yang dimulai di Carnegie Mellon University) diluncurkan dan menjadi usaha komersial utama. Segera setelah itu, mesin pencari banyak bermunculan dan bersaing memperebutkan popularitas. Ini termasuk Magellan (search engine), Excite, Infoseek, Inktomi, Northern Light, dan AltaVista. Yahoo merupakan salah satu cara yang paling populer bagi orang untuk menemukan halaman web yang menarik, tetapi fungsi pencarian dioperasikan pada direktori web, daripada salinan teks lengkap dari halaman web. pencari informasi juga bisa menelusuri direktori bukannya melakukan pencarian kata kunci berbasis. Pada tahun 1996, Netscape sedang mencari untuk memberikan mesin pencari satu kesepakatan eksklusif untuk menjadi mesin pencari ditampilkan di web browser Netscape. Ada begitu banyak bunga bahwa alih-alih kesepakatan terkesan dengan Netscape oleh lima dari mesin pencari utama, dimana untuk $ 5Million per tahun masing-masing mesin pencari akan di rotasi pada halaman mesin pencari Netscape. Kelima mesin yang Yahoo!, Magellan, Lycos, Infoseek, dan Excite
[8]
Mesin pencari juga dikenal sebagai beberapa bintang cemerlang dalam perlombaan investasi Internet yang terjadi pada akhir 1990-an. [10] Beberapa perusahaan memasuki pasar spektakuler, menerima keuntungan rekor pada penawaran umum. Beberapa telah dibawa turun mesin pencari publiknya, dan hanya memasarkan edisi enterprise saja, seperti Northern Light. Banyak perusahaan search engine yang terperangkap dalam gelembung dot-com, ledakan spekulasi pasar-driven yang memuncak pada tahun 1999 dan berakhir pada tahun 2001. Sekitar tahun 2000, mesin pencari Google meningkat menjadi terkenal. [Rujukan?] Perusahaan ini mencapai hasil yang lebih baik untuk pencarian banyak dengan inovasi yang disebut PageRank. Algoritma iteratif peringkat halaman web berdasarkan jumlah dan PageRank dari situs lain dan halaman yang memiliki pranala sana, pada premis bahwa halaman yang baik atau diinginkan terkait dengan lebih dari yang lain. Google juga mempertahankan antarmuka minimalis dengan mesin pencarian. Sebaliknya, banyak pesaingnya tertanam mesin pencari di portal web. Pada tahun 2000, Yahoo menyediakan layanan pencarian berdasarkan mesin pencari Inktomi's. Yahoo mengakuisisi Inktomi pada tahun 2002, dan Overture (yang memiliki AlltheWeb dan Altavista) pada tahun 2003. Yahoo! beralih ke mesin pencari Google hingga tahun 2004, ketika meluncurkan mesin pencari sendiri didasarkan pada teknologi gabungan dari rencana akusisi tersebut.
Microsoft pertama kali diluncurkan MSN Search pada musim gugur tahun 1998 menggunakan hasil pencarian dari Inktomi. Pada awal tahun 1999 situs mulai menampilkan daftar dari Looksmart dicampur dengan hasil dari Inktomi kecuali untuk waktu yang singkat pada tahun 1999 ketika hasil dari AltaVista digunakan sebagai gantinya. Pada tahun 2004, Microsoft mulai transisi ke teknologi pencarian sendiri, didukung oleh web crawler sendiri (msnbot disebut). namanya mesin pencari Microsoft, Bing, diluncurkan pada tanggal 1 Juni 2009. Pada tanggal 29 Juli 2009, Yahoo dan Microsoft menyelesaikan kesepakatan di mana Yahoo! Search akan didukung oleh teknologi Bing Microsoft.[Sunting] Bagaimana mesinpencariwebbekerja Tingkat tinggi arsitektur crawler Web standar Sebuah mesin pencari beroperasi,dalamurutanberikutWebmerangkakPengindeksanPencarian
mesin pencari web bekerja dengan menyimpan informasi tentang banyak halaman web, yang mereka mengambil dari html itu sendiri. Halaman ini diambil oleh crawler Web (kadang-kadang juga dikenal sebagai laba-laba) - Web browser otomatis yang mengikuti setiap link di situs. Pengecualian dapat dilakukan dengan menggunakan robots.txt. Isi setiap halaman lalu dianalisis untuk menentukan bagaimana harus diindeks (misalnya, kata-kata diambil dari judul, judul, atau field khusus yang disebut meta tag). Data tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam query nanti. query bisa menjadi kata tunggal. Tujuan dari indeks adalah untuk memungkinkan informasi dapat ditemukan secepat mungkin. Beberapa mesin pencari, seperti Google, menyimpan semua atau sebagian dari halaman sumber (disebut sebagai cache) maupun informasi tentang halaman web, sedangkan yang lain, seperti AltaVista, menyimpan setiap kata dari setiap halaman yang mereka temukan. Cache halaman ini selalu memegang pencarian teks yang sebenarnya karena merupakan salah satu yang sebenarnya diindeks, sehingga dapat menjadi sangat berguna ketika isi dari halaman saat ini telah diperbarui dan istilah pencarian tidak lagi di dalamnya. Masalah ini mungkin dianggap sebagai bentuk ringan linkrot, dan penanganan Google untuk meningkatkan kegunaan dengan memenuhi harapan pengguna bahwa istilah pencarian akan berada pada halaman web dikembalikan. Ini memenuhi prinsip keheranan tidaknya sejak pengguna biasanya mengharapkan istilah pencarian berada di halaman kembali. relevansi pencarian Peningkatan membuat halaman-halaman cache yang sangat berguna, bahkan di luar fakta bahwa mereka mungkin berisi data yang mungkin tidak lagi tersedia di tempat lain.
Ketika pengguna memasukkan query ke mesin pencari (biasanya dengan menggunakan kata-kata kunci), mesin memeriksa indeks dan memberikan daftar halaman web yang paling cocok menurut kriteria, biasanya dengan ringkasan singkat yang berisi judul dokumen dan kadang-kadang bagian teks. Indeks dibangun dari informasi yang tersimpan dengan data dan metode yang informasi diindeks. Sayangnya, saat ini tidak ada mesin pencari yang dikenal publik yang memungkinkan dokumen yang akan dicari menurut tanggal. Kebanyakan mesin pencari mendukung penggunaan operator boolean AND, OR dan NOT untuk lebih menentukan permintaan pencarian. operator Boolean adalah untuk pencarian literal yang memungkinkan pengguna untuk memperbaiki dan memperluas syarat-syarat pencarian. Mesin mencari kata atau frasa persis seperti masuk. Beberapa mesin pencari menyediakan fitur pencarian kedekatan disebut canggih yang memungkinkan pengguna untuk menentukan jarak antara kata kunci. Ada juga konsep berbasis mencari dimana penelitian melibatkan menggunakan analisis statistik pada halaman yang berisi kata atau frasa yang Anda cari. Selain itu, pertanyaan bahasa alam memungkinkan pengguna untuk mengetik pertanyaan dalam satu bentuk yang sama akan meminta kepada manusia. Sebuah situs seperti ini akan ask.com.
Kegunaan dari mesin pencari bergantung pada relevansi hasil set itu memberi kembali. Meskipun mungkin ada jutaan halaman web yang mencakup kata tertentu atau frase, sebagian halaman mungkin lebih relevan, populer, atau otoritatif daripada yang lain. Kebanyakan mesin pencari menggunakan metode untuk menentukan peringkat hasil untuk memberikan yang "terbaik" hasil pertama. Bagaimana mesin pencari yang memutuskan halaman yang paling cocok, dan apa pesanan hasilnya harus ditunjukkan dalam, sangat bervariasi dari satu mesin yang lain. Metode juga berubah dari waktu ke waktu sebagai perubahan penggunaan internet dan teknik baru berkembang. Ada dua jenis utama mesin pencari yang telah berevolusi: satu adalah sistem kata kunci standar dan hirarki memerintahkan bahwa manusia telah diprogram secara ekstensif. Yang lainnya adalah sistem yang menghasilkan sebuah "indeks terbalik" dengan menganalisis teks ini menempatkan. Bentuk kedua jauh lebih banyak bergantung pada komputer itu sendiri untuk melakukan sebagian besar pekerjaan.
Sebagian besar mesin pencari web adalah usaha komersial yang didukung oleh pendapatan iklan dan, sebagai hasilnya, beberapa mempekerjakan praktek memungkinkan pengiklan untuk membayar uang untuk memiliki daftar mereka peringkat lebih tinggi dalam hasil pencarian. mesin pencari Mereka yang tidak menerima uang untuk hasil mesin pencari mereka menghasilkan uang dengan menjalankan iklan pencarian terkait di samping hasil mesin pencarian biasa. Mesin pencari menghasilkan uang setiap kali seseorang mengklik salah satu iklan tersebut.
[Sunting] Pangsa pasar dan perang
Menurut pangsa pasar bersih. Pada bulan Desember 2010, peringkat pangsa pasar web search engine, menunjukkan Google 84.65%, Yahoo adalah 6,69%, Baidu adalah 3,39%, Bing adalah 3,29% dan lainnya 1,98%.
[11] pangsa pasar di seluruh dunia Google mencapai puncaknya pada 86,3 % pada April, 2010
[12].
Di Amerika Serikat, Google mengadakan pangsa pasar 63,2% pada bulan Mei 2009, menurut Nielsen NetRatings.
[13] Di Republik Rakyat Cina, Baidu mengadakan pangsa pasar 61,6% untuk pencarian web pada bulan Juli 2009.
[14]
[Sunting] bias Search engine
Meskipun mesin pencari diprogram untuk peringkat situs berdasarkan popularitas mereka dan relevansi, studi empiris menunjukkan bias politik, ekonomi, dan sosial berbagai informasi yang mereka sediakan. [15] Ini bisa menjadi bias akibat langsung dari proses ekonomi dan komersial (misalnya, perusahaan yang mengiklankan dengan mesin pencari dapat menjadi juga lebih populer dalam hasil pencarian organik), dan proses politik (misalnya, penghapusan hasil pencarian dalam rangka mematuhi undang-undang setempat). [16] Google Bom adalah salah satu contoh upaya untuk memanipulasi hasil pencarian untuk alasan politik, sosial atau komersial.
06.59
Kadan kondang
uses wincrt;
