اینترنت پنجره ها اندروید

اولین موتورهای جستجو چیست؟ موتور جستجو 1 موتور جستجو

داستان این که چگونه سیستم های جستجو ظاهر شد، در ژوئیه 1945 آغاز می شود، زمانی که یک دانشمند از آمریكا وانور بوش (وانوار بوش) توانست یک مقاله معروف را بنویسد "در حالی که ما فکر می کرد"، او توانست پیش بینی ظهور رایانه های شخصی را پیش بینی کند و می تواند همچنین ایده hypertext را تشکیل می دهد. توجه داشته باشید که واننور بوش و خود در ایجاد نمونه های اولیه موتورهای جستجو شرکت کردند که ما از این روزها استفاده می کنیم. با این حال، پس از آن، در سال 1938، او توانست دستگاه را توسعه دهد و ثبت اختراع کند که بتواند به سرعت اطلاعات مربوط به میکروفیلم را جستجو کند.

علیرغم این واقعیت که حداقل ونیا بوش، فناوری های جستجو و ایده های اینترنتی را در نظر می گیرد، اما دانشمندان دیگر ایده های خود را در عمل اجرا کرده اند. در سال 1958، وزارت امور خارجه ایالات متحده در ایالات متحده (آژانس پروژه های تحقیقاتی پیشرفته ARPA، آژانس های پیشرفته تحقیقاتی تحقیقاتی) ایجاد شد، در سال 1963 تا 1969 دانشمندان می توانستند بر روی یک مفهوم کاملا جدید کار کنند، که اجازه انتقال اطلاعات را از طریق یک کامپیوتر کرد شبکه.

در ابتدا، این اتصال که مجاز به انتقال داده های رمزگذاری شده بود، برنامه ریزی شده بود تا برای اهداف نظامی استفاده شود، اما سطح امنیتی انتقال اطلاعات بسیار کم بود، بنابراین ارتش خواسته بود که از ادامه تحولات خودداری کند.

با این حال، تنها تا پایان دهه 1980، ایده ایجاد یک شبکه کامپیوتری دوباره زنده شد. چندین دانشگاه ایالات متحده به این امر کمک کردند، که در تحولات آنها توانستند کتابخانه های اطلاعاتی خود را با استفاده از اتصال به شبکه ترکیب کنند.

در دهه 1990، توسعه شدید اینترنت آغاز شد. از فوریه سال 1993، به محض اینکه مارک آندریسن (مارک آندریسن) از NCSP (مرکز ملی برنامه های کاربردی ابر رایانه، NCSA، مرکز ملی برنامه های ابر رایانه، www.ncsa.uiuc.edu) قادر به تکمیل نسخه اولیه برنامه بود، که پس از همه، Hypertext موزاییک موزائیک را تجسم کرد، او این بود که او یک رابط گرافیکی مناسب داشت و می توانست یک نمونه اولیه از مرورگرها باشد، که ما در زمان ما استفاده می کنیم. اینترنت شروع به محبوبیت کرد.

در اواسط دهه 1990، به منظور پیدا کردن اطلاعات مورد نیاز، لازم بود از کاتالوگ که در آن سایت ها قرار گرفته بود، لازم بود. در آن زمان، این کاتالوگ ها خیلی زیاد نبود و از طریق سایت ها دچار نفوذ نکردند، اما اطلاعات بر روی عنوان ها و موضوعات دستور داده شد. شایان ذکر است که در سال 1993، سه ربات از موتورهای جستجو در حال حاضر در شبکه بودند. داده های توسعه غیر تجاری بود و پس از هجوم مقادیر زیادی از اطلاعات نمی توانست با این کار مقابله نکنند، به طوری که آنها به دلیل توسعه شدید اینترنت ناپدید شدند.

از سال 1995، مکان اصلی در اینترنت جهانی توسط موتورهای جستجو، که بعدا بسیار بزرگ بود، در غرب - گوگل، یچو، آلتا ویستا، و در روسیه - یندکس، رمبلر، aport گرفته شده است.

توزیع به تاریخ توسعه موتورهای جستجو روسیه. در اینجا، موتورهای جستجو ما منتظر راه آسان ما بودند. پیروزی و شکست آنها نیز وجود داشت.

Yandex شروع به توسعه در سال 1990 کرد، اما تنها در سال 1997 به یک موتور جستجو تبدیل شد که ما کاملا می دانستیم.

یاندکس این یک رهبر بدون قید و شرط در روسیه محسوب می شود، زیرا پوشش مخاطبان Yandex برای ماه با توجه به برآوردهای متخصصان برجسته، تقریبا نیمی از مخاطبان منظم اینترنت در روسیه بود. این اعداد در سر برتر از مخاطبان بالقوه Aport و Rambler برتر هستند. به تازگی، جستجوی بسیار قدرتمند برای Mail Mail از یک سرویس بزرگ الکترونیکی دیگر متولد شده است که در پست الکترونیکی مشغول به کار بوده است، اما در این مورد شرکت توانست از الگوریتم یانگکس استفاده کند و به همین دلیل از صفحات سیستم پست الکترونیکی ما می توانیم جستجو کنیم ویژگی به جستجو در Yandex. اما آخرین رسوایی رسمی گروه ایمیل برای رفتن از جستجوی Yandex. علل دقیق سفتی هیچ کس تاکنون نمی داند.

در جستجوی Yandex، سرفصل ها به حساب می آیند، و همچنین پیدا کردن اجباری کلمه در بدن سند. اولویت به این کلمات که عبارات هستند، به یکدیگر نزدیک می شوند و در یک پاراگراف قرار دارند. جستجو در Yandex اتفاق می افتد با توجه به مورفولوژی زبان روسی، این ویژگی متمایز آن است، یعنی در مورد درخواست "عکس طبیعت" یا "طبیعت"، آن را نیز توسط آن ها و سایر اسناد صادر می شود چه کسی این کلمات را برآورده می کند

رامبلر این اولین سرویس جستجو از Runet است، در پاییز سال 1997 توسط گروهی از دانشمندان میکروبشناسی در شهر Pushchino در منطقه مسکو. در Rambler، جستجو توسط نمایه سازی کلمات کلیدی در صفحه ساخته شده توسط فونت های جسورانه (برچسب های قوی و B) برجسته شده است و اگر آنها اغلب در سرفصل ها ظاهر شدند (برچسب ها H1). بر خلاف جستجوی Rambler Yandex، برچسب های کلید واژه می توانند نادیده بگیرند، زیرا آن را دوست دارد به نام جستجوی تمیز نامیده می شود، اما در عین حال جستجوی مناسب جستجو هنوز قابل توجه نیست. این مشکل در سایر موتورهای جستجو چشمک می زند. در حال حاضر، موقعیت های جستجو Rambler سقوط کرد و کارشناسان و پیش بینی ها اعلام کرد که این سیستم بازآموزی به پورتال سرگرمی منظم است. تنها چیزی که باعث می شود آن را شناور شود این سیستم شبکه تبلیغاتی خود را تبلیغ می کند.

موتور جستجو "Aport" برای اولین بار در فوریه 1996 در کنفرانس مطبوعاتی "Agama" به افتخار افتتاح "باشگاه روسیه"، در آن زمان، هنوز یک موتور جستجوی بزرگ در سراسر جهان نبود. تفاوت بین APORT از سایر موتورهای جستجو این است که او می تواند کلمات کلیدی مشخص را نه تنها در کلمات کلیدی، بلکه همچنین در امضا به تصاویر (ALT) و در توضیحات (توضیحات) جستجو کند. اما این نوآوری طولانی مدت ادامه نداشت. دیگر موتورهای جستجو نیز همان کار را تکرار می کنند و در حال حاضر هیچ چیز دیگری برای تعجب کاربران خود وجود ندارد. در سال 2011، سیستم جستجو APORT به احتمال زیاد در انتظار جذب از بازیکنان بازار جستجو بزرگتر است.

معایب جستجو

در این زمان، موتورهای جستجو به هر راهی برای بهبود تکنولوژی های جستجو خود ادامه می دهند. اما، متأسفانه، جستجوی کامل برای هیچ یک از آنها نمی تواند افتخار کند، مهم نیست که چقدر آنها توسعه یافته اند. امروزه معایب اصلی موتورهای جستجو ممکن است شامل یک سیستم تعمیم پرسشی باشد که ضعیف توسعه یافته و وابستگی زیادی به انتخاب منابع اطلاعاتی است. در صورت عدم اطلاع رسانی کافی، هنوز هم ممکن است به نحوی جبران فراوانی انتخاب نتایج جستجو شود. اما در اینجا برای توضیح کامپیوتر با زبان انسانی، آنچه که آنها می خواهند مردم را پیدا کنند هنوز امکان پذیر نیستند تا به واقعیت تبدیل شوند. از این رو، هیچکدام از موتورهای جستجو نمی توانند دایره المعارف خود را فراخوانی کنند. با این حال، دیگر مخفی نیست که آینده قطعا برای جستجوی آموزنده است، که بر درمان مفاهیم انسانی متمرکز خواهد شد.

کدام موتور جستجو اولین در رونوشت بود؟ Yandex، Aport یا Rambler؟

اولین موتورهای جستجو از رونات (که، با توجه به یکی از بنیانگذاران Rambler، 2 یا 3 بود) بسیار سریع در پرواز زنگ زد. در میان آنها، گسترش مورفولوژیکی به سیستم Altavista بود که اسامی آنها را ترک نکرد. بنابراین، ما باید از کسانی که باقی مانده اند انتخاب کنیم:

رامبلر

ایجاد Rambler در سال 1996 آغاز شد، زمانی که تنها چند سایت در بخش روسیه از اینترنت وجود داشت. توسعه در پاییز همان سال به پایان رسید. دامنه rambler.ru در 26 سپتامبر ثبت شد و اکتبر 8، 1996.در روز تولد یکی از سازندگان، Rambler برای کاربران باز بود.

Rambler - اولین موتور جستجو در Ratet از موجود فعلی.

موتور جستجو "Aport" تا فوریه 1996 توسعه یافت، اما در آن زمان او فقط به دنبال سایت روسیه بود. agama.com. به تدریج تعداد سایت ها به افتتاح رسمی افزایش یافت نوامبر 11، 1997. سال "Aport" در حال حاضر به دنبال 10،000 سایت بود. بنابراین، "APORT" یکی از اولین موتورهای جستجو در Ratet بود، اما به دلیل یک دایره جستجو محدود، غیر ممکن است که آن را قدیمی ترین تشخیص دهد.

یاندکس

CompTEK توسعه یافته "Yandex" در سال 1989 تاسیس شد. در سال 1993، CompTEK "Yandex" را توسعه داده است - یک برنامه برای جستجو برای هارد دیسک. در سال 1996، این برنامه توانایی جستجو در شبکه را اضافه کرد. در سال 1997، اولین ربات جستجو نوشته شد، رولست نمایه شد و سپتامبر 23، 1997. ارائه رسمی Yandex صورت گرفت.

"Yandex" از Comptek قدیمی ترین نیست، اما موتورهای جستجو و تحقیقات آنها در زمینه زبان شناسی و مورفولوژی قدیمی ترین در روسیه است.

معماری موتور جستجو معمولا شامل موارد زیر است:

دایره المعارف یوتیوب

    1 / 5

    ✪ درس 3: چگونه موتور جستجو کار می کند. مقدمه ای بر جستجوگرها

    ✪ موتور جستجو از داخل

    ✪ Shodan - سیاه گوگل

    ✪ موتور جستجوی CheburaShka \u200b\u200bجایگزین گوگل و Yandex در روسیه خواهد شد

    ✪ درس 1 - چگونه موتور جستجو مرتب شده است

    زیرنویس

تاریخ

دوره شناسی
سال سیستم رویداد
1993 W3Catalog؟! در حال اجرا
aliweb در حال اجرا
jumpstation. در حال اجرا
1994 WebCrawler در حال اجرا
Infoseek در حال اجرا
lycos در حال اجرا
1995 Altavista در حال اجرا
دله پایه
متن باز فهرست وب سایت در حال اجرا
ماژلان در حال اجرا
تحریک کردن در حال اجرا
ساقه در حال اجرا
یاهو در حال اجرا
1996 dogpile در حال اجرا
inktomi پایه
رامبلر پایه
hotbot پایه
از Jeeves بپرسید پایه
1997 نور شمالی در حال اجرا
یاندکس در حال اجرا
1998 گوگل در حال اجرا
1999 AllthereWeb. در حال اجرا
جنکن ها پایه
نایب در حال اجرا
تئوم پایه
vivisimo پایه
2000 بایو پایه
exalead پایه
2003 info.com در حال اجرا
2004 یاهو جستجو کردن. راه اندازی نهایی
A9.com در حال اجرا
sogou در حال اجرا
2005 جستجو MSN راه اندازی نهایی
ask.com در حال اجرا
نیگما در حال اجرا
کالاهای جستجو در حال اجرا
جستجو کردن پایه
2006 ویکیک پایه
quaero پایه
جستجو زنده در حال اجرا
چاچا اجرای (بتا)
guruji.com اجرای (بتا)
2007 ویکیک در حال اجرا
sproose در حال اجرا
جستجوی ویکیا در حال اجرا
blackle.com در حال اجرا
2008 duckduckgo در حال اجرا
توبی در حال اجرا
picollator در حال اجرا
Viewzi. در حال اجرا
cuil در حال اجرا
بوگامی در حال اجرا
جهش ماهی اجرای (بتا)
جنگل در حال اجرا
vadlo در حال اجرا
powerset در حال اجرا
2009 بینگ در حال اجرا
kaz.kz. در حال اجرا
yebol اجرای (بتا)
mugurdy بستن
دیده بانی. در حال اجرا
2010 cuil بستن
Blekko. اجرای (بتا)
Viewzi. بستن
2012 wazzub در حال اجرا
2014 ماهواره اجرای (بتا)

در مرحله اولیه توسعه اینترنت Tim Berners-Lee یک لیست از سرورهای وب ارسال شده در وب سایت CERN را پشتیبانی کرد. سایت ها بیشتر و بیشتر شد و به صورت دستی چنین فهرستی را حفظ کرد، پیچیده تر شد. وب سایت NCSA بخش خاصی بود "چی تازه!" (انگلیسی چه جدید!)، جایی که آنها لینک ها را به سایت های جدید منتشر کردند.

اولین برنامه کامپیوتری برای جستجو در اینترنت یک برنامه بود قبیله (Eng. Archie - بایگانی بدون نامه "B"). این در سال 1990 توسط آلن پخت، بیل پاشنه (بیل هلان) و جی پیتر دویچ (جی پیتر دویچ)، دانشجویان تحصیل در دانشگاه مک گیل در مونترال ایجاد شد. این برنامه لیست های تمام فایل ها را از تمام سرورهای FTP ناشناس در دسترس دانلود کرده و پایگاه داده ای را که در آن شما می توانید با نام فایل ها جستجو کنید، تهیه کنید. با این حال، برنامه Archie محتویات این فایل ها را فهرست نمی کند، زیرا حجم داده ها خیلی کوچک بود که همه چیز را می توان به راحتی به صورت دستی یافت.

توسعه و انتشار پروتکل شبکه Gopher اختراع شده در سال 1991 توسط Mark McCahill (McCahill) در دانشگاه مینه سوتا اختراع کرد، منجر به ایجاد دو برنامه جستجوی جدید شد ورونیکا و jughead مانند Archi، آنها به دنبال نام فایل ها و سرفصل های ذخیره شده در سیستم های شاخص Gopher بودند. ورونیکا (مهندس شاخص خالص خالص جوندگان بسیار آسان به آرشیو کامپیوتری) مجاز به جستجو توسط کلمات کلیدی بسیاری از هدر های منو Gopher در تمام لیست های Gopher. برنامه Jughead (Eng. Jonzy "سلسله مراتب گوزن جهانی") اطلاعات منو را از سرورهای خاص Gopher استخراج کردم. اگر چه نام موتور جستجو Archie رابطه ای با چرخه کمیک نداشت "Archie"با این وجود، ورونیکا و jughead شخصیت های این کمیک هستند.

تا تابستان سال 1993، یک سیستم واحد برای جستجوی وب وجود نداشت، هرچند چندین دایرکتوری تخصصی پشتیبانی شده به صورت دستی پشتیبانی می شد. اسکار نیرساتزز (اسکار نیرستراسز) در دانشگاه ژنو تعدادی از سناریوها را در پرل نوشت، که به طور دوره ای این صفحات را کپی کرده و آنها را به فرمت استاندارد بازنویسی کرد. این پایه بود W3Catalog؟!، اولین سیستم جستجوی ابتدایی شبکه، در تاریخ 2 سپتامبر 1993 راه اندازی شد.

احتمالا اولین ربات جستجو در زبان پرل نوشته شده است "Wanderer Wide Wide Wide" - Matthew Gray (Matthew Gray) از ژوئن 1993. این ربات شاخص جستجو "Wandex" را ایجاد کرد. هدف ربات سرگردان، اندازه گیری اندازه وب جهان گسترده بود و تمام صفحات وب حاوی کلمات را از درخواست پیدا کرد. در سال 1993، موتور جستجوی دوم "Aliweb" ظاهر شد. AliWeb از ربات جستجو استفاده نمی کرد، بلکه به جای آن، اطلاعیه ها را از مدیران وب سایت در مورد حضور یک فایل شاخص در سایت های خود در یک فرمت خاص انتظار داشتم.

jumpstation.ایجاد شده در دسامبر 1993 توسط جاناتان فلچر، به دنبال یک صفحه وب و ایجاد شاخص های خود را با استفاده از یک ربات جستجو، و از یک فرم وب به عنوان یک رابط برای فرمول پرسش های جستجو استفاده کرد. این اولین ابزار جستجوی آنلاین بود که ترکیبی از سه مهمترین توابع موتور جستجو (چک، نمایه سازی و جستجوی واقعی) را ترکیب کرد. با توجه به منابع محدودی از رایانه های آن زمان، شاخص سازی و بنابراین، جستجو تنها توسط نام و سرصفحه صفحات وب توسط ربات جستجو محدود شده است.

موتورهای جستجو در "حباب Dotcomms" از اواخر دهه 1990 شرکت کردند. چندین شرکت به طور موثر وارد بازار شدند و در طی پیشنهاد عمومی خود درآمد کسب کردند. برخی از بازار موتورهای جستجوی عمومی را رها کردند و به عنوان مثال، تنها با بخش شرکت های بزرگ کار کردند نور شمالی.

گوگل ایده فروش کلمات کلیدی در سال 1998 را تعیین کرد، سپس یک شرکت کوچک بود که کار موتور جستجو را در Goto.com تضمین کرد. این مرحله برای انتقال موتورهای جستجو از رقابت با یکدیگر به یکی از سودآور ترین شرکت های تجاری در اینترنت مشخص شده است. موتورهای جستجو شروع به فروش اولین مکان ها در نتایج جستجو به شرکت های فردی کردند.

موتور جستجوی گوگل از ابتدای سال 2000 موقعیت برجسته ای دارد. این شرکت به دلیل نتایج جستجوی خوب با استفاده از الگوریتم PageRank موقعیت بالایی را به دست آورده است. الگوریتم به صورت عمومی در مقاله "آناتومی موتور جستجو" ارسال شد، نوشته شده توسط سرگئی برین و لری صفحه، بنیانگذاران گوگل. این الگوریتم تکراری صفحات وب را بر اساس ارزیابی تعداد لینک ها در صفحه وب تحت این فرض قرار می دهد که صفحات "خوب" و "مهم" به بیش از دیگران اشاره دارد. رابط Google در سبک اسپارتان طراحی شده است که بر خلاف بسیاری از رقبای خود که موتور جستجو را در یک پورتال وب جاسازی کرده اند، هیچ چیز اضافی وجود ندارد. موتور جستجوی گوگل بسیار محبوب شده است که تقلید سیستم به نظر می رسد، به عنوان مثال، جستجوگر رمز و راز(موتور جستجو مخفی).

جستجو برای اطلاعات در روسیه

در سال 1996، جستجو با توجه به مورفولوژی روسیه در موتور جستجوی AltaVista و موتورهای جستجوی اصلی روسیه Rambler و Aport راه اندازی شد. در 23 سپتامبر 1997، موتور جستجو Yandex باز شد. در 22 مه 2014، Rostelecom توسط موتور جستجوی ماهواره ای ملی باز شد، که در آن زمان 2015 در آزمایش بتا است. در تاریخ 22 آوریل 2015، یک سرویس ماهواره ای جدید باز شد. کودکان به طور خاص برای کودکان با امنیت پیشرفته.

روش های تجزیه و تحلیل خوشه ای و جستجو برای متادیتا محبوبیت زیادی دریافت کرد. از اتومبیل های بین المللی چنین برنامه ای، بزرگترین شهرت دریافت شده است "خوشتی" شرکت vivisimo. در سال 2005، موتور جستجوی نیگما حمایت از خوشه بندی اتوماتیک در روسیه با حمایت دانشگاه ایالتی مسکو راه اندازی شد. در سال 2006، Metamoshin Quintura روسیه باز کرد، خوشه بندی بصری را به شکل ابرهای برچسب ارائه کرد. نایگما همچنین با خوشه بندی بصری آزمایش کرد.

چگونه موتور جستجو کار می کند

اجزای اصلی موتور جستجو: ربات جستجو، Indexer، موتور جستجو.

به عنوان یک قانون، سیستم ها در مراحل کار می کنند. اول، ربات جستجو محتوا را دریافت می کند، سپس Indexer یک شاخص موجود برای جستجوی شاخص را تولید می کند و در نهایت، موتور جستجو عملکرد را برای جستجوی داده های نمایه ارائه می دهد. برای به روز رسانی موتور جستجو، این چرخه نمایه سازی دوباره استفاده می شود.

موتورهای جستجو کار می کنند، ذخیره اطلاعات در مورد بسیاری از صفحات وب که از صفحات HTML دریافت می کنند. ربات جستجو یا "خزنده" (Eng. Crawler) - یک برنامه که به طور خودکار از طریق تمام لینک های موجود در صفحه عبور می کند و آنها را برجسته می کند. Crowler، بر اساس منابع یا بر اساس یک لیست آدرس از پیش تعیین شده، جستجو برای اسناد جدید که هنوز به موتور جستجو شناخته نشده است. صاحب سایت می تواند صفحات خاصی را با استفاده از robots.txt حذف کند که با استفاده از آن شما می توانید فایل های نمایه سازی، صفحات یا دایرکتوری های سایت را ممنوع کنید.

موتور جستجو محتوای هر صفحه را برای نمایه سازی بیشتر تحلیل می کند. واژه ها را می توان از سرفصل ها، متن صفحه یا زمینه های خاص استخراج کرد. Indexer یک ماژول است که صفحه را تجزیه و تحلیل می کند، که قبلا با استفاده از الگوریتم های واژگانی و مورفولوژیکی خود شکسته شده است. تمام عناصر صفحه وب به طور جداگانه گسترش یافته و تجزیه و تحلیل می شوند. داده های وب صفحات در پایگاه داده فهرست برای استفاده در درخواست های بعدی ذخیره می شوند. این شاخص به شما اجازه می دهد تا به سرعت اطلاعات مربوط به درخواست کاربر را پیدا کنید. تعدادی از موتورهای جستجو شبیه به فروشگاه Google صفحه اصلی کل یا بخشی از آن، به اصطلاح کش، و همچنین اطلاعات مختلف در مورد صفحه وب است. سیستم های دیگر مشابه AltaVista هر کلمه ای از هر صفحه یافت می شوند. استفاده از حافظه پنهان کمک می کند تا سرعت استخراج اطلاعات را از صفحات بازدید شده در حال حاضر افزایش دهد. صفحات ذخیره شده همیشه حاوی متن است که کاربر در پرس و جو جستجو پرسید. این می تواند مفید باشد زمانی که صفحه وب به روز شده است، یعنی دیگر متن درخواست کاربر را شامل نمی شود و صفحه در حافظه پنهان قدیمی است. این وضعیت با از دست دادن لینک ها همراه است (ENG. linkrot) و دوستانه به کاربر (قابلیت استفاده) Google رویکرد. این بدان معنی است که صدور قطعات متن کوتاه از حافظه پنهان حاوی متن پرس و جو است. اصل کوچکترین تعجب معتبر است، کاربر معمولا انتظار دارد که کلمات مورد نظر را در متون صفحات به دست آمده ( گزینه های کاربر) علاوه بر این، استفاده از صفحات ذخیره شده، جستجو را تسریع می کند، صفحات حافظه پنهان ممکن است حاوی اطلاعاتی باشند که دیگر در دسترس نیست.

موتور جستجو با فایل های خروجی به دست آمده از Indexer کار می کند. موتور جستجو درخواست های کاربر را می گیرد، آنها را با استفاده از یک شاخص پردازش می کند و نتایج جستجو را باز می گرداند.

هنگامی که یک کاربر وارد یک پرس و جو موتور جستجو (معمولا با استفاده از کلمات کلیدی)، سیستم بررسی شاخص خود را و لیستی از مناسب ترین صفحات وب (مرتب شده بر اساس هر معیار)، معمولا با حاشیه نویسی کوتاه حاوی یک هدر سند و گاهی اوقات بخشی از متن شاخص جستجو بر اساس یک روش خاص بر اساس اطلاعاتی که از صفحات وب بازیابی شده است، بر اساس یک روش خاص است. از سال 2007، موتور جستجوی گوگل اجازه می دهد تا شما را به جستجو برای زمان، ایجاد اسناد دلخواه (فراخوانی منو ابزار جستجو و جهت محدوده زمانی). اکثر موتورهای جستجو از استفاده از اپراتورهای بولین در پرس و جو ها پشتیبانی می کنند و نه، نه، که به شما اجازه می دهد لیست کلمات کلیدی مورد نظر را روشن یا گسترش دهید. در این مورد، سیستم دقیقا همانطور که معرفی شد، کلمات یا عبارات را جستجو می کند. برخی از موتورهای جستجو این فرصت را دارند جستجوی تقریبیدر این مورد، کاربران منطقه جستجو را گسترش می دهند، مشخص کردن فاصله به کلمات کلیدی. نیز وجود دارد جستجوی مفهومیکه از تجزیه و تحلیل آماری از استفاده از کلمات و عبارات دلخواه در متون صفحات وب استفاده می کند. این سیستم ها امکان پذیر است که پرس و جو ها را در زبان طبیعی کامپایل کنند. یک مثال از چنین موتور جستجو از وب سایت COM میپرسد.

سودمندی موتور جستجو بستگی به ارتباط صفحات موجود توسط آن دارد. حداقل میلیون ها صفحات وب و ممکن است شامل یک کلمه یا عبارت خاص باشد، اما بعضی از آنها می توانند بیشتر مورد توجه، محبوب یا معتبر تر از دیگران باشند. اکثر موتورهای جستجو از روش های رتبه بندی برای بازنشستگی لیست "بهترین" استفاده می کنند. موتورهای جستجو تصمیم می گیرند کدام صفحات مربوط به آن هستند، و در چه نظم باید به روش های مختلف نشان داده شود. روش های جستجو، و همچنین اینترنت خود را در طول زمان تغییر دهید. بنابراین دو نوع اصلی از موتورهای جستجو ظاهر شد: سیستم کلمات کلیدی از پیش تعریف شده و سلسله مراتبی و سلسله مراتبی که در آن یک شاخص معکوس بر اساس تجزیه و تحلیل متن تولید می شود.

اکثر موتورهای جستجو شرکت های تجاری هستند که به هزینه تبلیغات سود می برند، در برخی از موتورهای جستجو، شما می توانید اولین مکان ها را در هزینه های اضافی برای کلمات کلیدی مشخص خریداری کنید. این موتورهای جستجو که پول را برای این روش برای صدور نتایج پول نمی گیرند، در تبلیغات متنی کسب می کنند، در حالی که پیام های تبلیغاتی مطابق با درخواست کاربر هستند. چنین تبلیغاتی در صفحه با لیستی از نتایج جستجو نمایش داده می شود و موتورهای جستجو با هر کاربر با کلیک بر روی پیام های تبلیغاتی کسب می کنند.

انواع موتورهای جستجو

چهار نوع موتورهای جستجو وجود دارد: با روبات های جستجو، مدیریت شده توسط انسان، هیبرید و متا سیستم ها.

  • سیستم ها با استفاده از روبات های جستجو
شامل سه بخش است: Krauller ("ربات"، "ربات" یا "عنکبوت")، موتور جستجو و موتور جستجو. Crowler برای جلوگیری از شبکه و ایجاد صفحات وب مورد نیاز است. فهرست - یک آرشیو بزرگ از کپی صفحات وب. هدف از این نرم افزار ارزیابی نتایج جستجو است. با توجه به این واقعیت که ربات جستجو در این مکانیزم به طور مداوم شبکه را بررسی می کند، اطلاعات بیشتر مرتبط است. اکثر موتورهای جستجوی مدرن سیستم های این نوع هستند.
  • man-driven (کاتالوگ منابع)
این موتورهای جستجو لیست صفحات وب را دریافت می کنند. دایرکتوری حاوی آدرس، عنوان و شرح مختصری از سایت است. دایرکتوری منابع به دنبال نتایج تنها از توصیف صفحه ارائه شده توسط آن توسط Webmasters است. مزیت دایرکتوری ها این است که تمام منابع به صورت دستی بررسی می شوند، بنابراین کیفیت محتوای نسبت به نتایج حاصل از سیستم نوع اول به طور خودکار بهتر می شود. اما همچنین یک معایب وجود دارد - به روز رسانی این دایرکتوری ها به صورت دستی انجام می شود و می تواند به طور قابل ملاحظه ای پشت وضعیت واقعی امور باشد. رتبه بندی صفحه نمی تواند فورا تغییر کند به عنوان نمونه هایی از چنین سیستم هایی، می توانید به ارمغان بیاورید کاتالوگ یاهو، DMOZ و کهکشان.
  • سیستم های هیبریدی
چنین موتورهای جستجو مانند یاهو، Google، MSN توابع سیستم ها را با استفاده از روبات های جستجو ترکیب می کنند و سیستم های مدیریت شده توسط انسان را مدیریت می کنند.
  • سیستم متا
سیستم های Metapoisk ترکیب و رتبه بندی چندین موتورهای جستجو را در یک بار. این موتورهای جستجو مفید بود زمانی که هر موتور جستجو دارای یک شاخص منحصر به فرد است، و موتورهای جستجو کمتر "هوشمند" بودند. از آنجایی که جستجو بسیار بهبود یافته است، نیاز به آنها کاهش یافته است. مثال ها: metacrawler و جستجوی MSN

بازار موتور جستجو

گوگل محبوب ترین موتور جستجو در جهان با سهم بازار 68.69٪ است. بینگ موقعیت دوم را می گیرد، سهم آن 12.26٪ است.

محبوب ترین موتورهای جستجو در جهان:

سیستم جستجو سهم بازار در ژوئیه 2014 سهم بازار در اکتبر 2014 سهم بازار در سپتامبر 2015
گوگل 68,69 % 58,01 % 69,24%
بایو 17,17 % 29,06 % 6,48%
بینگ 6,22 % 8,01 % 12,26%
یاهو 6,74 % 4,01 % 9,19%
aol 0,13 % 0,21 % 1,11%
تحریک کردن 0,22 % 0,00 % 0,00 %
پرسیدن. 0,13 % 0,10 % 0,24%

آسیا

در کشورهای آسیای شرقی و در روسیه، گوگل موتور جستجوی محبوب ترین نیست. به عنوان مثال، در چین، محبوب تر است موتور جستجو SOSO؟!.

حدود 70 درصد از ساکنان یاهو در کره جنوبی توسط پورتال جستجو از توسعه خود استفاده می کنند ژاپن و یاهو تایوان محبوب ترین سیستم های جستجو در ژاپن و تایوان است.

روسیه و موتورهای جستجو روسی و روسی

به گفته LiveInternet در ماه ژوئن 2015 در پوشش از پرس و جوهای جستجوی روسی زبان:

  • همه صحبت کردن:
    • یاهو (0.1٪) و متعلق به این شرکت های جستجو شرکت: inktomi، Altavista، AllthereWeb.
  • انگلیسی زبان و بین المللی:
    • askjeeves. (مکانیسم تئوم)
  • روسی زبان - بیشتر "بیشتر" موتورهای جستجوگر جستجو در روسیه و به دنبال متون در بسیاری از زبانها - اوکراین، بلاروس، انگلیسی، تاتار و دیگران است. آنها از سیستم های "همه صحبت کردن" نشان می دهند که تمام اسناد را در یک ردیف نشان می دهند، این واقعیت که، به طور عمده، منابع واقع در مناطق دامنه نمایه می شوند، جایی که زبان روسی غالب می شود، و یا سایر روش ها روبات های خود را با سایت های روسی زبان محدود می کنند.

برخی از موتورهای جستجو از الگوریتم های جستجوی خارجی استفاده می کنند.

داده های کمی از موتور جستجوی گوگل

تعداد کاربران اینترنت و موتورهای جستجو و نیازهای کاربر برای این سیستم ها به طور مداوم در حال رشد است. برای افزایش سرعت جستجو برای اطلاعات مورد نظر، موتورهای جستجو بزرگ شامل تعداد زیادی از سرورها هستند. سرورها معمولا به مراکز سرور (مراکز داده) گروه بندی می شوند. موتورهای جستجو محبوب، مراکز سرور در سراسر جهان پراکنده می شوند.

در اکتبر 2012، گوگل این پروژه را "جایی که اینترنت زندگی می کند" راه اندازی کرد، جایی که کاربران فرصت را برای آشنا شدن با مراکز پردازش این شرکت آشنا می کنند.

کار زیر در مورد کار مراکز داده های موتور جستجوی گوگل شناخته شده است:

  • کل قدرت کلیه مراکز داده Google، تا سال 2011، در 220 مگاوات تخمین زده شد.
  • هنگامی که در سال 2008، گوگل برنامه ریزی کرد تا یک مجتمع جدید در اورگان را باز کند، متشکل از سه ساختمان با مساحت 6.5 میلیون متر مربع، در مجله مجله هارپر محاسبه شده است که چنین پیچیده ای از انرژی بیش از 100 مگاوات برق مصرف می کند قابل مقایسه با مصرف انرژی شهر با جمعیت 300000 انسان است.
  • تعداد تقریبی سرورهای Google در سال 2012 1،000،000 است.
  • هزینه های گوگل در مراکز داده به مبلغ 1.9 میلیارد دلار در سال 2006 و در سال 2007 - 2.4 میلیارد دلار بود.

اندازه هفته جهانی، یک گوگل نمایه شده برای دسامبر 2014، حدود 4.36 میلیارد صفحه است.

موتورهای جستجو با توجه به ممنوعیت های مذهبی

توزیع جهانی اینترنت و افزایش محبوبیت دستگاه های الکترونیکی در جهان عربی و مسلمان، به ویژه در کشورهای خاورمیانه و شبه قاره هند، به توسعه موتورهای جستجوی محلی کمک می کند تا سنت های اسلامی را در نظر بگیرند . چنین موتورهای جستجو شامل فیلترهای ویژه ای هستند که به کاربران کمک نمی کند تا سایت های ممنوعه را وارد کنند، مانند سایت هایی با پورنوگرافی، و به آنها اجازه می دهند از آن سایت هایی استفاده کنند که محتویات آنها بر خلاف ایمان اسلامی نیست. مدت کوتاهی قبل از ماه مسلمان ماه رمضان، در ژوئیه 2013، جهان ارائه شد هارلاگوگلینگ - یک سیستم که کاربران را فقط به لینک های "حق" Freebies می دهد، فیلتر کردن نتایج جستجو به دست آمده از سایر موتورهای جستجو مانند Google و Bing. دو سال پیش، در سپتامبر 2011، موتور جستجو Ialalal راه اندازی شد، طراحی شده برای خدمت به کاربران خاورمیانه. با این حال، این سرویس جستجو باید به زودی به زودی بسته شود، به گفته مالک، به دلیل فقدان بودجه.

فقدان سرمایه گذاری و سرعت آهسته فناوری های گسترش در جهان اسلام مانع پیشرفت شد و مانع موفقیت یک موتور جستجوی جدی اسلامی شد. شکست آشکار سرمایه گذاری های بزرگ در پروژه های وب شیوه زندگی مسلمان، یکی از آنها بود ماوسلر. او میلیون ها دلار از سرمایه گذاران، مانند سرمایه گذاران اینترنتی را دریافت کرد، و در حال حاضر - مطابق با آخرین پیام از Ialalal قبل از آنکه بسته شود، با یک ایده مشکوک که "فیس بوک بعدی یا گوگل فقط در آن ظاهر می شود، خارج می شود کشورهای خاورمیانه، اگر از جوانان درخشان ما حمایت می کنید. " با این وجود، کارشناسان اینترنت اسلامی در تعریف آنچه که مسابقات و یا مطابقت با شریعت را مطابقت می دهند، مشغول به کار نیستند و وب سایت ها را به عنوان "حلال" یا "هارم" طبقه بندی می کنند. تمام موتورهای جستجوی سابق و واقعی اسلام به سادگی به طور خاص مجموعه داده های نمایه شده هستند یا موتورهای جستجوی اصلی مانند Google، Yahoo و Bing، با یک سیستم فیلتر کردن خاص است که از کاربران برای دسترسی به سایت های حرم استفاده می کند، مانند سایت های مربوط به ارتفاع LGBT، قمار و هر گونه دیگر، موضوع آن ضد اسلامی است.

در میان دیگر موتورهای جستجوی مذهبی، یک یهودی مشترک هستند - نسخه یهودی Google و SeekFind.org - یک سایت مسیحی که شامل فیلترهایی است که از کاربران محافظت می کند که می توانند ایمان خود را تضعیف یا تضعیف کنند.

نتایج شخصی و حباب های فیلتر

بسیاری از موتورهای جستجو مانند Google و Bing از الگوریتم های حدس زدن انتخابی از اطلاعاتی که کاربر می خواهند بر اساس اقدامات گذشته خود در سیستم می خواهند استفاده کنند. به عنوان یک نتیجه، وب سایت ها تنها اطلاعاتی را نشان می دهند که با منافع گذشته کاربر سازگار است. این اثر "حباب فیلترها" نامیده شد.

همه اینها به این واقعیت منجر می شود که کاربران بر خلاف دیدگاه اطلاعات خود بسیار کمتر هستند و به صورت ذاتی در "حباب اطلاعاتی" خود جدا می شوند. بنابراین، "اثر حباب" می تواند پیامدهای منفی برای تشکیل افکار مدنی داشته باشد.

موتورهای جستجو تعصب

با وجود این واقعیت که موتورهای جستجو برای ارزیابی وب سایت ها بر اساس برخی از ترکیبات محبوبیت و ارتباط آنها برنامه ریزی شده اند، در واقع، مطالعات تجربی نشان می دهد که عوامل سیاسی، اقتصادی و اجتماعی مختلف بر صدور جستجو تاثیر می گذارد.

چنین تعصب می تواند نتیجه مستقیم فرایندهای اقتصادی و تجاری باشد: شرکت هایی که در موتور جستجو تبلیغ می شوند می توانند در نتایج جستجوی معمول در آن محبوب تر شوند. حذف نتایج جستجو که قوانین محلی را برآورده نمی کند، نمونه ای از نفوذ فرایندهای سیاسی است. به عنوان مثال، گوگل برخی از وب سایت های نئو نازی را در فرانسه و آلمان نمایش نمی دهد، جایی که انکار هولوکاست غیرقانونی است.

تعصب نیز ممکن است نتیجه فرایندهای اجتماعی باشد، زیرا الگوریتم های موتور جستجو اغلب برای از بین بردن دیدگاه های غیر فرمت به نفع نتایج "محبوب" بیشتر توسعه می یابند. الگوریتم های نمایه سازی موتورهای اصلی اصلی به سایت های آمریکایی اولویت می دهند.

جستجو بمب - یک مثال از تلاش برای مدیریت نتایج جستجو برای دلایل سیاسی، اجتماعی یا تجاری.

همچنین ببینید

  • qwika
  • کتابخانه الکترونیکی # لیست لیست ها و موتورهای جستجو
  • نوار ابزار توسعه دهنده وب

یادداشت

ادبیات

  • Ashmanov I. S.، Ivanov A. A. ارتقاء سایت در موتورهای جستجو. - M: ویلیامز، 2007. - 304 پ. - ISBN 978-5-8459-1155-1.
  • Baikov v.D. اینترنت. جستجو برای اطلاعات ارتقاء وب سایت - سنت پترزبورگ. : BHV-Petersburg، 2000. - 288 پ. - ISBN 5-8206-0095-9.
  • Kolisnichenko D. N. موتورهای جستجو و ارتقاء وب سایت ها در اینترنت. - M: دیالکتیک، 2007. - 272 پ. - ISBN 978-5-8459-1269-5.
  • Lande D.V. جستجو برای دانش در اینترنت. - متر: دیالکتیک، 2005. - 272 پ. - ISBN 5-8459-0764-0.
  • Lande D.V.، Skarsky A. A.، Bezsessustnov I. V. اینترنت: ناوبری در شبکه های پیچیده: مدل ها و الگوریتم ها. - m: librok (urss سرمقاله)، 2009. - 264 p. - ISBN 978-5-397-00497-8.
  • چو H.، Rosenthal M.

اینترنت دارای یک وب سایت خاص است که کاربر در یک پرس و جو داده شده می تواند پیوندهایی به سایت هایی را که این درخواست را برآورده می کنند، دریافت کنند. موتور جستجو شامل سه جزء است: 1 ربات جستجو؛ 2 شاخص سیستم؛ و 3 برنامه، ... ... واژگان مالی

زیرمجموعه Cal در Sinonisims: 3 Fortika (9) IRCKKA (16) موتور جستجو (13) دیکشنری مترادف به عنوان ... دانشمند مترادف

سیستم جستجو - سایت موتور جستجو، که در آن سایت های دیگر جستجو می شود. جستجو با وارد کردن کلمات کلیدی در کادر جستجو انجام می شود. بر خلاف دایرکتوری ها، حتی اگر سایت قبلا ثبت نشده باشد، می توان آن را با یک موتور جستجو یافت. ... ... دایرکتوری فنی ترجمه

سیستم جستجو - Ieškos Sistema Statusas T Sritis Automatika Atitikmenys: Angl. جستجو در سیستم VOK Suchystem، N RUS. موتور جستجو، F pranc. Système de Recherche، m ... automatikos terminų žodynas

سیستم جستجو - - - (موتور جستجوی انگلیسی، مترادف: جستجوگر، جستجوگر سرور، موتور جستجو) - ابزار برای جستجوی اطلاعات در اینترنت. به عنوان یک قانون، جستجو برای موتور جستجو شامل دو مرحله است. برنامه ویژه (ربات جستجو، اتوماتیک، عامل، ... ... دیکشنری دایره المعارف رسانه ها

کنترل، سیستم کنترل اتوماتیک (کنترل اتوماتیک را ببینید)، که در آن کنترل کنترل توسط روش جستجو به طور خودکار تغییر می کند. O. بهترین (در آن معنی) شیء کنترل؛ با ... ... دایره المعارف شوروی بزرگ

سیستم کنترل اتوماتیک مدیریت شده، به عمل کنترل Swarm، روش جستجوی تغییرات خودکار T. O. برای انجام بهترین کنترل از جسم؛ در عین حال، Char تغییرات را به جسم تغییر می دهد یا به صورت خارجی تاثیر می گذارد. چهارشنبه ها در پیشبرد ... دیکشنری پلی تکنیک بزرگ دایره المعارف

SMP 1 برای جستجو برای نجات دهندگان که به شرایط بحرانی مرتبط با تهدید به زندگی، و همچنین جستجو برای کالاهای parathedral و اشیاء مختلف در دید ضعیف کاهش یافته است. این شامل موارد زیر است: حامل رادیویی جستجو فعال است ... شرایط سریع فرهنگ لغت

سیستم بازیابی اطلاعات خودکار - 3.2.5 موتور جستجوی خودکار اطلاعات: IPS، بر اساس منبع تجهیزات کامپیوتری الکترونیکی اجرا شده است ... واژه های دایرکتوری دایرکتوری مستندات نظارتی و فنی

این اصطلاح همچنین دارای معانی دیگر است، به Aport مراجعه کنید. aport ... ویکی پدیا

کتاب

  • وظایف شدید تئوری نمودارها و اینترنت. آموزش، Railgorodsky Andrei Mikhailovich. یک بروشور واقعی به مطالعه وظایف مختلفی از نظریه های نظریه نمودارها اختصاص داده شده است (حداقل جزئی) که راه حل آن می تواند مفید باشد در هنگام تجزیه و تحلیل داده ها. بر اساس ...
  • وظایف شدید تئوری نمودارها و اینترنت، Railgorodsky FM .. این بروشور به مطالعه وظایف شدید شدید تئوری نمودارها اختصاص داده شده است (حداقل جزئی) راه حل که می تواند در هنگام تجزیه و تحلیل داده ها مفید باشد. بر اساس ...

در مرحله اولیه توسعه اینترنت، کاربران یک اقلیت ممتاز بودند و مقدار اطلاعات موجود نسبتا کوچک است. در آن زمان، دسترسی به او، اغلب کارگران از مؤسسات آموزشی و آزمایشگاه های مختلف آموزشی، و داده های به دست آمده برای اهداف علمی مورد استفاده قرار گرفت. در آن زمان، استفاده از شبکه در حال حاضر چنین ارتباطی نداشت.

در سال 1990. دانشمند بریتانیا تیم Berners لی (که همچنین URI مخترع، URL، HTTP، وب جهانی وب است) یک وب سایت ایجاد کرد info.cern.ch.که اولین فروشگاه آنلاین در جهان است. از آن لحظه، اینترنت نه تنها در میان جامعه علمی، بلکه در میان صاحبان ساده رایانه های شخصی نیز محبوبیت کسب کرد.

بنابراین، اولین راه برای تسهیل دسترسی به منابع اطلاعاتی در اینترنت، تشکیل کاتالوگ های سایت بود. پیوندهایی به منابع در آنها در موضوعات گروه بندی شدند.

اولین پروژه این نوع به یاهو، باز است در آوریل 1994. با توجه به افزایش سریع تعداد سایت های آن، به زودی امکان پیدا کردن اطلاعات لازم در مورد درخواست وجود دارد. البته، هنوز یک موتور جستجوی کامل نبود. جستجو تنها با داده هایی که در کاتالوگ بودند محدود شد.

در مراحل اولیه توسعه شبکه اینترنت، کاتالوگ های مرجع بسیار فعالانه مورد استفاده قرار گرفتند، اما به تدریج محبوبیت خود را از دست دادند. دلیل ساده این است: حتی در حضور بسیاری از منابع در کاتالوگ های مدرن، آنها هنوز هم یک بخش کوچکی از اطلاعات موجود در اینترنت را نشان می دهند. به عنوان مثال، بزرگترین کاتالوگ شبکه - dmoz (پروژه Open Directory). این شامل اطلاعاتی در مورد کمی بیش از پنج میلیون منابع است که با پایگاه داده جستجوی گوگل که حاوی بیش از هشت میلیارد اسناد است، ناکارآمد است.

بزرگترین کاتالوگ زبان روسی دایرکتوری Yandex است. این شامل اطلاعاتی در مورد کمی بیش از صد یا چهار هزار منبع است.

تاریخچه توسعه موتورهای جستجو

سال 1945 - مهندس آمریکایی Vannevar بوش ضبط های این ایده را منتشر کرد که منجر به اختراع بیش از حد متن، و استدلال در مورد نیاز به توسعه یک سیستم استخراج اطلاعات سریع از این طریق اطلاعات ذخیره شده (معادل موتورهای جستجو امروز). مفهوم دستگاه Expander Memory معرفی شده توسط آن شامل ایده های اصلی است که در نهایت در اینترنت تجسم شده است.

1960 - جرارد سلنتون و گروهش در دانشگاه کورنل یک سیستم بازیابی اطلاعات شوخ طبعی را توسعه دادند. (سیستم بازیابی اطلاعات هوشمند). SMART - اختصار از متن اتوماتیک سحر و جادو Salton از متن، یعنی "استخراج خودکار سحر و جادو از Salton Text". Gerard Salton به عنوان پدر تکنولوژی جستجوی مدرن محسوب می شود.

1987-1989 - طراحی شده Archie. - موتور جستجو برای نمایه سازی آرشیو FTP. Archie نماینده یک اسکریپت بود که معرفی خود را به فهرست در سرورهای FTP، که سپس به فایل های محلی منتقل شد، و تنها بعدا در فایل های محلی، جستجو سریع برای اطلاعات لازم انجام شد. جستجو بر اساس فرمان Grep استاندارد یونیکس بود و دسترسی به داده ها به داده ها بر اساس TELNET بود.

در نسخه بعدی، داده ها به پایگاه داده های جداگانه تقسیم شدند، یکی از آنها تنها نام فایل های متن را شامل می شد؛ و دیگری نوشته های با اشاره به دایرکتوری سلسله مراتبی هزاران میزبان است؛ و یکی دیگر از اتصال دو اول. این نسخه از Archie کارآمد تر از قبلی بود، به عنوان جستجو تنها توسط نام فایل ها، به استثنای بسیاری از تکرار قبلا موجود بود.

موتور جستجو در حال تبدیل شدن به بیشتر و بیشتر محبوب بود، و توسعه دهندگان فکر می کردند چگونه به سرعت کار خود را. پایگاه داده فوق با دیگری جایگزین شده است، بر اساس نظریه چوب فشرده. نسخه جدید اساسا یک پایگاه داده مبتنی بر کامل را به جای یک لیست از نام فایل ایجاد کرد و بسیار سریعتر از قبل بود. علاوه بر این، تغییرات جزئی به سیستم Archie اجازه داد تا صفحات وب را فهرست کنند. متأسفانه، به دلایل مختلف، کار بر روی آرچی به زودی متوقف شد.

در سال 1993. اولین موتور جستجوی جهان برای شبکه جهانی ایجاد شد. Wandex. Word Wide Wanderop Wanderer Bat در بنیاد خود، توسعه یافته توسط مؤسسه متی ماساچوست، گذاشته شد.

سال 1993 سال - مارتین آتش سوزی ایجاد می کند aliweb - یکی از اولین موتورهای جستجو در وب جهان گستر. صاحبان وب سایت باید آنها را به شاخص AliWeb اضافه کنند تا آنها در جستجو ظاهر شوند. از آنجایی که بیش از حد وب مدیران آن را انجام دادند، AliWeb محبوب نشد

20 آوریل 1994 - Brian Pinkerton از دانشگاه واشنگتن منتشر شد WebCrawler - اولین ربات، که صفحات را به طور کامل نشان داد. تفاوت اصلی موتور جستجو از پیشینیان آن، ارائه توانایی کاربران برای جستجوی هر یک از کلمات کلیدی در هر صفحه وب است. امروزه این تکنولوژی استاندارد برای پیدا کردن هر موتور جستجو است. موتور جستجو "WebCrawler" تبدیل به سیستم اول شده است، که به طیف گسترده ای از کاربران شناخته شده است. افسوس، پهنای باند کم بود و در طول روز سیستم اغلب غیرقابل دسترس بود.

20 ژوئیه 1994 - باز شده است lycos - توسعه جدی در فن آوری جستجو ایجاد شده در دانشگاه Carnegie Melon. مایکل مالدین مسئول این موتور جستجو بود و هنوز هم یک متخصص پیشرو در شرکت Lycos باقی مانده است. Lycos با 54000 کاتالوگ سند باز شد. و علاوه بر این، نتایج او ارائه شده است، علاوه بر این، او پیشوند ها و تصادفات تقریبی را در نظر گرفت. اما تفاوت اصلی بین Lycos به طور مداوم به روز شده کاتالوگ: تا نوامبر 1996، 60 میلیون اسناد نمایه شده بودند - بیش از هر موتور جستجوی دیگر آن زمان.

ژانویه 1994 - تاسیس شد Infoseek. او واقعا نوآورانه نبود، اما تعدادی از افزودنی های مفید داشت. یکی از این افزونه های محبوب این بود که صفحه زمان واقعی شما را اضافه کند.

1995 - آغاز شده Altavista. ظاهر شدن، موتور جستجو Altavista به سرعت به رسمیت شناختن کاربران و تبدیل شدن به رهبر در میان خود را مانند این شد. این سیستم عملا در آن زمان تولید نامحدود بوده است، اولین موتور جستجو بود که در آن امکان پذیر بود که پرسش ها را در زبان طبیعی فرموله کنید، و همچنین درخواست های پیچیده را تشکیل دهید. کاربران مجاز به اضافه کردن یا حذف URL های خود در عرض 24 ساعت بودند. همچنین AltaVista بسیاری از نکات و توصیه های جستجو را ارائه داد. شایستگی اصلی سیستم AltaVista در نظر گرفته شده است تا اطمینان از حمایت از بسیاری از زبان ها، از جمله چینی، ژاپنی و کره ای باشد. در واقع، در سال 1997، هیچ موتور جستجو در شبکه با چندین زبان کار کرد، به خصوص با نادر.

1996 - موتور جستجو Altavista یک فرمت مورفولوژیکی برای زبان روسی را راه اندازی کرد. در همان سال، اولین موتورهای جستجو داخلی راه اندازی شد - Rambler.ru و Aport.ru. ظهور اولین موتورهای جستجو داخلی، مرحله جدیدی از توسعه رونویسی را مشخص کرد، که به کاربران روسی صحبت می کند تا در زبان مادری خود درخواست کنند و به سرعت به تغییرات در شبکه پاسخ دهند.

20 مه 1996 - APKTOMI همراه با موتور جستجویش ظاهر شد hotbot. سازندگان او دو تیم از دانشگاه کالیفرنیا بودند. هنگامی که سایت ظاهر شد، او به سرعت محبوب شد. در اکتبر 2001، دنی سولیوان، مقاله ای که تحت عنوان "پایگاه داده های مبتنی بر پایگاه داده Inktomi برای استفاده عمومی باز" نوشته شده است، که توضیح داد که چگونه Inktomi به طور تصادفی پایگاه داده خود را از سایت های اسپم، که قبلا حدود 1 میلیون URL در دسترس برای استفاده جهانی بود، نوشت.

1997 - در کشورهای غربی، نقطه عطفی در توسعه موتورهای جستجو، زمانی که S. Brin و L. صفحه از دانشگاه Standford تاسیس شد، رخ می دهد گوگل (نام اولیه پروژه Backrub). آنها موتور جستجوی خود را توسعه دادند، که به کاربران فرصت داد تا یک جستجوی با کیفیت بالا را با مورفولوژی، اشتباهات در نوشتن کلمات، و همچنین افزایش ارتباطات در نتایج درخواست های صادر کننده، به کار گیرند.

سپتامبر 23، 1997 - اعلام شده یاندککه به سرعت محبوب ترین از کاربران اینترنت روسی زبان سیستم جستجو شد. با راه اندازی موتور جستجو Yandex، موتورهای جستجو داخلی شروع به رقابت با یکدیگر، بهبود سیستم جستجو و نمایه سازی سایت ها، صدور نتایج، و همچنین ارائه خدمات و خدمات جدید

بنابراین، توسعه موتورهای جستجو و شکل گیری آنها را می توان با مراحل ذکر شده در بالا مشخص کرد.

تا به امروز، سه رهبر - گوگل، یاهو و بینگ در بازار جهانی مستقر شدند. آنها پایگاه داده های خود و الگوریتم های جستجو خود را دارند. بسیاری از موتورهای جستجو دیگر از نتایج این سه موتورهای جستجو بزرگ استفاده می کنند. به عنوان مثال، AOL از پایگاه داده Google استفاده می کند، در حالی که Altavista، Lycos و AllTheWeb از پایگاه داده یاهو استفاده می کنند، تمام موتورهای جستجو دیگر در ترکیب های مختلف از نتایج (صدور) سیستم های ذکر شده استفاده می کنند.

اگر شما تجزیه و تحلیل مشابهی از موتورهای جستجو، محبوب در کشورهای مستقل مشترک المنافع داشته باشید، ما خواهیم دید که Mail.ru پخش Google را پخش می کند، در حالی که همپوشانی پیشرفت های جدید خود را، Rambler، به نوبه خود، Yandex را ترجمه می کند. بنابراین، کل بازار روتات را می توان بین این دو غول تقسیم کرد.

به همین دلیل، در کشورهای مستقل مشترک المنافع، ارتقاء سایت معمولا در این دو PS انجام می شود.