ყველამ იცის, რომ მე უბრალოდ არ შემიძლია Joomla-ს გარეშე ცხოვრება, მაგრამ, ჩემი აზრით, არ არსებობს კარგი ფორუმი კომპონენტებისთვის. ამიტომ ვმუშაობ ფორუმის ძრავებთან. ერთ-ერთი ახალი, რომლის გამოყენებაც ახლახან დავიწყე, არის მოდით დავიწყოთ ახალი SMF კატეგორია, იმედია სასარგებლო ნივთებით. ჩვენ ვიწყებთ პატარა, და როგორც დამწყებთათვის ეს ძალიან სასარგებლოა.
საძიებო სისტემის ოპტიმიზაციის პირველი ნაბიჯები Simple Machines Forum: საავტორო უფლებების და გარე ბმულების ამოღება
ნება მომეცით დაუყოვნებლივ გავაკეთო დაჯავშნა, რომ მე მხოლოდ smf 2-ით ვმუშაობ და ეს სტატია კონკრეტულად შეეხება უფასო ფორუმის ძრავის ამ ვერსიას.
". ეს ყველაფერი მარტივი და მარტივია. მომავალ პუბლიკაციებში ველით ახალ მასალებს SMF-ზე ფორუმების პოპულარიზაციისა და ოპტიმიზაციის შესახებ.
ორგანიზებული Botmaster Labs-ის მიერ, არ არის დაგეგმილი. დრო არ მაქვს, ვიდეო საჭიროა კონკურსისთვის, როგორც ახალი ტრენდი, თუმცა ყველაფერი უფრო მარტივად აიხსნება კარგი სკრინშოტებით (ჩემი IMHO) და არაფრის გადაღება ნამდვილად არ მინდა. ძალიან ცოტა მომგებიანი თემაა დარჩენილი, სულელური სპამი საერთოდ აღარ მართავს, აქ უნდა იფიქრო და თემებს არავინ გადაიღებს, თუ არ ცდილობ მოძველებულებს ლამაზ შეფუთვაში მოათავსო და ცოტა დაფხვნილი. :) მაგრამ ეს ჩვენზე არ არის. ზოგადად, ეს 3 „არა“, ვფიქრობ, ძირითადად პოტენციური მონაწილეების უმრავლესობისთვის გახდა კონკურსში მონაწილეობის ბარიერი. ეს სამიდან მანქანის შეკეთებას ჰგავს: იაფი, ხარისხიანი, სწრაფი - სერვისს შეუძლია ერთდროულად მხოლოდ 2 პირობის შესრულება. დაჯექი და აირჩიე ის, რაც შენთან უფრო ახლოსაა. :) კონკურსზეც ასეა: დრო მაქვს, ვიდეოს გადაღება ვიცი, მაგრამ თემა არ არის, ან ვიცი ვიდეოს გადაღება, არის თემა, მაგრამ დრო არ მაქვს ყველა, ან თავისუფალი დრო მაქვს და არის პატარა თემა, მაგრამ ვიდეო საშინელია. მაგრამ ეს კარგია, თუ 2 პირობა დაკმაყოფილებულია ერთდროულად. კარგი, მოდით, გადავაგდოთ ლექსები. საკუთარ თავს გავაგრძელებ. არ დავგეგმე, რაც ნიშნავს, რომ კონკურსში მივიღე მონაწილეობა, ავირჩიე კიდეც რომელ სტატიას მივცემდი ხმას. რაც არ უნდა თქვათ, დოზმა ძალიან კარგად იცის პროგრამული უზრუნველყოფა და იცის როგორ გამოიყენოს იგი ძალიან ჭკვიანურად. მაგრამ დღეს გავიგე, რომ კონკურსში ინტრიგა გამოჩნდა. გამოდის, რომ მე ვერ ვიღებ ხმას და ამას მხოლოდ ახალბედები შეძლებენ, რომლებმაც 2011 წელს შეიძინეს პროგრამა, და კონკურსი მათთვის არის განკუთვნილი. ცოტა გამიკვირდა, მაგრამ პატრონი ჯენტლმენია. კონკურსი სარეკლამო კამპანიაა და ალექსანდრემ უკეთ იცის როგორ განახორციელოს იგი. ზოგადად, მაშინ გადავწყვიტე სტატიის გამოქვეყნება; წერა გარკვეულწილად ადვილია, როდესაც გასაგებია, ვისთვის, მთელი კოლმეურნეობისთვის, სინამდვილეში, შეუძლებელია ამის გაკეთება. გრძელი შესავალი დასრულდა, ახლა საქმეზე. რა სჭირდება დამწყებს, როდესაც მან შეიძინა ასეთი სუპერკომბინატი, რომელიც არის Xrumer + Hrefer კომპლექსი? ასეა, ისწავლეთ როგორ იმუშაოთ მასზე და გააუქმეთ ილუზია, რომ ფულის გამომუშავება შეგიძლიათ სპამის ფურცლების დაწყებით. თუ ასე ფიქრობთ, მაშინვე სჯობს თქვენი ფული ქველმოქმედებას გაწიოთ. თქვენ უნდა ისწავლოთ კომპლექსის ხელსაწყოების გამოყენება, სასურველია საკუთარი თავის სიმკვეთრე. „აიღე მეტი - გადაყარე“ დრო წავიდა. რაოდენობა ხარისხს უთმობს ადგილს. ეს ნიშნავს, რომ ჩვენ შევქმნით ბაზას ჩვენთვის; თუ არ ისწავლით ამის გაკეთებას, ჩამორჩებით მატარებელს. ამაში ბუნებრივია ხრეფერი დაგვეხმარება. თუ თქვენ გეგმავთ თქვენი რესურსების პოპულარიზაციას Google-ში, მაშინ ჩვენ ასევე უნდა მოვიძიოთ დონორთა საიტები Google-ის მეშვეობით. ვფიქრობ, ეს გასაგები და ლოგიკურია. მაგრამ Google, ისევე როგორც სპილენძის მთის ბედია, თავის სიმდიდრეს ყველას არ უთმობს. თქვენ გჭირდებათ მიდგომა მის მიმართ. დაუყოვნებლივ მინდა ვთქვა, რომ არ გქონდეთ იმედი, რომ იმ ნიშნების საფუძველზე, რომლებიც საზოგადოებაში აღმოაჩენთ, შეძლებთ რაიმეს შეგროვებას. მიზეზი, რის გამოც ისინი ხელმისაწვდომია საჯაროდ, არის ის, რომ ისინი უსარგებლოა. თემას აღარ განვავითარებ. ჯობია გითხრათ როგორ სწორად ააწყოთ, რომ შედეგს ნახოთ, დანარჩენი თავად შეიმუშაოთ, მთავარია პრინციპის გაგება. ჩვენ უნდა შევაგროვოთ სწორი, ჩვენთვის საჭირო კონკრეტული ძრავების მახასიათებლების საფუძველზე და არა ზოგადად ფორუმის მახასიათებლების მიხედვით. ეს არის დამწყებთათვის მთავარი შეცდომა - არ არის კონცენტრირებული კონკრეტულ რამეზე, არამედ ცდილობს ყველაფერი მთლიანად დაფაროს. ასევე, თუ გსურთ მეტ-ნაკლებად ნორმალური მონაცემთა ბაზის გაანალიზება, შეწყვიტეთ ოპერატორების გამოყენება შეკითხვებში. არ არის "inurl:", "site:", "title" და ა.შ. Google მყისიერად აუკრძალავს თქვენნაირ მაძიებლებს. ამიტომ, ჩვენ გულდასმით ვსწავლობთ ძრავებს, რომლებთანაც ამჟამად მუშაობს Khrumer:
უზრუნველყოფილია php-Fusion-ის მიერ
Khroomer 7.07 ვერსიაში, პროგრამა ივარჯიშება რამდენიმე ახალ ძრავზე:
forumi.biz, forumb.biz, 1forum.biz, 7forum.biz და ა.შ.
phpBB-fr.com, Solaris phpBB თემა
ახლის სწავლის პროცესი კი უწყვეტია. ზოგადად, ჩვენ უნდა მოვამზადოთ სწორი მოთხოვნები Hrefer-ის ანალიზებისთვის. მაგალითისთვის ავიღოთ ფორუმი დიჟოკი. SMF ფორუმები. და დავიწყოთ მისი დაშლა სათადარიგო ნაწილებად პარსინგისთვის. ამაში ჩვენი საყვარელი Google დაგვეხმარება. შეიყვანეთ მოთხოვნა Google-ში SMF ფორუმები- ძიების შედეგებში ბევრი ნაგავია, გადავხვევთ მე-13 გვერდზე და ვირჩევთ ნებისმიერ ბმულს. მე წავაწყდი ამას: http://www.volcanohost.com/forum/index.php?topic=11.0. გავხსნათ და შევისწავლოთ. ჩვენ უნდა ვიპოვოთ რაიმე დამახასიათებელი გვერდზე, რომელიც შეიძლება გამოყენებულ იქნას ამ ძრავის სხვა გვერდების ძიებაში. ქვედაბოლოში ვამჩნევთ შემდეგ წარწერას უზრუნველყოფილია SMF 1.1.14-ით, ციტირება და შეყვანა Google-ში, ის გვაჩვენებს, რომ ამ მოთხოვნისთვის მან იცის დაახლოებით 59 მილიონი ვარიანტი. ჩვენ სწრაფად გადავხედავთ ბმულებს, ვამატებთ კიდევ რამდენიმე ვარიანტს ამ საკვანძო სიტყვას, მაგალითად, "იმუშავებს SMF 1.1.14" ვერხვიან "მხარდაჭერილია SMF 1.1.14" viagra. ჩვენ დარწმუნებული ვართ, რომ მოთხოვნა დიდია, შედეგები მხოლოდ ფორუმებია და თითქმის არ არის ნაგავი.
გარდა ამისა, ჩვენ გვაინტერესებს არა რაოდენობა, არამედ ხარისხი, როგორც ზემოთ ვთქვი. Განაგრძე. ამავე ფორუმიდან ვიღებთ კიდევ ერთ ფრაზას ქვედა კოლონტიტულიდან: , ჩვენ ასევე ციტირებთ და ვაწვდით Google-ს. საპასუხოდ ის ცხადყოფს, რომ 13 მილიონზე მეტი შედეგი იცის. ისევ სწრაფად ვათვალიერებთ შედეგებს, ვამატებთ დამატებით სიტყვებს და მათთან ერთად ვამოწმებთ შედეგებს. ჩვენ ვზრუნავთ, რომ მოთხოვნა შესანიშნავია და ასევე თითქმის არ არის ნაგავი. ზოგადად, უკვე 2 რკინის მოთხოვნაა. მე ვთავაზობ, რომ ჯერ მარტო დავტოვოთ პირველი ფორუმი და გავაგრძელოთ მოთხოვნების შეგროვება სხვა ფორუმებიდან. საბედნიეროდ, ჩვენ გვაქვს Google ღია მოთხოვნის შესაბამისად. 2006-2008 წწ., შპს სიმპლ მაინსი. ძიების შედეგებიდან ვიღებთ, მაგალითად, ამ ფორუმებს: http://www.snowlinks.ru/forum/index.php?topic=1062.0 და http://litputnik.ru/forum/index.php?action=printpage ;topic=380.0 ქვედა კოლონტიტებში ჩვენ ვიღებთ მათგან შემდეგ შეკითხვებს: "Powered by SMF 1.1.7" და "Powered by SMF 1.1.10" (მე ყოველთვის გირჩევთ შეიყვანოთ შეკითხვები Hrefer-ისთვის ბრჭყალებში, რადგან პირველ რიგში ხარისხი გვჭირდება. ყველა). ვფიქრობ, გასაგებია რას ვაკეთებთ, საბოლოოდ გვექნება მოთხოვნების გარკვეული მონაცემთა ბაზა SMF ძრავზე ფორუმების საძიებლად (ის აირჩიეს მაგალითად, იგივე სხვა ძრავებთან ერთად). ეს დაახლოებით ასე გამოიყურება:
"იმუშავებს SMF 1.1.2-ით"
"იმუშავებს SMF 1.1.3-ით"
"იმუშავებს SMF 1.1 RC2"
"იმუშავებს SMF 1.1.4-ით"
"იმუშავებს SMF 1.1.8-ით"
"იმუშავებს SMF 1.1.7-ით"
"2006-2008, შპს "სიმპლ მაინსი"
და ეს ყველაფერი არ არის. ძრავის ვერსიების შეგროვებისას, ზოგიერთ SMF ფორუმზე ვპოულობთ წარწერას "2001-2006, Lewis Media". ჩვენ ვამოწმებთ ამ მოთხოვნას, ისიც სრულად გვაკმაყოფილებს. მსგავს მოთხოვნას ვხვდებით: „2001-2005, Lewis Media“. ქვედა კოლონტიტულის შემდგომი გადახედვისას ვპოულობთ შემდეგ მოთხოვნას: „SMFone დიზაინი A.M.A-ს მიერ, პორტირებული SMF 1.1-ზე“. ჩვენ ვამოწმებთ - შესანიშნავია. Და ასე შემდეგ. ნახევარი საათის მუშაობა და თქვენ გაქვთ ძრავის მოთხოვნების მშვენიერი მონაცემთა ბაზა და Google ამ შეკითხვებზე გაცილებით იშვიათად აგიკრძალავთ, ვიდრე მათში ოპერატორებს იყენებთ. და ამავდროულად, თქვენი მონაცემთა ბაზა ბევრად უფრო სუფთა იქნება, ვიდრე იყენებთ შეკითხვებს, როგორიცაა „index.php?topic=", რადგან აქ Google მოგცემთ არა მხოლოდ ჩვენთვის საჭირო ფორუმებს, არამედ ბევრ მემარცხენე რესურსს, სადაც ეს შესაძლებელი იყო. დატოვე ბმული ფორუმის თემაზე. შეიძლება გააპროტესტოთ, რა არის ამაში ცუდი? სხვებმა დატოვეს ბმული, ასე რომ ჩვენც შეგვიძლია. მაგრამ! ბმულები შეიძლება დატოვოს არა მხოლოდ Khrumer-მა, არამედ სხვა პროგრამებმაც. უფრო მეტიც, ისინი შეიძლება სპეციალურად იყოს მორგებული გარკვეული რესურსის შესახებ კომენტარების დასატოვებლად, ეგრეთ წოდებული მაღალ სპეციალიზებული პროგრამული უზრუნველყოფის შესახებ, პლუს ასეთი ბმულების დატოვება შესაძლებელია ხელით. კიდევ ერთხელ ვიმეორებ, ჩვენთვის მნიშვნელოვანია არა ნაგვის რაოდენობა, არამედ ხარისხი, ჩვენ შევაგროვებთ მონაცემთა ბაზას სწორი მოთხოვნით. ამ მეთოდის უპირატესობა ის არის, რომ კონფიგურაცია პრაქტიკულად არ დაგჭირდებათ sieve - ფილტრი
, შეგიძლიათ უბრალოდ გამორთოთ, რადგან Google პრაქტიკულად არ მოგცემთ ნაგავს.
მე ვფიქრობ, რომ საწყის ეტაპზე ჰრუმერის სწორად გამოყენების სწავლა ძალიან მნიშვნელოვანია, რადგან როგორც კი ამას ისწავლი, ყოველთვის შეგიძლია იპოვო ჰრუმერის გამოყენება, როგორიც არ უნდა შეიცვალოს სიტუაცია. დაცვა უფრო რთული ხდება და თუ ზოგიერთ ტიპის ძრავებზე დაცვა გაძლიერდა და ქრომერი ამ მომენტში ვერ უმკლავდება მას, მაშინ აზრი არ აქვს რესურსების დახარჯვას ამ ბმულების შეგროვებაზე და შემდეგ მათზე მუშაობა Khroomer-თან. უკეთესია ძალების კონცენტრირება იმაზე, რაც იძლევა შედეგს. და ამავდროულად, თუ Botmaster Labs-ის გუნდმა ასწავლა Khroomer-ს რაიმე ახალი, თქვენ შეგიძლიათ სწრაფად გამოაყოთ ახალი პაციენტი და მოამზადოთ ბაზა ხრუმერისთვის, სანამ პაციენტი ჯერ კიდევ თბილია. დრო ფულია; რესურსი შეიძლება აღარ იყოს რელევანტური ბაზის შეძენისას. ვიღაცის მიერ შეგროვებული. გარდა ამისა, საკუთარი თავისთვის ბაზების სწორი შეგროვება მნიშვნელოვნად აფართოებს ხრუმერის „თეთრ“ გამოყენებას. და სწორედ აქ მოძრაობს ყველაფერი, მოგვწონს თუ არა, გათეთრების ან გათეთრების პროცესი გრძელდება. შავი ფურცლები ყველანაირად წარსულს ჩაბარდება. Hrefer-თან მუშაობის ყველა სხვა ტექნიკური ასპექტი შეგიძლიათ იხილოთ დახმარებაში და აზრი არ აქვს მათზე ფიქრს; ყველა მიზანი, ქულა, წამი დაყენებულია ექსპერიმენტულად თითოეული მანქანისთვის ინდივიდუალურად. ბონუსად, აქ დავდებ შაბლონს ჩინური საძიებო სისტემის Baidu-ს გასაანალიზებლად, წინა დღეს მკითხეს ამის შესახებ, ასე რომ მე ეს შემთხვევით გავაკეთე, მაპატიეთ სიტყვა. :)
ვცადე მათი გაანალიზება, არ იყო აკრძალვა, ხრეფერმა სწრაფად შეაგროვა რესურსები, პარსინგის ყველა მოთხოვნა იყო Google-ის მსგავსი, მაგრამ იყო ბევრი ჩინური რესურსი, მაღალი პიარით და გარდა ამისა, იყო ბევრი ადგილი, სადაც არა ევროპელს ოდესმე ფეხი დაუდგამს. უკეთესია ჩინური მოთხოვნების გაანალიზება. Google translate დაგეხმარებათ ამაში, ჩაწერეთ საკვანძო სიტყვების სია რუსულ ენაზე და გადათარგმნეთ იგი ჩინურად. სიმართლე " სიტყვები„Herfer სიტყვების დამატება ჩინურ ენაზე შეუძლებელია, საჭიროა მათი ხელახალი კოდირება. ჩინურის ნაცვლად:
伟哥 - ვიაგრა
吉他 - გიტარა
其他 - დასვენება
保险公司 - დაზღვევა
ჩასვით ეს შემცვლელი კოდები Words ფაილში:
%E4%BC%9F%E5%93%A5
%E5%90%89%E4%BB%96
%E5%85%B6%E4%BB%96
%E4%BF%9D%E9%99%A9%E5%85%AC%E5%8F%B8
თუ სადაზღვევო ვებსაიტს უწევთ პოპულარიზაციას, მაშინ თქვენს პროფილში ბმულის განთავსებით თემატურ (!) თუნდაც ჩინურ ფორუმზე მოთხოვნით ნაპოვნი " SMF ფორუმი" 保险公司ძალიან კარგი იქნება. დასასრულს მინდა ვთქვა, რომ არასოდეს მესმოდა ადამიანები, რომლებიც წუწუნებდნენ, რომ ხრეფერები ცუდად ან ცუდად იყო მოხარშული, ამის საპასუხოდ ყოველთვის მინდოდა მეთქვა, უბრალოდ არ იცი მათი მომზადება. ვერცერთი პარსერი ვერ შეაგროვებს შედეგებს უკეთესად, ვიდრე რეფერირება; მოთხოვნები უბრალოდ უნდა იყოს სწორი. Hrefer არის მანქანა: კარგი, მყარი, გერმანული წარმოების, მაგრამ მას მართავს ადამიანი და ეს ყველაფერი დამოკიდებულია იმაზე, თუ რამდენად კარგად იმართება, თქვენ არ შეგიძლიათ აიძულოთ მანქანა ერთდროულად მართოს მარჯვნივ და მარცხნივ. ცალკე თემაა მონაცემთა ბაზების გაწმენდა, ეს ერთხელ გავაკეთე 3 წლის წინ წინა კონკურსზე. უმეტესწილად, იქ ყველაფერი ჯერ კიდევ აქტუალურია, მაგრამ ახლა შეგიძლიათ უარი თქვათ 200 OK-ის შემოწმებაზე, მე ნამდვილად არ მომეწონა ეს პროცესი, იყო ძალიან დიდი შეცდომები, გაფილტრული იყო ბევრი არასაჭირო რამ. ახლა ეს შეიძლება გაკეთდეს თითქმის ავტომატურად ხრუმერის მუშაობის დროს, თუმცა ეს პროცესი არ არის "200 OK"-ის შემოწმების სრული ანალოგი. ყოველ შემთხვევაში, საქმეზე: არც ისე დიდი ხნის წინ, ხრუმერში გაჩნდა შესანიშნავი შესაძლებლობა - პროექტის განხორციელების დროს რესურსებიდან ინფორმაციის მოპარვა. ეს ასე გამოიყურება. თქვენ შეიყვანთ შაბლონს, რომელიც დამუშავდება ოპერაციის დროს და შაბლონიდან შეგროვებული ინფორმაცია შეიტანება xgrabbed.txt ფაილში Logs საქაღალდეში. თქვენ შეგიძლიათ გამოიყენოთ ეს ფუნქცია არაფერში, ფანტაზიის ფრენა უზარმაზარია. ამ ფუნქციას კვირაში ერთხელ ვიყენებ ჩემი სამუშაო "ვადაგასული" ბაზიდან ბმულების ამოსაღებად. საიდუმლო არ არის, რომ ფორუმები ყოველდღიურად იღუპება, რათა ჩვენი მონაცემთა ბაზა გასუფთავდეს ასეთი რესურსებისგან და ამ საქმეში დაგვეხმარება “Autograbbing” ინსტრუმენტი. ბოლოს და ბოლოს, უნდა აღიაროთ, რომ როდესაც ხშირად ვწერთ, მაგალითად, http://www.laptopace.com/index.php, ვხედავთ, რომ ეს დომენი უკვე, მაგალითად, კარგი ბიჭია, რომელიც ფულს ყიდის, მაგრამ არ არსებობს. ფორუმი იქ. ასე რომ, ამ წიდას ძირიდან რომ გადავყაროთ, გავძარცავთ. :) გახსენით გვერდის საწყისი კოდი და იხილეთ ეს ჩანაწერი იქ:
laptopace.com
დასაჭერად, ჩვენ გარდაქმნით მას
[...]
ახლა გუდადის ყველა "მკვდარი მამაკაცი" ჩვენთვის სახელით გახდება ცნობილი. აქ არის Autograbbing ინსტრუმენტის მცირე არჩევანი, თუ გსურთ მონაცემთა ბაზის გასუფთავება სხვადასხვა „ვადაგასული“ დომენებისგან: