NoFlag

كيف يقرأ GrovlixScanner متجرك

GrovlixScanner هو الفاحص الذي يستخدمه NoFlag لقراءة متجر إلكتروني حين يطلب أحدٌ فحصه. يقرأ الصفحات العامة فقط، وببطء: تُرسَل الطلبات العادية واحدًا تلو الآخر، ويبدأ المتصفح تحميل صفحة واحدة في كل مرة لكل متجر. وإذا منع robots.txt صفحةً عنه فلا يقرؤها أبدًا.

آخر تحديث:

ما هو GrovlixScanner

NoFlag منتج من Grovlix يقارن المتاجر الإلكترونية بالسياسات المنشورة لدى منصات الإعلان ومزوّدي الدفع. حين يُدخل شخصٌ رابط متجر، يقرأ GrovlixScanner ذلك المتجر وحده، ثم يكتب NoFlag تقريرًا. ولا يتنقّل الفاحص بين مواقع الويب ولا يتبع الروابط إلى مواقع أخرى. وإلى جانب صفحات المتجر نفسه، يحمّل السكربتات وحاويات الوسوم التي تحمّلها تلك الصفحات. وفي وضع المتصفح يحمّل كل ما تطلبه الصفحة من أي نطاق (انظر «وضع المتصفح»).

ما الذي يطلبه

في كل فحص يطلب:

  • العنوان الذي أُدخل، والصفحات التي يحوّل إليها داخل الموقع نفسه. وقد يتبع أول طلب للصفحة الرئيسية تحويلًا إلى موقع آخر، ليعرف أين يوجد المتجر فعلًا. وعندما تحوّل صفحة أخرى من المتجر إلى موقع آخر، يقرأ ملف robots.txt لكل موقع تمر به سلسلة التحويل، ويطلب كل عنوان فيها يسمح به robots.txt (بحد أقصى 5 طلبات)، فقط ليعرف إلى أين تؤدي السلسلة. وإن رفض robots.txt أحدها، أو تعذّر تتبّع السلسلة حتى نهايتها، فلا تُقرأ تلك الصفحة بأي طريقة؛
  • الصفحة الرئيسية وبضع صفحات منتجات (بحد أقصى 5 صفحات) وصفحات السياسات والتواصل: الاسترجاع والشحن والخصوصية والشروط والتواصل ومن نحن والأسئلة الشائعة والإشعار القانوني والشكاوى؛
  • ملف robots.txt (ويتبع تحويله حتى لو كان إلى موقع آخر) وخرائط الموقع التي يشير إليها؛
  • البيانات العامة التي تتيحها منصة المتجر دون تسجيل دخول، مثل /products.json في Shopify أو واجهة سلة العامة للمتاجر؛
  • السكربتات وحاويات الوسوم (التحليلات والإعلانات) التي تحمّلها تلك الصفحات، لمعرفة الوسوم المثبّتة؛
  • روابط صفحات أخرى من الموقع نفسه، ليتحقق من أنها تعمل: طلبات HEAD، وطلب GET إن رفض المتجر HEAD، وبحد أقصى 20 طلبًا في الفحص كله؛
  • عنوان الصفحة الرئيسية بصيغة http:// (طلب HEAD، ليعرف هل يحوّل إلى https) واتصال TLS لقراءة الشهادة.

الطلبات العادية هي GET وHEAD فقط. وفي وضع المتصفح تعمل سكربتات صفحة المتجر نفسها كما تعمل مع أي زائر، بما فيها الطلبات التي ترسلها (وقد تكون طلباتها الخلفية من نوع POST). أما الفاحص نفسه فلا يرسل نموذجًا ولا يسجّل دخولًا في أي مكان ولا يضيف إلى السلة ولا يشتري شيئًا.

كيف يتصرف

  • وكيل المستخدم. ترسل الطلبات العادية وكيل المستخدم GrovlixScanner/1.0 (+https://getnoflag.com/bot)، وفيه رابط هذه الصفحة.
  • ملف robots.txt. يتبع القواعد المكتوبة للرمز GrovlixScanner، فإن لم توجد في الملف مجموعة خاصة به فقواعد *. إذا ردّ robots.txt بـ404 أو بخطأ آخر من فئة 4xx عُدّ كل شيء مسموحًا. ويُستثنى من ذلك الرد 429 أو صفحة التحقق على robots.txt نفسه، فيُعدّان منعًا. وإذا تعذّر الوصول إليه (خطأ 5xx أو انتهاء المهلة) عُدّ الموقع كله ممنوعًا، كما ينص RFC 9309.
  • وتيرة الطلبات. الطلبات العادية: طلب واحد في كل مرة إلى المتجر، وبين نهاية طلب وبداية الذي يليه ثانية واحدة على الأقل (أي طلب واحد في الثانية كحد أقصى لكل متجر). ومتاجر Shopify تشترك فوق ذلك في حدّ واحد للمباعدة بين جميع متاجر Shopify، لأن Shopify تحدّ الطلبات بحسب العنوان عبر جميع متاجرها: قد ينتظر الطلب أكثر، لكن المتجر الواحد لا يُقرأ أسرع من ذلك أبدًا.
  • إعادة المحاولة. الطلبات العادية: بعد انتهاء مهلة أو خطأ من الخادم يعيد المحاولة مرة واحدة. وبعد الرد 429 (طلبات كثيرة) لا يعيد إلا إذا طلب المتجر في Retry-After انتظار 10 ثوانٍ أو أقل، وإلا توقف عن طلب تلك الصفحة من المتجر. وفي وضع المتصفح لا تُعاد محاولة تحميل أي صفحة.
  • الحماية من الروبوتات. لا يحلّ الفاحص صفحة التحقق، مثل فحص Cloudflare، ولا يعيد طلبها بحيل. ويذكر التقرير ما تعذّرت قراءته وسببه. وتنتهي قراءة الصفحة إذا منعها robots.txt، أو إذا ردّ المتجر بـ404 أو 410 (أي أن الصفحة غير موجودة). أما إذا فشلت القراءة المباشرة لأي سبب آخر، مثل 403 أو 429 أو خطأ 5xx أو انتهاء المهلة أو صفحة تحقق، فقد يستعين الفحص بأداة PageSpeed Insights من Google، وهي تحمّل الصفحة من جهة Google. وتجري الأداة أيضًا تدقيق السرعة وتحسين محركات البحث (SEO) إذا كانت مفعّلة. ويقرأ الفحص كذلك نسخًا من الصفحات على archive.org للقراءة فقط، ولا يطلب منه حفظ أي صفحة (دون Save Page Now).
  • ما يحتفظ به. الأدلة مقتطف أو لقطة شاشة بالقدر اللازم لإظهار الملاحظة، وتُحذف بعد 90 يومًا (30 يومًا إن كانت قد تتضمن بيانات شخصية). أما الصفحات الخام التي جُلبت للفحص فتبقى يومين: يوم الفحص واليوم الذي يليه.

وضع المتصفح

بعض الفحوصات تحتاج الصفحة كما يراها الزائر: السكربتات التي تعمل ولافتات الكوكيز والتخطيط. ويمكن للفحص فتح هذه الصفحات في متصفح Chromium دون واجهة.

  • وكيل المستخدم هو وكيل Chromium نفسه لا وكيل GrovlixScanner، لأنه متصفح حقيقي. ولا نخفيه بأي طريقة، فلا نستخدم أدوات تمويه ولا نغيّر بصمته. وللمنع استخدم قاعدة robots.txt أدناه، فالمتصفح يتحقق من robots.txt للرمز GrovlixScanner قبل كل صفحة وكل إعادة توجيه. وقبل كل تحميل لصفحة في المتصفح تتتبّع طلبات عادية بوكيل المستخدم GrovlixScanner سلسلة إعادة التوجيه، لكل خطوة فيها طلبها الخاص.
  • يبدأ تحميل صفحة واحدة في كل مرة لكل متجر، وبين تحميلين لصفحتين من المتجر نفسه 5 ثوانٍ على الأقل. وقد تظل صفحة سابقة قيد التحميل حين تبدأ التالية. أما السكربتات وأوراق الأنماط والصور والطلبات التي تُطلقها الصفحة بنفسها أثناء تحميلها فلا تخضع لهذه المباعدة.
  • لا يفتح إلا صفحات المتجر نفسه. أما داخل الصفحة فيحمّل المتصفح كل ما تطلبه من أي نطاق، ومنه مستندات الإطارات (iframe) بحد أقصى 30 مستندًا في تحميل الصفحة الواحدة. لا يرسل نموذجًا قط، ويلغي التنزيلات، ولا يفتح نوافذ منبثقة. والشيء الوحيد الذي ينقر عليه هو زر القبول في لافتة الكوكيز، ليرى ما يُحمَّل بعد الموافقة.
  • صفحة التحقق، أو الرد 429 على الصفحة نفسها، ينهي تحميل تلك الصفحة. لا تُعاد المحاولة ولا يُحَلّ أي تحقق.
  • بعد الرد 429 من متجرك، أو الرد 503 على صفحة ليست صفحة تحقق، لا يحمّل المتصفح أي صفحة أخرى من متجرك حتى نهاية ذلك الفحص. وينطبق هذا على الرد 429 على صفحة (ومنها صفحة التحقق) أو على أي شيء تحمّله الصفحة من نطاق متجرك نفسه. أما الرد 429 من نطاق جهة أخرى، كشبكة توصيل المحتوى أو خدمة التحليلات، فلا يُحسب. ويُعدّ النطاق مع www. وبدونها نطاقًا واحدًا.

منع الفحص وطلب الحذف

امنعه عبر robots.txt

أضف هذا إلى ملف robots.txt في متجرك:

User-agent: GrovlixScanner
Disallow: /

يقرأ GrovlixScanner ملف robots.txt مرة في كل فحص ويتحقق منه قبل كل صفحة، فيسري هذا من الفحص التالي، في الطلبات العادية ووضع المتصفح معًا. وإذا منع robots.txt صفحةً عن GrovlixScanner، أو عن * حين لا توجد فيه مجموعة خاصة بالرمز GrovlixScanner، فلا نقرؤها بأي طريقة: لا مباشرةً، ولا عبر Google PageSpeed Insights، ولا من archive.org. ويذكر التقرير حينها ما تعذّرت قراءته دون تخمين.

اطلب منا حذف متجر

استخدم نموذج طلب عدم الفحص: تثبت أنك تدير النطاق بسجل DNS أو بملف على الموقع، فنضيف النطاق إلى قائمة عدم الفحص. عندها يرفض الفاحص فحص النطاق ونطاقاته الفرعية، حتى لو حوّل إلى أحدها عنوان آخر. ويمكنك أيضًا مراسلتنا باسم نطاق المتجر، من عنوان بريد على ذلك النطاق أو بما يثبت أنك تدير المتجر. أما حذف التقارير والأدلة التي نحتفظ بها عنه فعمل يدوي نقوم به عند الطلب، وليس فوريًا.

التواصل

للأسئلة وطلبات عدم الفحص والحذف: [email protected].

عن البيانات التي نحتفظ بها

تشغّل Grovlix منتج NoFlag. قد تُظهر الصفحات العامة للمتجر بيانات شخصية لأصحابه، مثل اسم التاجر الفرد أو رقم هاتفه أو عنوانه. نحتفظ بالمقتطف أو لقطة الشاشة اللازمة لإظهار الملاحظة، مع مصدرها وتاريخها، وبالتقرير نفسه، وقد يقتبس نصه ما تُظهره الصفحة، مثل اسم النشاط التجاري أو عنوان بريد إلكتروني. وتبقى الصفحات الخام التي جُلبت للفحص يومين. لإجراء الفحص قد يرسل الفاحص عنوان صفحة من المتجر إلى Google (PageSpeed Insights) وإلى archive.org، وفي متاجر سلة، حين يكون قارئ لقطات الشاشة مفعّلًا، يرسل لقطة الشاشة التي تنتجها PageSpeed Insights للصفحة الرئيسية إلى Anthropic (وقد تُظهر اللقطة بيانات تواصل). وأساسنا هو المصلحة المشروعة: مساعدة أصحاب المتاجر على إصلاح المشكلات قبل أن توقف منصة الإعلانات حساباتهم. تُحذف الأدلة بعد 90 يومًا، أو بعد 30 يومًا إن كانت قد تتضمن بيانات شخصية. أما التقارير فليس لها موعد حذف محدد، ونحذفها عند طلبك. ويمكنك طلب الاطلاع أو التصحيح أو المحو أو الاعتراض عبر العنوان أعلاه.

يحصي هذا الموقع مشاهدات صفحاته بخدمة Cloudflare Web Analytics، وتقول Cloudflare إن هذه الخدمة لا تتتبّع الزائر بعينه من موقع إلى آخر.

أسئلة شائعة

لماذا يظهر GrovlixScanner في سجلات خادمي؟

أدخل أحدٌ عنوان متجرك في فحص NoFlag، وغالبًا أنت أو من يعمل معك. يقرأ مجموعة محدودة من الصفحات والملفات لذلك الفحص (القائمة أعلاه) ثم يتوقف.

كيف أمنعه؟

أضف قاعدة في robots.txt للرمز GrovlixScanner (أعلاه). وإذا منع robots.txt صفحةً عن GrovlixScanner، أو عن * حين لا توجد فيه مجموعة خاصة بالرمز GrovlixScanner، فلا نقرؤها بأي طريقة: لا مباشرةً، ولا عبر Google PageSpeed Insights، ولا من archive.org. أو راسلنا لنضيف نطاقك إلى قائمة عدم الفحص، فيرفض الفاحص فحصه هو ونطاقاته الفرعية حتى لو حوّل إليها عنوان آخر. وتُحذف التقارير المحفوظة فعلًا يدويًا عند الطلب.

هل يغيّر شيئًا في متجري؟

لا. الفاحص نفسه لا يسجّل دخولًا ولا يرسل نموذجًا ولا ينشئ طلب شراء. والطلبات العادية هي GET وHEAD فقط. وفي وضع المتصفح تعمل سكربتات متجرك نفسها كما تعمل مع أي زائر، بما فيها الطلبات التي ترسلها.

لماذا يستخدم وكيل مستخدم متصفح في وضع المتصفح؟

وضع المتصفح يشغّل متصفح Chromium حقيقيًا يرسل هويته الخاصة. ومع ذلك يلتزم بقاعدة robots.txt المكتوبة للرمز GrovlixScanner: فالصفحة التي يمنعها robots.txt عن GrovlixScanner (أو عن * حين لا توجد فيه مجموعة خاصة بالرمز GrovlixScanner) لا تُقرأ بأي طريقة، ومنها المتصفح.