Xóa bỏ FacebookExternalHit gây bardwith cao

[meotom]

FacebookExternalHit

Mục đích chính của FacebookExternalHit là thu thập nội dung của ứng dụng/trang web được chia sẻ trên một trong các nhóm ứng dụng của Meta, chẳng hạn như Facebook, Instagram hoặc Messenger. Liên kết có thể đã được chia sẻ bằng cách sao chép và dán hoặc thông qua plugin xã hội của Facebook. Trình thu thập dữ liệu này thu thập, lưu vào bộ nhớ đệm và hiển thị thông tin về ứng dụng/trang web nêu trên, chẳng hạn như tiêu đề, nội dung mô tả và hình thu nhỏ.
Chuỗi UA cụ thể mà bạn thấy trong file nhật ký sẽ tương tự như một trong những chuỗi sau đây:

• facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
• facebookexternalhit/1.1
• facebookcatalog/1.0

Lưu ý rằng trình thu thập dữ liệu FacebookExternalHit có thể bỏ qua file robots.txt khi kiểm tra bảo mật hoặc kiểm tra tính toàn vẹn, chẳng hạn như kiểm tra phần mềm hay nội dung độc hại.

-> Xóa bỏ FacebookExternalHit gây bardwith cao trong myphpdata

Cách chặn facebookexternalhit/1.1 Crawler

Để chặn trình thu thập thông tin facebookexternalhit , bạn có thể sử dụng nhiều phương pháp khác nhau, bao gồm:

1. Tệp .htaccess : Bạn có thể thêm đoạn mã sau vào cuối tệp .htaccess của máy chủ web Apache để chặn trình thu thập dữ liệu facebookexternalhit . Lưu ý, điều này sẽ chặn tất cả các yêu cầu từ Facebookexternalhit/1.1 :

	# BLOCK Facebook Crawler
	RewriteEngine On
	RewriteCond %{HTTP_USER_AGENT} ^facebookexternalhit/1\.1 [NC]
	RewriteRule ^ - [F,L]
	# BLOCK Facebook Crawler END

1. Chặn IP : Bạn có thể chặn địa chỉ IP của Facebook bằng tường lửa của máy chủ hoặc phần mềm chặn IP. Tuy nhiên, phương pháp này không được khuyến khích vì địa chỉ IP của Facebook liên tục thay đổi.
2. Chặn tác nhân người dùng : Bạn có thể chặn facebookexternalhit bằng cách sử dụng plugin hoặc phần mềm chặn tác nhân người dùng, chẳng hạn như chỉ thị SetEnvIf của Apache .
3. Cloudflare : Nếu bạn đang sử dụng Cloudflare, bạn có thể chặn facebookexternalhit bằng các quy tắc tường lửa của Cloudflare.

---

Bài viết khác cùng Box :

• Xóa bỏ FacebookExternalHit gây bardwith cao
• Web bị hack - xử lý làm sao?
• Fix lỗi Uncaught TypeError: $(...).live is...
• Fix Warning: count(): Parameter must be an...
• Cách bảo mật website sử dụng mã nguồn...

[meotom]

Hết con facebookexternalhit/1.1 giờ đến meta-externalagent/1.1.

Khác với con cũ thì con Meta-ExternalAgent là trình thu thập dữ liệu web được Meta sử dụng để tải xuống dữ liệu đào tạo cho các mô hình AI.

Với Hosting/VPS cấu hình nho nhỏ thì khi crawler là Full tài nguyên ngay. Nên AE có thể chặn nó như sau:



Sử dụng Robots.txt

User-agent: Meta-ExternalAgent
Disallow: /

Sử dụng .htaccess

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "meta-external agent/1.1" [NC]
RewriteRule .* - [F,L]
</IfModule>

Chặn trên NGINX

if ($http_user_agent ~* "meta-external agent/1.1") {
return 444;
}

[meotom]

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} facebookexternalhit [NC]
RewriteRule ^ - [F]
</IfModule>

[meotom]

# BLOCK Facebook Crawler
	# https://endurtech.com/block-facebook...okexternalhit/
	RewriteEngine On
	RewriteCond %{HTTP_USER_AGENT} ^facebookexternalhit/1\.1 [NC]
	RewriteRule ^ - [F,L]
	# BLOCK Facebook Crawler END

[meotom]

1. # Certain social media sites are whitelisted to allow crawlers to access page markup when links to /images are shared.
2. User-agent: Twitterbot
3. Allow: /images
4. User-agent: facebookexternalhit
5. Allow: /images

[meotom]

Thử chặn trong confic PHP

// defines FB request
define( 'FACEBOOK_REQUEST_THROTTLE', 2.0 ); // Number of seconds permitted be tween each hit from facebookexternalhit


if( !empty( $_SERVER['HTTP_USER_AGENT'] ) && strpos( $_SERVER['HTTP_USER_AGENT'], 'facebookexternalhit' ) === 0 ) {
$fbTmpFile = sys_get_temp_dir().'/facebookexternalhit.txt';
if( $fh = fopen( $fbTmpFile, 'c+' ) ) {
$lastTime = fread( $fh, 100 );
$microTime = microtime( TRUE );
// check current microtime with microtime of last access
if( $microTime - $lastTime < FACEBOOK_REQUEST_THROTTLE ) {
// bail if requests are coming too quickly with http 503 Service Unavailable
header( $_SERVER["SERVER_PROTOCOL"].' 503' );
die;
} else {
// write out the microsecond time of last access
rewind( $fh );
fwrite( $fh, $microTime );
}
fclose( $fh );
} else {
header( $_SERVER["SERVER_PROTOCOL"].' 429' );
die;
}
}

[meotom]

Vì vấn đề của bạn, tôi sẽ đặt thời hạn hết hạn html dài hơn bình thường
Trong .htaccess:

<IfModule mod_expires.c> ExpiresActive On ExpiresDefault "access plus 60 seconds" ExpiresByType text/html "access plus 900 seconds"</IfModule>Hy vọng rằng việc thiết lập thời gian hết hạn của html là 900 giây sẽ ngăn Facebook thu thập dữ liệu bất kỳ trang nào nhiều hơn một lần trong 15 phút.

[meotom]

Thử chặn trong funciton PHP

// defines FB request
define( 'FACEBOOK_REQUEST_THROTTLE', 60.0 ); // Number of seconds permitted be tween each hit from facebookexternalhit


if( !empty( $_SERVER['HTTP_USER_AGENT'] ) && strpos( $_SERVER['HTTP_USER_AGENT'], 'facebookexternalhit' ) === 0 ) {
$fbTmpFile = sys_get_temp_dir().'/facebookexternalhit.txt';
if( $fh = fopen( $fbTmpFile, 'c+' ) ) {
$lastTime = fread( $fh, 100 );
$microTime = microtime( TRUE );
// check current microtime with microtime of last access
if( $microTime - $lastTime < FACEBOOK_REQUEST_THROTTLE ) {
// bail if requests are coming too quickly with http 503 Service Unavailable
header( $_SERVER["SERVER_PROTOCOL"].' 503' );
die;
} else {
// write out the microsecond time of last access
rewind( $fh );
fwrite( $fh, $microTime );
}
fclose( $fh );
} else {
header( $_SERVER["SERVER_PROTOCOL"].' 429' );
die;
}
}