தொழில்நுட்ப ஆழ்-விளக்கம்

ரேண்டம் வீடியோ அரட்டை எப்படி வேலை செய்கிறது

WebRTC பியர்-டு-பியர் இணைப்புகள், பொருத்தல் வரிசைகள், AI மிதப்படுத்தல் மற்றும் நிகழ்நேர வீடியோ விளைவுகள் குறித்த முழுமையான தொழில்நுட்ப ஆய்வு.

நீங்கள் 'தொடங்கு'-ஐ அழுத்தும்போது என்ன நடக்கிறது

சீரற்ற வீடியோ அரட்டை ஐந்து படிகள் மூலம் இரண்டு அந்நியர்களை விநாடிகளில் இணைக்கிறது — இவை அனைத்தும் கிட்டத்தட்ட ஒரே நேரத்தில் நடைபெறுகின்றன. உங்கள் உலாவி கேமரா அணுகலைப் பெறுகிறது, ஒரு பொருத்துதல் வரிசை உங்களை மற்றொரு பயனருடன் இணைக்கிறது, ஒரு சிக்னலிங் சர்வர் இணைப்பு மெட்டாடேட்டாவை பரிமாறுகிறது, மேலும் WebRTC நேரடி peer-to-peer வீடியோ ஸ்ட்ரீமை நிறுவுகிறது — மீடியா சர்வர் எதுவும் தேவையில்லை.

01

நீங்கள் 'தொடங்கு'-ஐ அழுத்துகிறீர்கள்

getUserMedia API
02

Nightcap ஒரு பொருத்தத்தை கண்டுபிடிக்கிறது

Cloudflare Durable Objects
03

WebRTC பேச்சுவார்த்தை செய்கிறது

WebSocket
04

நேரடி P2P வீடியோ தொடங்குகிறது

மீடியா நேரடியாக உங்கள் உலாவிலிருந்து மற்றவரின் உலாவிக்கு பாய்கிறது. Nightcap-இன் சேவையர்கள் வீடியோவை ஒருபோதும் தொடுவதில்லை.
05

விளைவுகள் மற்றும் பாதுகாப்பு இயங்குகின்றன

வீடியோ விளைவுகள் உங்கள் உலாவியில் உள்நாட்டில் செயலாக்கப்படுகின்றன. OpenAI உரை அரட்டையை மிதப்படுத்துகிறது, AWS Rekognition வீடியோ ஃப்ரேம்களை சரிபார்க்கிறது.

WebRTC என்றால் என்ன, அது ஏன் முக்கியம்?

WebRTC (Web Real-Time Communication) என்பது வலை உலாவிகளுக்கு இடையே நேரடி பியர்-டு-பியர் ஆடியோ, வீடியோ மற்றும் தரவு இணைப்புகளை செயல்படுத்தும் திறந்த-மூல நெறிமுறை. 2011-இல் Google வெளியிட்டது, இப்போது W3C மற்றும் IETF-ஆல் நியமனப்படுத்தப்பட்டது. Chrome, Firefox, Safari மற்றும் Edge இல் பொருத்தமாக ஆதரிக்கப்படுகிறது.

getUserMedia

பயனர் அனுமதியுடன் கேமரா மற்றும் மைக்ரோஃபோனை திறக்கிறது. நீங்கள் கேமரா அனுமதி கேட்கும் உலாவி தூண்டலை பார்க்கும்போது, getUserMedia அதை கோருகிறது.

RTCPeerConnection

P2P வீடியோ அரட்டையின் மையம். ICE பேச்சுவார்த்தை, DTLS கை அசைத்தல் மற்றும் குறியாக்கப்பட்ட மீடியா ட்ரான்ஸ்மிஷனை நிர்வகிக்கிறது.

RTCDataChannel

P2P வழியாக நிகழ்நேர உரை, JSON நிகழ்வுகள் அல்லது பைனரி தரவை அனுப்புகிறது. Nightcap RTCDataChannel வழியாக உரை அரட்டை அனுப்புகிறது.

முக்கிய தகவல் WebRTC மீடியா ஸ்ட்ரீம்களை மறைகுறியாக்க DTLS-SRTP பயன்படுத்துகிறது. விவரக்குறிப்பு படி குறியாக்கம் கட்டாயம் — தேர்வல்ல. Nightcap-இல் உங்கள் வீடியோ மீடியா Nightcap-இன் சேவையர்கள் உட்பட எந்த மூன்றாம் தரப்பினரும் தடுக்க முடியாது.

P2P வீடியோ இணைப்புகள் எப்படி நிறுவப்படுகின்றன

WebRTC வீடியோ அரட்டையில் மிகவும் சிக்கலான பகுதி என்னவென்றால், தனித்தனி நெட்வொர்க்குகளில் உள்ள இரண்டு உலாவிகளுக்கு இடையே நேரடி P2P பாதையை கண்டுபிடிப்பது. இதை நிறைவேற்ற WebRTC ICE, SDP மற்றும் STUN/TURN சேவையர்களின் கலவையைப் பயன்படுத்துகிறது.

SDP (அமர்வு விவரிப்பு நெறிமுறை)

இரண்டு உலாவிகளுக்கு இடையே பரிமாறிக்கொள்ளப்படும் ஒரு உரை-அடிப்படையிலான ஆவணம், ஒவ்வொரு பக்கமும் எந்த கோடெக்குகள், கட்டமைப்பு மற்றும் நெட்வொர்க் முகவரிகளை ஆதரிக்கிறது என்பதை விவரிக்கிறது. SDP சலுகை/பதில் செயல்முறை கை அசைத்தலை தொடங்குகிறது.

ICE (இண்டரேக்டிவ் கனெக்டிவிட்டி எஸ்டாப்ளிஷ்மென்ட்)

ஒவ்வொரு பக்கமும் சாத்தியமான நெட்வொர்க் பாதைகளை ('வேட்பாளர்கள்') சேகரிக்கும் ஒரு நெறிமுறை — நேரடி ஹோஸ்ட் முகவரிகள், STUN-கண்டுபிடிக்கப்பட்ட பொது IP-கள், மற்றும் TURN ரிலே முகவரிகள். ICE அவற்றை வரிசையாக சரிபார்த்து சிறந்த பாதையைத் தேர்வு செய்கிறது.

STUN (NAT சுற்றி பயணிக்கும் அமர்வு உபகரணங்கள்)

ஒரு உலாவி தனது NAT-க்கு பின்னால் உள்ள பொது IP மற்றும் port-ஐ கண்டுபிடிக்க அனுமதிக்கும் சேவையர். பெரும்பாலான P2P இணைப்புகளுக்கு STUN மட்டும் போதுமானது.

TURN (NAT-ஐ சுற்றி ரிலே பயன்படுத்துதல்)

கடுமையான ஃபயர்வால்கள் அல்லது சமச்சீர் NAT-ஆல் நேரடி P2P தோல்வியுறும்போது பயன்படுத்தப்படும் ஒரு ரிலே சேவையர். TURN சேவையர் மறைகுறியாக்கப்பட்ட மீடியாவை பியர்களுக்கு இடையே அனுப்புகிறது. கட்டண இறுதி ஆடு — மிகவும் அதிகமான பட்டைவிட்டை பயன்படுத்துகிறது, ஆனால் நம்பகத்தன்மை உறுதிப்படுத்துகிறது.

தனியுரிமை தாக்கம் P2P WebRTC-இல், Nightcap-இன் சேவையர்கள் உங்கள் மீடியா ஸ்ட்ரீமை ஒருபோதும் தொடுவதில்லை. வீடியோ மற்றும் ஆடியோ நேரடியாக பியர்களுக்கு இடையே DTLS-SRTP மூலம் மறைகுறியாக்கப்பட்டு பாய்கிறது. ICE பேச்சுவார்த்தை நடைபெறும் சிக்னலிங் சேவையர் கூட மீடியா உள்ளடக்கத்தைப் பார்க்க முடியாது.

பொருத்தல் எப்படி வேலை செய்கிறது

WebRTC P2P பாதையை கண்டுபிடிக்கிறது, ஆனால் முதலில் யாரை இணைக்கணும் என்பதை யாரோ முடிவு செய்ய வேண்டும். Nightcap-இன் பொருத்தல் அமைப்பு Cloudflare Durable Objects-இல் இயங்குகிறது.

ஆர்வ வடிப்பான்

ஒவ்வொரு இணைப்பு கோரிக்கையும் ஆர்வக் குறிச்சொற்கள் மற்றும் விருப்பமான நாட்டை கொண்டு வருகிறது. Durable Object ஒரே மாதிரியான ஆர்வங்களுடன் காத்திருக்கும் பயனர்களை பொருத்துகிறது.

நாடு மற்றும் பாலின வடிப்பான்கள்

கூடுதல் வடிப்பான்கள் பொருத்தல் குளத்தை குறுக்குகின்றன. நாடு வடிப்பான்கள் Cloudflare இன் IP புவியியல்-இருப்பிடம் தரவைப் பயன்படுத்துகின்றன.

Durable Objects நிலை

Cloudflare Durable Objects WebSocket நிலை நிர்வகிக்கின்றன மற்றும் பொருத்தல் வரிசையை பராமரிக்கின்றன. ஒவ்வொரு Durable Object உலகளாவிய விளிம்பு வழிகளில் சொந்தமான நினைவகத்தை வைத்திருக்கிறது.

Boost முன்னுரிமை

Boost வாங்கும் பயனர்கள் பொருத்தல் வரிசையில் முன்னுரிமை பெறுகிறார்கள். Durable Object உயர்-முன்னுரிமை கோரிக்கைகளை பொருத்திய பிறகு, நிலையான கோரிக்கைகளை செயலாக்குகிறது.

நிகழ்நேர வீடியோ விளைவுகள் — GPU-த்வரிதமான செயல்பாடு

Nightcap-இன் வீடியோ விளைவுகள் மூன்று-படி பைப்லைனைப் பயன்படுத்துகின்றன. முதலில், getUserMedia அசல் கேமரா ஸ்ட்ரீமை பிடிக்கிறது. பிறகு, OffscreenCanvas API ஒவ்வொரு ஃப்ரேமிலும் WebGL செல்வி நிழல்வரல்களைப் பயன்படுத்துகிறது. இறுதியாக, canvas.captureStream() ஒரு புதிய MediaStream உருவாக்குகிறது, அது RTCPeerConnection-க்கு அனுப்பப்படுகிறது: MediaStream இந்த அமைப்பு அனைத்து செயலாக்கலும் உங்கள் உலாவியில் உள்நாட்டில் நடைபெறுகிறது என்பதை உறுதிப்படுத்துகிறது — Nightcap-இன் சேவையர்களுக்கு செயலாக்கப்படாத வீடியோ ஒருபோதும் அனுப்பப்படுவதில்லை.

AI பின்னணி மங்கல்

TensorFlow.js BodyPix மாடல் ஒவ்வொரு ஃப்ரேமிலும் உங்கள் உடலை பிரித்தறிந்து, பின்னணி பிக்சல்களுக்கு Gaussian மங்கல் செல்வி நிழல்வரல்களை பயன்படுத்துகிறது. சரிசெய்யக்கூடிய தீவிரம் 2px (மென்மையான) முதல் 24px (முழு மறைவு) வரை.

வண்ண வடிப்பான்கள்

6 தனிப்பயன் GLSL நிழல்வரல்கள் — வெப்பம், குளிர், ஆன்டிக், கறுப்பு & வெள்ளை, துடிப்பான, மென்மை — ஒவ்வொரு வீடியோ ஃப்ரேமில் வண்ண மேட்ரிக்ஸ் மாற்றங்களை பயன்படுத்துகின்றன. GPU-இல் நடத்தப்பட்டதால் CPU-விற்கு செலவு சுன்னம்.

அழகுப் பயன்முறை

இரண்டு நிழல்வரல் பாஸ்: bilateral filtering தோல் நிறத்தை மென்மையாக்குகிறது, ஆனால் கண்கள் மற்றும் வாய் போன்ற குறிப்பிட்ட அம்சங்களை கூர்மையாக வைத்திருக்கிறது.

AI மிதப்படுத்தல் — இரட்டை அடுக்கு வழிமுறை

AI மிதமாக்கல் அமைப்புகள் உங்கள் உரையாடலை மனிதன் கண்காணிக்காமலேயே உரை செய்திகளையும் அவ்வப்போது வீடியோ ஃபிரேம்களையும் நிகழ்நேரத்தில் பகுப்பாய்வு செய்கின்றன. Nightcap ஒவ்வொரு அரட்டை செய்தியையும் OpenAI இன் இலவச Moderation API வழியாக அனுப்புகிறது, மேலும் AWS Rekognition மூலம் உள்ளடக்க பகுப்பாய்வுக்காக அவ்வப்போது வீடியோ ஃபிரேம்களை மாதிரியாக எடுக்கிறது — இதனால் வெகுஜன கண்காணிப்பின்றி தானியங்கி அமலாக்கம் சாத்தியமாகிறது.

OpenAI உரை மிதப்படுத்தல்

ஒவ்வொரு உரை அரட்டை செய்தியும் Nightcap-இன் சேவையர் வழியாக அனுப்பப்படும்போது OpenAI-இன் மிதப்படுத்தல் API-க்கு அனுப்பப்படுகிறது. நம்பகத்தன்மை வரம்பை மீறும் தீங்கிழைக்கும் உள்ளடக்கம் தொடர்பு முடிவதற்கு முன் நிறுத்தப்படுகிறது.

AWS Rekognition வீடியோ

வீடியோ ஃப்ரேம்கள் நிகழ்நேரத்தில் திட்டவட்டமற்ற உள்ளடக்கத்திற்காக AWS Rekognition மூலம் பகுப்பாய்வு செய்யப்படுகின்றன. P2P-வில் Nightcap-இன் சேவையர் மீடியா பாய்வை 'பார்க்காது' என்பதால், WebRTC இணைப்பு வழியாக நேரடி ஃப்ரேம் சேவையர் பக்கம் அனுப்பல் நடைபெறுகிறது.

ஒரு-கிளிக் புகாரளிக்கல்

பயனர்கள் எந்த நேரத்திலும் தவறான நடத்தையை புகாரளிக்கலாம். புகார்கள் மனித மறுஆய்விற்காக வரிசையில் வைக்கப்படுகின்றன, உடனடி தானியங்கி நடவடிக்கை எடுக்கப்படுகிறது.

தனிப்பட்ட பயன்முறை மிதப்படுத்தல்

தனிப்பட்ட பயன்முறை இயக்கப்படும்போது, NSFW உள்ளடக்க வடிப்பான் பரஸ்பர ஒப்புதல் நிரூபணத்திற்கு பிறகு மட்டும் முடக்கப்படுகிறது. சட்டவிரோத உள்ளடக்கம் (CSAM, அச்சுறுத்தல்கள்) எந்தவொரு பயன்முறையிலும் எப்போதும் கண்காணிக்கப்படுகிறது.

ஏன் Nightcap தனிப்பட்ட ஊடகத்திற்கு SFU-க்கு பதிலாக P2P தேர்வு செய்தது

1-இல்-1 உரையாடல்கள் P2P-க்கு இயற்கையாக பொருந்துகின்றன. SFU கட்டமைப்பு பெரிய குழு அழைப்புகளுக்கு முக்கியமாக ஆகிறது, அங்கு ஒவ்வொரு பங்கேற்பாளரும் ஒவ்வொரு பகிரப்பட்ட ஸ்ட்ரீமின் ஒரு நகலை பெறுகிறார். 1-இல்-1-ல், P2P குறைவான தாமதம் மற்றும் அதிகபட்ச தனியுரிமையை வழங்குகிறது: Nightcap-இன் சேவையர்கள் உங்கள் மீடியா ஸ்ட்ரீமை ஒருபோதும் செயலாக்குவதில்லை.

கட்டமைப்புபட்டைவிட்டைதனியுரிமை
P2P (Nightcap)குறைந்ததுஅதிகபட்சம் — மீடியா சேவையர்கள் தொடுவதில்லை
SFUநடுத்தரம் (ஒரு முறை அனுப்பு)நடுத்தரம் — SFU-யில் உங்கள் மீடியா உள்ளது
MCUஅதிகம் (சேவையரில் மிக்ஸ்)குறைந்தது — MCU எல்லாவற்றையும் செயலாக்குகிறது

முழுமையான Nightcap கட்டமைப்பு

Nightcap-இன் அமைப்பு இரண்டு தளங்களை ஒருங்கிணைக்கிறது: சிக்னலிங் மற்றும் பொருத்தலுக்கான Cloudflare Workers/Durable Objects, மற்றும் உண்மையான மீடியா டெலிவரிக்கான நேரடி P2P WebRTC. இங்கே சிக்னல் பாய்வு:

உலாவி → உலாவி←→Cloudflare Workers (சிக்னலிங்)ஒரு தடவை SDP + ICE பரிமாற்றம் — மீடியா இல்லை
உலாவி → உலாவி←→Durable Object (பொருத்தல்)வரிசை, வடிப்பான்கள், WebSocket நிலை
உலாவி → உலாவி←→உலாவி → உலாவிமீடியா: நேரடி P2P — சேவையர் இல்லை
உலாவி → உலாவிNext.js APIமிதப்படுத்தல், விளைவுகள் செயல்பாடு, UI

அடிக்கடி கேட்கப்படும் கேள்விகள்

WebRTC வீடியோ அரட்டை உண்மையில் பியர்-டு-பியரா?

ஆம். WebRTC இணைப்பு நிறுவப்பட்டதும், வீடியோ மற்றும் ஆடியோ தரவு இரண்டு உலாவிகளுக்கு இடையே நேரடியாக பாய்கிறது. சிக்னலிங் சேவையர் இணைப்பு மெட்டாடேட்டா (SDP சலுகைகள் மற்றும் ICE வேட்பாளர்கள்) பரிமாறிக்கொள்வதற்கு மட்டுமே பயன்படுத்தப்படுகிறது — இது உண்மையான மீடியா ஸ்ட்ரீமை ஒருபோதும் தொடுவதில்லை.

வீடியோ அரட்டை தளங்கள் என் வீடியோவை பார்க்கவோ பதிவு செய்யவோ முடியுமா?

Nightcap போன்ற P2P தளங்களில், வீடியோ ஸ்ட்ரீம்கள் நேரடியாக உலாவிகளுக்கு இடையே பயணிக்கின்றன, மத்திய சேவையரை ஒருபோதும் கடப்பதில்லை. தளம் உங்கள் வீடியோவை பார்க்கவோ, தடுக்கவோ அல்லது பதிவு செய்யவோ முடியாது. இது சேவையர்-மத்தியஸ்த கட்டமைப்புகளுடன் ஒப்பிடுகையில் பியர்-டு-பியர் WebRTC-இன் அடிப்படை கட்டமைப்பு நன்மையாகும்.

நேரடி P2P இணைப்பு தோல்வியுற்றால் என்ன நடக்கும்?

STUN உதவியுடனான நேரடி இணைப்புகள் மற்றும் ஹோஸ்ட் வேட்பாளர்கள் இரண்டும் தோல்வியுற்றால் (பொதுவாக கடுமையான நிறுவன NAT அல்லது சமச்சீர் ஃபயர்வால்கள் காரணமாக), WebRTC தானாகவே TURN ரிலே சேவையருக்கு மாறுகிறது. TURN சேவையர் பியர்களுக்கு இடையே மறைகுறியாக்கப்பட்ட மீடியா தொகுப்புகளை அனுப்புகிறது. தோராயமாக 15% அமர்வுகள் TURN ரிலே தேவைப்படுகின்றன.

Nightcap மேம்பட்ட AI விளைவுகளை ஒரே நேரத்தில் எப்படி இயக்குகிறது?

பின்னணி மங்கல் மற்றும் அழகுப் பயன்முறை உள்ளிட்ட வீடியோ விளைவுகள் உங்கள் உலாவியில் WebGL செல்வி நிழல்வரல்களைப் பயன்படுத்தி உள்நாட்டில் செயலாக்கப்படுகின்றன. செயல்பாட்டு வரிசை வழியாக WebRTC RTCPeerConnection-க்கு அனுப்பப்படுவதற்கு முன் getUserMedia ஸ்ட்ரீம் செயலாக்கப்படுகிறது. நீங்கள் அனுப்பும் பக்கத்தில் மட்டுமே செயலாக்கம் நடக்கிறது — மற்றவருக்கு CPU சுமை இல்லை.

P2P WebRTC சேவையர்-மத்தியஸ்த வீடியோவை விட ஏன் தனியார்?

சேவையர்-மத்தியஸ்த தளங்களில், உங்கள் வீடியோ நிறுவனத்தின் சேவையரில் பாய்கிறது — இது தொழில்நுட்ப ரீதியாக பதிவு செய்யப்படவோ, பகுப்பாய்வு செய்யவோ அல்லது தரவு மீறல்களில் வெளிப்படவோ கூடும். P2P WebRTC-இல், உங்கள் மீடியா நேரடியாக பிற பயனரின் சாதனத்திற்கு செல்கிறது. Nightcap-இன் சேவையர்கள் இணைப்பை பொருத்துகின்றன மட்டுமே — வீடியோ ஸ்ட்ரீமை ஒருபோதும் தொடுவதில்லை.

Nightcap-இலிருந்து மேலும்

P2P வீடியோ அரட்டையை நேரில் அனுபவிக்க தயாரா?

இப்போது Nightcap-ஐ முயற்சி செய்யுங்கள் — கணக்கு இல்லை, பதிவு இல்லை. WebRTC-இன் சக்தி உங்கள் உலாவியில் நேரடியாக.

அரட்டையைத் தொடங்கு — இலவசம்