कैसे उपयोग करें HTML टोकनाइज़र को Python में
Aspose.HTML FOSS में Python के लिए टोकनाइज़र मार्कअप को मानकों-परिभाषित टोकनों की धारा में बदलता है — यह लिंटर, सैनिटाइज़र प्री-पास, और किसी भी उपकरण के लिए उपयोगी है जो ट्री स्तर के नीचे मार्कअप का निरीक्षण करता है। यह गाइड टोकनाइज़िंग एंट्री पॉइंट्स, टोकन शब्दावली, और स्थितियों को कवर करता है, इंस्टॉलेशन के लिए pip का उपयोग करके।
चरण-दर-चरण गाइड
चरण 1: पैकेज स्थापित करें
git clone https://github.com/aspose-html-foss/Aspose.HTML-FOSS-for-Python.git
cd Aspose.HTML-FOSS-for-Python
pip install -e .चरण 2: आवश्यक क्लासें आयात करें
from aspose_html.tokenizer import Tokenizer, TokenizerStateचरण 3: मार्कअप टोकनाइज़ करें
Tokenizer.tokenize() पूर्ण इनपुट को प्रोसेस करता है; Tokenizer.tokenize_fragment() फ्रैगमेंट नियम लागू करता है। स्ट्रीम में टाइप किए गए टोकन होते हैं: StartTagToken और EndTagToken (गुणों के साथ), टेक्स्ट के लिए CharacterToken, CommentToken, DoctypeToken, और अंतिम EofToken।
चरण 4: प्रारंभिक स्थिति को नियंत्रित करें
TokenizerState विनिर्देश की स्टेट मशीन को प्रतिबिंबित करता है। संदर्भ-संवेदनशील इनपुट के लिए — वह सामग्री जो <script> या <style> के भीतर दिखाई देगी — टोकनाइज़ करने से पहले Tokenizer.set_state() के साथ मिलती-जुलती प्रारंभिक स्थिति सेट करें।
चरण 5: कैरेक्टर रेफ़रेंसेज़ को हल करें
नामित और संख्यात्मक कैरेक्टर रेफ़रेंसेज़ resolve_named_char_ref(), resolve_numeric_char_ref(), और find_named_char_ref_match() के माध्यम से हल होते हैं — पूर्ण नामित-रेफ़रेंस तालिका द्वारा समर्थित।
सामान्य समस्याएँ और समाधान
स्क्रिप्ट या शैली सामग्री को मार्कअप के रूप में टोकनाइज़ किया जाता है। प्रारम्भिक स्थिति संदर्भ के लिए गलत थी; इसे सेट करें set_state().
आउटपुट में इकाइयाँ अनसुलझी दिखाई देती हैं। कच्चा पाठ उपभोक्ताओं को कैरेक्टर-रेफ़रेंस रिज़ॉल्वर चलाने चाहिए; इस स्तर पर समाधान स्पष्ट है।
फ़्रैगमेंट आउटपुट पूर्ण पार्स से अलग होता है। फ़्रैगमेंट टोकनाइज़ेशन नियम जानबूझकर अलग होते हैं — उपयोग करें tokenize() पूर्ण दस्तावेज़ों के लिए।
अक्सर पूछे जाने वाले प्रश्न
क्या मैं ट्री बनाये बिना टोकन का उपभोग कर सकता हूँ?
हाँ — टोकन स्ट्रीम एक सार्वजनिक आउटपुट है, जो ट्री निर्माण से स्वतंत्र है।
कौनसे टोकन प्रकार मौजूद हैं?
StartTagToken, EndTagToken, CharacterToken, CommentToken, DoctypeToken, और EofToken.
क्या टोकनाइज़र की स्थितियां मानक हैं?
हाँ — TokenizerState विनिर्देश की स्टेट मशीन को मॉडल करता है।
