के TensorFlow Keras Tokenizer API को धेरै पटक शब्दहरू फेला पार्न प्रयोग गर्न सकिन्छ?
आइतवार, १ April अप्रिल २०० 14
by ankarb
TensorFlow Keras Tokenizer API वास्तवमा पाठको कोर्पस भित्र धेरै बारम्बार शब्दहरू फेला पार्न प्रयोग गर्न सकिन्छ। टोकनाइजेशन प्राकृतिक भाषा प्रशोधन (NLP) मा एक आधारभूत चरण हो जसमा पाठलाई साना एकाइहरू, सामान्यतया शब्द वा उपशब्दहरूमा विभाजन गरी थप प्रशोधन गर्न सजिलो हुन्छ। TensorFlow मा Tokenizer API ले कुशल टोकनकरणको लागि अनुमति दिन्छ
- मा प्रकाशित कृत्रिम खुफिया, EITC/AI/TFF टेन्सरफ्लो फंडामेंटलहरू, टेन्सरफ्लोको साथ प्राकृतिक भाषा प्रोसेसिंग, टोकननाइजेसन
अन्तर्गत ट्याग गरिएको:
कृत्रिम खुफिया, एनएलपी, TensorFlow, पाठ विश्लेषण, Tokenizer API, शब्द आवृत्ति