es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: STOP-WORDS

Eliminar stopwords específicas de Pyspark

Nuevo en Pyspark, me gustaría eliminar algunas palabras vacías en francés de una columna de Pyspark. Debido a algunas restricciones, no puedo usar NLTK/Spacy, la única opción que tengo es utilizar el StopWordsRemover. A continuación, se muestra lo que he intentado hasta ahora sin éxito. from pyspark.ml import * from . . . Read more

¿Cómo escribir este código más rápido para eliminar palabras vacías en Python?

Tengo una función “remove_stopwords” como esta. ¿Cómo puedo hacer que se ejecute más rápido? temp.reverse() def drop_stopwords(text): for x in temp: elif len(x.split()) > 1: text_list = text.split() for y in range(len(text_list)-len(x.split())): if ” “.join(text_list[y:y+len(x.split())]) == x: del text_list[y:y+len(x.split())] text = ” “.join(text_list) else: text = ” “.join(text for text . . . Read more

Segmentación de palabras clave

Hola querido, tengo un problema con las stopwords de nltk: si hago un ciclo de verificación de stopwords en letra y no en palabra. ¿Cómo puedo cambiar este comportamiento? Un ejemplo: import pandas as pd import nltk stopword = nltk.corpus.stopwords.words(‘italian’) pd.set_option(‘display.max_colwidth’, None) df = pd.read_csv(‘esempioTweet.csv’, sep=’,’) def remove_stop(text): text = . . . Read more