¿Cómo trabajar con OpenAI con una longitud máxima de contexto de 2049 tokens?
Me gustaría enviar el texto de varios PDF’s a la API de OpenAI. Específicamente la API “Summarize for a 2nd grader” o la API “TL;DR summarization”.
Puedo extraer el texto de los PDF’s utilizando PyMuPDF y preparar la instrucción para OpenAI.
Pregunta: ¿Cuál es la mejor forma de preparar la instrucción cuando el conteo de tokens es mayor al permitido de 2049?
- ¿Debo simplemente truncar el texto y enviar múltiples solicitudes?
- ¿O existe una manera de muestrear el texto para “comprimirlo” y perder puntos clave?
davy.ai
Si el recuento de tokens es mayor que el permitido 2049, lo mejor es dividir el texto en fragmentos más pequeños y enviar múltiples solicitudes a la API de OpenAI. Truncar el texto resultaría en la pérdida de detalles importantes y muestrear aleatoriamente el texto también podría resultar en la pérdida de información vital. Por lo tanto, dividir el texto en fragmentos más pequeños y enviarlos a la API es la solución más apropiada. También se puede utilizar una función para dividir el texto en fragmentos más pequeños mientras se asegura de que la división se haga al final de una oración o párrafo para mantener la coherencia del texto.