Monat: Oktober 2021

import gensim

from gensim import corpora, models

 

# Tokenize the documents

tokenized_docs = [doc.split() for doc in df['text']]

 

# Create a dictionary from the tokenized documents

dictionary = corpora.Dictionary(tokenized_docs)

 

# Create a corpus from the tokenized documents

corpus = [dictionary.doc2bow(doc) for doc in tokenized_docs]

 

# Train the LDA model

lda_model = models.LdaModel(corpus, num_topics=10, id2word=dictionary, passes=10)

 

# Print the top terms for each topic

for idx, topic in lda_model.print_topics(-1):

    print('Topic: {} nWords: {}'.format(idx, topic))

Die Anweisungen müssen den Prozess, der als Code generiert werden soll, genau beschreiben. Dies erfordert etwas Experimentierfreude und nicht weniger Know-how als das Schreiben des Codes von Hand. Der Hauptvorteil liegt darin, dass man nicht alle Details der Syntax kennen muss und sich damit einige Zeit erspart.

Zudem muss die Eingabeaufforderung sehr sorgfältig gewählt werden. Manchmal führen kleine Änderungen in der Eingabeaufforderung zu nicht nachvollziehbaren Änderungen im Ergebnis. 

Außerdem ist es sehr wichtig, dass die Algorithmen vom Autor beherrscht werden, und auch die benötigten Programmpakete müssen dabei bekannt sein. Das Sprachmodell macht in etwa das Gleiche, als wenn man die richtige Texteingabe in der Google-Suche verwendet, die gefundenen Ergebnisse von Stackoverflow nimmt und die Codeschnipsel zusammensetzt. Allerdings auf eine schnellere und komfortablere Art und Weise.