Запитання з тегом «rnn»

Проблема, з якою я маю справу, - передбачення значень часових рядів. Я дивлюся по одному часовому ряду і, спираючись, наприклад, на 15% вхідних даних, я хотів би передбачити його майбутні значення. Поки що я натрапив на дві моделі: LSTM (довготривала короткочасова пам'ять; клас періодичних нейронних мереж) АРІМА Я спробував обидва …

64 time-series  deep-learning  rnn  prediction 

Я намагаюся почати вивчати RNN, і я використовую Keras. Я розумію основні передумови шарів ванільного RNN та LSTM, але у мене виникають проблеми з розумінням певного технічного моменту для тренувань. У документації про керас сказано, що вхід до шару RNN повинен мати форму (batch_size, timesteps, input_dim). Це говорить про те, …

61 python  keras  rnn  training 

Скільки параметрів має односкладений LSTM? Кількість параметрів накладає нижню межу на кількість необхідних прикладів тренувань, а також впливає на час навчання. Отже, знання кількості параметрів є корисним для навчальних моделей з використанням LSTM.

43 deep-learning  rnn 

Отже, останнім часом з'явився документ про нормалізацію шару . Є також реалізація цього на Keras. Але я пам’ятаю, існують документи під назвою « Нормалізація періодичної партії» (Cooijmans, 2016) та « Batch Normalized Recurrent Neural Networks» (Laurent, 2015). Яка різниця між цими трьома? Є цей розділ, пов’язаний із роботою, який я …

30 deep-learning  rnn  normalization  batch-normalization 

З коду Tensorflow : Tensorflow. RnnCell num_units: int, The number of units in the LSTM cell. Не можу відкинути, що це означає. Назвіть одиниці комірки LSTM. Вхідні, вихідні та забуті ворота? Чи означає це "кількість одиниць у шарі періодичного проектування для Deep LSTM". Тоді чому це називається "кількість одиниць у …

19 neural-network  tensorflow  rnn 

Я створюю corr()df з оригінального df. corr()ДФ вийшов 70 X 70 і неможливо уявити собі Heatmap ... sns.heatmap(df). Якщо я спробую відобразити corr = df.corr()таблицю, таблиця не відповідає екрану, і я бачу всі кореляції. Це спосіб або надрукувати весь, dfнезалежно від його розміру, або контролювати розмір теплової карти?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Читаючи про генерування тексту за допомогою періодичних нейронних мереж, я помітив, що деякі приклади були реалізовані для генерації тексту слово за словом, а інші - за символом, не фактично вказуючи чому. Отже, в чому різниця між моделями РНН, котрі пророкують текст кожного слова основи і ті , які пророкують текст …

15 machine-learning  neural-network  nlp  rnn 

Я намагаюся створити нейронну мережу, використовуючи часовий ряд як вхідний, щоб тренувати її на основі типу кожної серії. Я читав, що за допомогою RNN можна розділити вхід на партії та використовувати кожну точку часового ряду на окремі нейрони та врешті тренувати мережу. Що я намагаюся зробити, це використовувати декілька часових …

14 time-series  rnn 

Я намагаюся з'ясувати розміри кожної змінної в RNN в шарі забуття, однак я не впевнений, чи я на правильному шляху. Наступна картина та рівняння - з публікації блогу Кола "Розуміння мереж LSTM" : де: є введення розміру м * 1 векторхтxtx_tm ∗ 1m∗1m*1 - прихований стан розміру n ∗ 1 …

13 neural-network  rnn 

Я намагаюся інтерпретувати різницю кодування Кераса для позначення послідовності від одного до багатьох (наприклад, класифікація одиночних зображень) та багатозначне (наприклад, класифікація послідовностей зображень). Я часто бачу два різні види кодів: Перший тип не застосовується так: model=Sequential() model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1], border_mode="valid", input_shape=[1, 56,14])) model.add(Activation("relu")) model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1])) model.add(Activation("relu")) model.add(MaxPooling2D(pool_size=pool_size)) model.add(Reshape((56*14,))) model.add(Dropout(0.25)) …

13 keras  rnn  lstm  sequence 

Я намагався зрозуміти, як представляти та формувати дані, щоб скласти багатовимірний та багатоваріантний прогноз часових рядів за допомогою Keras (або TensorFlow), але мені все ще незрозуміло, прочитавши багато публікацій блогу / навчальних посібників / документації про представлення даних у правильної форми (більшість прикладів - трохи менше) Мій набір даних: кілька …

12 python  keras  rnn  lstm 

Чи є якісь правила (чи фактичні правила), що стосуються мінімальної, максимальної та "розумної" кількості комірок LSTM, які я повинен використовувати? Зокрема, я стосуюсь BasicLSTMCell від TensorFlow та num_unitsвласності. Будь ласка, припустіть, що у мене проблема класифікації, визначена: t - number of time steps n - length of input vector in …

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

Я прототипую додаток, і мені потрібна мовна модель, щоб обчислити здивування в деяких створених пропозиціях. Чи є якась навчена мовна модель в python, яку я можу легко використовувати? Щось на кшталт простого model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

Використовуючи багатошаровий LSTMз випаданням, чи доцільно наносити випадання на всі приховані шари, а також вихідні щільні шари? У роботі Гінтона (яка запропонувала Dropout) він наклав Dropout лише на щільні шари, але це було тому, що приховані внутрішні шари були звивистими. Очевидно, я можу перевірити свою конкретну модель, але мені було …

11 neural-network  lstm  rnn  dropout  stacked-lstm 

Я дуже новачок у глибокому навчанні, і мені особливо цікаво знати, що таке LSTM та BiLSTM та коли їх використовувати (основні сфери застосування). Чому LSTM і BILSTM популярніші за RNN? Чи можемо ми використовувати ці архітектури глибокого навчання у непідконтрольних проблемах?

11 machine-learning  deep-learning  rnn  lstm