Запитання з тегом «dropout»

Я трохи граю з конвенцями. Зокрема, я використовую набір даних кангл-котів проти собак, який складається з 25000 зображень, позначених як кішка або собака (12500 у кожному). Мені вдалося досягти близько 85% точності класифікації на моєму тестовому наборі, проте я поставив мету досягти 90% точності. Моя головна проблема - це надмірне …

16 neural-network  deep-learning  convnet  image-recognition  dropout 

Якщо видалення деяких нейронів призводить до більш ефективної моделі, чому б не використати в першу чергу більш просту нейронну мережу з меншими шарами і меншою кількістю нейронів? Навіщо будувати більшу, більш складну модель на початку і придушувати її частини згодом?

13 machine-learning  deep-learning  keras  regularization  dropout 

Я прототипую додаток, і мені потрібна мовна модель, щоб обчислити здивування в деяких створених пропозиціях. Чи є якась навчена мовна модель в python, яку я можу легко використовувати? Щось на кшталт простого model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

Використовуючи багатошаровий LSTMз випаданням, чи доцільно наносити випадання на всі приховані шари, а також вихідні щільні шари? У роботі Гінтона (яка запропонувала Dropout) він наклав Dropout лише на щільні шари, але це було тому, що приховані внутрішні шари були звивистими. Очевидно, я можу перевірити свою конкретну модель, але мені було …

11 neural-network  lstm  rnn  dropout  stacked-lstm 

Випадання ( папір , пояснення ) встановлює вихід деяких нейронів до нуля. Отже, для MLP у вас може бути така архітектура для набору даних квітів Iris : 4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax) Це діятиме так: softmax(W3⋅tanh(W2⋅mask(D,tanh(W1⋅input_vector)))softmax(W3⋅tanh⁡(W2⋅mask(D,tanh⁡(W1⋅input_vector)))softmax(W_3 \cdot \tanh(W_2 \cdot \text{mask}(D, \tanh(W_1 \cdot …

10 dropout 

Чи опубліковані будь-які статті, які показують відмінності методів регуляризації для нейронних мереж, бажано для різних доменів (або принаймні різних наборів даних)? Я запитую, тому що в даний час я відчуваю, що більшість людей, здається, використовують лише випадання для регуляризації в комп’ютерному зорі. Я хотів би перевірити, чи не було б …

9 neural-network  computer-vision  convnet  regularization  dropout