Запитання з тегом «databases»

Я докторант геофізики і працюю з великою кількістю даних про зображення (сотні ГБ, десятки тисяч файлів). Я добре знаю svnі gitціную історію проекту в поєднанні з можливістю легко працювати разом і захищати від корупції на диску. Я вважаю gitтакож надзвичайно корисним для постійних резервних копій, але я знаю, що git …

46 bigdata  databases  binary  version-control 

Які найкращі практики для збереження, зберігання та спільного використання моделей машинного навчання? У Python ми зазвичай зберігаємо двійкове представлення моделі, використовуючи соління або joblib. Моделі, в моєму випадку, можуть бути ~ 100Мо великими. Крім того, joblib може зберігати одну модель у декількох файлах, якщо ви не встановите compress=1( /programming/33497314/sklearn-dumping-model-using-joblib-dumps-multiple-files-which-one-is-the- коре …

24 python  databases  binary 

Які є переваги стовпчастих сховищ даних, які роблять їх більш придатними для наукових даних та аналітики?

23 databases  tools 

Я створюю corr()df з оригінального df. corr()ДФ вийшов 70 X 70 і неможливо уявити собі Heatmap ... sns.heatmap(df). Якщо я спробую відобразити corr = df.corr()таблицю, таблиця не відповідає екрану, і я бачу всі кореляції. Це спосіб або надрукувати весь, dfнезалежно від його розміру, або контролювати розмір теплової карти?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Я працюю над проектом з науковими даними, пов’язаним із розробкою соціальних відносин і потребую зберігання даних у деяких базах даних графіків. Спочатку я вибрав Neo4j як базу даних. Але це здається, що Neo4j не дуже масштабується. Альтернатива, яку я дізнався, - «Титан» та «oriebtDB». Я пройшов це порівняння на цих …

13 data-mining  graphs  databases  social-network-analysis 

Коли реляційна база даних, як MySQL, має кращу продуктивність, ніж реляційна, як MongoDB? Днями я побачив питання про Quora про те, чому Quora все ще використовує MySQL як їхній запуск, і про те, що їхня ефективність все ще хороша.

13 bigdata  performance  databases  nosql 

У Data Science багато хто, здається, використовує рамки даних панди як сховище даних. Які особливості панд роблять її кращою сховищем даних у порівнянні зі звичайними реляційними базами даних, такими як MySQL , які використовуються для зберігання даних у багатьох інших областях програмування? Хоча панди надають деякі корисні функції для дослідження …

13 pandas  databases 

Я працюю над додатком, який вимагає створення дуже великої бази даних з n-грамів, які існують у великому текстовому корпусі. Мені потрібні три ефективні типи операцій: пошук та вставка, індексовані самим n-грамом, і запит для всіх n-грамів, які містять суб-n-грам. Мені це здається, що база даних повинна бути гігантським деревом документів, …

12 nlp  databases 

Закрито . Це питання має бути більш зосередженим . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно зосередило увагу на одній проблемі, лише відредагувавши цю публікацію . Закрито 5 років тому . Здається, що більшість мов мають деяку кількість бібліотек наукових обчислень. Python має Scipy Rust …

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

У мене великий набір даних з 9м JSON-об'єктів по ~ 300 байт кожен. Це повідомлення з агрегатора посилань: в основному посилання (URL, назва та ідентифікатор автора) та коментарі (текст та ідентифікатор автора) + метадані. Вони цілком можуть бути реляційними записами в таблиці, за винятком того, що вони мають одне поле …

10 data-mining  bigdata  databases  sql  mongodb 

Передумови: Далі йде з книги " Графічні бази даних" , яка охоплює тест на ефективність, згаданий у книзі Neo4j в дії : Взаємовідносини в графі природно утворюють контури. Запит або перегляд графіка включає наступні шляхи. Через принципово орієнтований на дорогу характер моделімоделі, більшість операцій з базою даних графіків на основі …

10 databases  nosql  neo4j 

Я новачок у цій спільноті, і, сподіваюся, моє запитання тут добре впишеться. Як частина мого курсу бакалаврської аналітики даних я вирішив зробити проект з розпізнавання людської діяльності за допомогою наборів даних смартфонів. Наскільки мене хвилює ця тема стосується машинного навчання та підтримки векторних машин. Я ще не добре знайомий з …

9 bigdata  machine-learning  databases  clustering  data-mining