United States Brazil Russia France Germany China Korea Japan

Artificial Intelligence driven Marketing Communications

 
Mar 5, 2020 12:55 AM ET

Ein Algorithmus könnte CPUs zu einer kostengünstigen Möglichkeit machen, KI zu trainieren


iCrowd Newswire - Mar 5, 2020
Es ist ein ganz anderer Ansatz für Deep Learning.

KI ist das Rückgrat von Technologien wie Alexa und Siri — digitale Assistenten, die auf deep Machine Learning angewiesen sind, um ihr Ding zu machen. Aber für die Hersteller dieser Produkte — und andere, die auf KI angewiesen sind — ist es ein teurer und oft zeitaufwändiger Prozess, sie “zu trainieren”. Nun haben Wissenschaftler der Rice University einen Weg gefunden, tiefe neuronale Netze schneller und kostengünstiger über CPUs zu trainieren.

In der Regel verwenden Unternehmen GPUs als Beschleunigungshardware bei der Implementierung von Deep Learning in Technologie. Aber das ist teuer — DIE GPU-Plattformen an der Spitze der Linie kosten etwa 100.000 Dollar. Rice-Forscher haben nun eine kostensparende Alternative entwickelt, einen Algorithmus namens sublineare Deep Learning Engine (SLIDE), der in der Lage ist, die gleiche Aufgabe bei der Implementierung von Deep Learning zu erfüllen, aber ohne die spezialisierte Beschleunigungshardware.

Das Team nahm dann eine komplexe Workload und fütterte sie sowohl mit googles TensorFlow-Software als auch einer “44-Core-CPU der Xeon-Klasse” mit SLIDE an eine Top-LINE-GPU und stellte fest, dass die CPU das Training in nur einer Stunde abschließen konnte, verglichen mit dreieinhalb Stunden für die GPU. (Es gibt unseres Wissens keine CPU der 44-Kern-Xeon-Klasse, daher ist es wahrscheinlich, dass sich das Team auf eine 22-Kern-CPU mit 44 Threads bezieht.)

SLIDE arbeitet mit einem grundlegend anderen Ansatz für Deep Learning. GPUs nutzen solche Netzwerke, indem sie riesige Datenmengen untersuchen — oft mit Millionen oder Milliarden von Neuronen und verschiedene Neuronen verwenden, um verschiedene Arten von Informationen zu erkennen. Aber Sie müssen nicht jedes Neuron auf jeden Fall trainieren. SLIDE wählt nur die Neuronen aus, die für das lernen relevante sind.

Laut Anshumali Shrivastava, Assistenzprofessorin an der Rice es Brown School of Engineering,hat SLIDE auch den Vorteil, datenparallel zu sein. “Mit Daten parallel meine ich, dass, wenn ich zwei Dateninstanzen habe, auf denen ich trainieren möchte, einer ein Bild einer Katze und das andere ein Bild eines Busses ist, sie wahrscheinlich verschiedene Neuronen aktivieren werden, und SLIDE kann diese beiden unabhängig aktualisieren oder trainieren”, sagte er. “Dies ist eine viel bessere Ausnutzung der Parallelität für CPUs.”

Dies brachte jedoch seine eigenen Herausforderungen mit sich. “Die Kehrseite im Vergleich zur GPU ist, dass wir einen großen Speicher benötigen”, sagte er. “Es gibt eine Cachehierarchie im Hauptspeicher, und wenn Sie nicht vorsichtig damit sind, können Sie auf ein Problem stoßen, das als Cache-Thrashing bezeichnet wird, bei dem Sie viele Cache-Fehler erhalten.” Nachdem das Team ihre ersten Ergebnisse veröffentlicht hatte, setzte sich Intel jedoch mit der Zusammenarbeit bei dem Problem in Verbindung. “Sie sagten uns, dass sie mit uns zusammenarbeiten könnten, um es noch schneller trainieren zu lassen, und sie hatten Recht. Unsere Ergebnisse verbesserten sich mit ihrer Hilfe um rund 50 Prozent.”

SLIDE ist eine vielversprechende Entwicklung für DIE AN DER KI Beteiligten. Es ist unwahrscheinlich, dass GPU-basiertes Training in absehbarer Zeit ersetzt wird, da es viel einfacher ist, mehrere GPUs zu einem System hinzuzufügen als mehrere CPUs. (Das oben erwähnte GPU-System im Wert von 100.000 USD hat z. B. acht V100.) Was SLIDE jedoch hat, ist das Potenzial, KI-Schulungen zugänglicher und effizienter zu machen.

Shrivastava sagt, dass es noch viel mehr zu entdecken gibt. “Wir haben gerade an der Oberfläche gekratzt”, sagte er. “Es gibt noch viel zu tun, um zu optimieren. Wir haben beispielsweise keine Vektorisierung oder integrierte Beschleuniger in der CPU verwendet, wie Intel Deep Learning Boost. Es gibt noch viele andere Tricks, mit denen wir das noch schneller machen könnten.” Der wichtigste Nutzen, sagt Shrivastava, ist jedoch, dass SLIDE zeigt, dass es andere Möglichkeiten gibt, Deep Learning zu implementieren. “Unser Ansatz mag der erste algorithmische Ansatz sein, um GPU zu schlagen, aber ich hoffe, es ist nicht der letzte.”

Contact Information:

Rachel England



Tags:    German, United States, Wire