జిమ్ కెల్లర్ నేతృత్వంలోని చిప్ కంపెనీ టెన్స్టోరెంట్, ఏఐ వర్క్లోడ్ల కోసం తన తదుపరి తరం వార్మ్హోల్ ప్రాసెసర్ను విడుదల చేసింది. ఇది సరసమైన ధరలో మంచి పనితీరును అందిస్తుందని ఆ సంస్థ ఆశిస్తోంది.కంపెనీ ప్రస్తుతం ఒకటి లేదా రెండు వార్మ్హోల్ ప్రాసెసర్లను అమర్చగల రెండు అదనపు PCIe కార్డ్లను, అలాగే సాఫ్ట్వేర్ డెవలపర్ల కోసం TT-LoudBox మరియు TT-QuietBox వర్క్స్టేషన్లను అందిస్తోంది. ఈరోజు చేసిన ప్రకటనలన్నీ డెవలపర్లను ఉద్దేశించినవే కానీ, వాణిజ్య పనుల కోసం వార్మ్హోల్ బోర్డులను ఉపయోగించే వారిని కాదు.
"మా ఉత్పత్తులను డెవలపర్ల చేతుల్లోకి మరింతగా అందించడం ఎల్లప్పుడూ సంతృప్తినిస్తుంది. మా Wormhole™ కార్డ్లను ఉపయోగించి డెవలప్మెంట్ సిస్టమ్లను విడుదల చేయడం ద్వారా, డెవలపర్లు మల్టీ-చిప్ AI సాఫ్ట్వేర్ను స్కేల్ చేయడానికి మరియు అభివృద్ధి చేయడానికి వీలవుతుంది," అని టెన్స్టోరెంట్ సీఈఓ జిమ్ కెల్లర్ అన్నారు.ఈ ప్రారంభోత్సవంతో పాటు, మా రెండవ తరం ఉత్పత్తి అయిన బ్లాక్హోల్ యొక్క టేప్ అవుట్ మరియు పవర్-అప్లో మేము సాధిస్తున్న పురోగతిని చూసి సంతోషిస్తున్నాము.
ప్రతి వార్మ్హోల్ ప్రాసెసర్లో 72 టెన్సిక్స్ కోర్లు (వాటిలో ఐదు వివిధ డేటా ఫార్మాట్లలో RISC-V కోర్లకు మద్దతు ఇస్తాయి) మరియు 108 MB SRAM ఉంటాయి. ఇది 1 GHz వద్ద 262 FP8 TFLOPS అందిస్తుంది మరియు దీని థర్మల్ డిజైన్ పవర్ 160W. సింగిల్-చిప్ వార్మ్హోల్ n150 కార్డ్ 12 GB GDDR6 వీడియో మెమరీతో అమర్చబడి ఉంటుంది మరియు 288 GB/s బ్యాండ్విడ్త్ను కలిగి ఉంటుంది.
వార్మ్హోల్ ప్రాసెసర్లు వర్క్లోడ్ల యొక్క విభిన్న అవసరాలను తీర్చడానికి అనువైన స్కేలబిలిటీని అందిస్తాయి. నాలుగు వార్మ్హోల్ n300 కార్డ్లతో కూడిన ఒక ప్రామాణిక వర్క్స్టేషన్ సెటప్లో, ఈ ప్రాసెసర్లను ఒకే యూనిట్గా కలపవచ్చు, ఇది సాఫ్ట్వేర్లో ఏకీకృత, విస్తృత టెన్సిక్స్ కోర్ నెట్వర్క్గా కనిపిస్తుంది. ఈ కాన్ఫిగరేషన్, ఒకే వర్క్లోడ్ను నలుగురు డెవలపర్ల మధ్య విభజించి నిర్వహించడానికి లేదా ఒకేసారి ఎనిమిది విభిన్న AI మోడల్ల వరకు నడపడానికి యాక్సిలరేటర్ను అనుమతిస్తుంది. ఈ స్కేలబిలిటీ యొక్క ముఖ్య లక్షణం ఏమిటంటే, ఇది వర్చువలైజేషన్ అవసరం లేకుండా స్థానికంగా పనిచేయగలదు. డేటా సెంటర్ వాతావరణంలో, వార్మ్హోల్ ప్రాసెసర్లు మెషీన్ లోపల విస్తరణ కోసం PCIeను లేదా బాహ్య విస్తరణ కోసం ఈథర్నెట్ను ఉపయోగిస్తాయి.
పనితీరు పరంగా, టెన్స్టోరెంట్ యొక్క సింగిల్-చిప్ వార్మ్హోల్ n150 కార్డ్ (72 టెన్సిక్స్ కోర్లు, 1 GHz ఫ్రీక్వెన్సీ, 108 MB SRAM, 12 GB GDDR6, 288 GB/s బ్యాండ్విడ్త్) 160W వద్ద 262 FP8 TFLOPS సాధించగా, డ్యూయల్-చిప్ వార్మ్హోల్ n300 బోర్డ్ (128 టెన్సిక్స్ కోర్లు, 1 GHz ఫ్రీక్వెన్సీ, 192 MB SRAM, మొత్తం 24 GB GDDR6, 576 GB/s బ్యాండ్విడ్త్) 300W వద్ద 466 FP8 TFLOPS వరకు అందిస్తుంది.
300W వద్ద 466 FP8 TFLOPS సామర్థ్యాన్ని అర్థం చేసుకోవడానికి, ఈ థర్మల్ డిజైన్ పవర్ వద్ద AI మార్కెట్ లీడర్ అయిన ఎన్విడియా అందిస్తున్న దానితో పోల్చి చూద్దాం. ఎన్విడియా A100, FP8కు మద్దతు ఇవ్వదు, కానీ INT8కు మద్దతు ఇస్తుంది, దీని గరిష్ట పనితీరు 624 TOPS (స్పార్స్ మోడ్లో 1,248 TOPS). దీనితో పోలిస్తే, ఎన్విడియా H100, FP8కు మద్దతు ఇస్తుంది మరియు 300W వద్ద 1,670 TFLOPS (స్పార్స్ మోడ్లో 3,341 TFLOPS) గరిష్ట పనితీరును చేరుకుంటుంది, ఇది టెన్స్టోరెంట్ వార్మ్హోల్ n300 కంటే గణనీయంగా భిన్నంగా ఉంటుంది.
అయితే, ఒక పెద్ద సమస్య ఉంది. టెన్స్టోరెంట్ వారి వార్మ్హోల్ n150 రిటైల్ ధర $999 కాగా, n300 ధర $1,399. దీనితో పోలిస్తే, ఒకే ఒక్క ఎన్విడియా H100 గ్రాఫిక్స్ కార్డ్, కొనుగోలు పరిమాణాన్ని బట్టి, $30,000కు అమ్ముడవుతుంది. వాస్తవానికి, నాలుగు లేదా ఎనిమిది వార్మ్హోల్ ప్రాసెసర్లు ఒకే ఒక్క H300 యొక్క పనితీరును అందించగలవో లేదో మనకు తెలియదు, కానీ వాటి TDPలు వరుసగా 600W మరియు 1200Wగా ఉన్నాయి.
కార్డ్లకు అదనంగా, టెన్స్టోరెంట్ డెవలపర్ల కోసం ముందుగా నిర్మించిన వర్క్స్టేషన్లను అందిస్తుంది. వీటిలో యాక్టివ్ కూలింగ్తో కూడిన మరింత సరసమైన జియాన్-ఆధారిత TT-లౌడ్బాక్స్లో 4 n300 కార్డ్లు, మరియు EPYC-ఆధారిత జియాలోంగ్ లిక్విడ్ కూలింగ్ ఫంక్షన్తో కూడిన అధునాతన TT-క్వైట్బాక్స్ ఉన్నాయి.
పోస్ట్ చేసిన సమయం: జూలై-29-2024