Come mappare un RDD di classe caso LabeledPoint (etichetta, funzione di vettore)

voti
27

Come mappare un RDD di classe caso LabeledPoint (etichetta, funzione vettoriale).

Questa è la RDD di esame caso della classe (x: Doppio, y: Doppio):

Ds (1.0,6.0)

Ds (2.0,8.0)

Ds (3.0,10.0)

Ds (3.0,10.0)

ds (4.0,12.0)

Ds (5.0,14.0)

Ho provato a fare questo -

     val parsedData = aRDD.map(row =>
     new LabeledPoint(
     row._1,
     Vectors.dense(row._2))

Ottenere errore valore _1 non è membro di main.scala.spark.Q1Partb.Q1.Exam a row._1 e row._2

e questo -

          val parsedData = aRDD.map{line => 
          val Array(rawLabel, rawfeatures) = line.split(',')
          val features = rawfeatures) .split(' ').map(_.toDouble)
          LabeledPoint(rawLabel.toDouble, Vectors.dense(features))}

Ottenere errore valore ricorsiva x $ 4 esigenze di tipo per rawLabel e Valore divisione non è un membro del main.scala.spark.Q1Partb.Q1.ds per line.split ( '')

È pubblicato 03/05/2017 alle 22:53
dall'utente
In altre lingue...                            


2 risposte

voti
1

Se si dispone di un RDD [Esame] si dovrebbe essere in grado di scrivere

val parsedData = aRDD.map(exam => LabeledPoint(exam.x, Vectors.dense(exam.y))
Risposto il 04/05/2017 a 04:59
fonte dall'utente

voti
1

Ho avuto questo problema perché il mio nome di variabile è stata presa da una funzione.

Così private val Seq(transaction, transaction2) = insertTx(...

divenne

private val Seq(transaction1, transaction2) = insertTx(...

con la transazione di essere il colpevole.

Risposto il 09/08/2017 a 20:15
fonte dall'utente

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more