怎样将data.dataframe转换为list成basket format

来源：蜘蛛抓取(WebSpider) 时间：2017-08-24 03:59 标签： dataframe 类型转换
使用反射的方式将RDD转换成为DataFrame
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.StructField
import org.apache.spark.sql.types.StructType
import org.apache.spark.sql.types.StringType
object RDD2DataFrameByProgrammatically {
& def main(args: Array[String]): Unit =
& & val conf = new
conf.setAppName("RDD2DataFrameByProgrammatically")
conf.setMaster("local")
& & val sc = new
SparkContext(conf)
& & val sqlContext = new
SQLContext(sc)
& & val persons =
sc.textFile("D:/persons.txt",1);
& & val rowRDD =
persons.map(_.split(",")).map(p =& Row(p(0), p(1).trim,
& & val schemaString =
"id,name,age"
& & val schema =
StructType(schemaString.split(",").map(fieldName =&
StructField(fieldName, StringType, true)))
& & val personDF =
sqlContext.createDataFrame(rowRDD, schema);
personDF.registerTempTable("persons")
& & val result =
sqlContext.sql("select * from persons where age &= 8")
result.rdd.collect().foreach(println)
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。苹果/安卓/wp
积分 330, 距离下一级还需 120 积分
权限: 自定义头衔, 签名中使用图片
道具: 彩虹炫, 涂鸦板, 雷达卡, 热点灯, 金钱卡, 显身卡, 匿名卡下一级可获得
道具: 抢沙发
购买后可立即获得
权限: 隐身
道具: 金钱卡, 彩虹炫, 雷达卡, 热点灯, 涂鸦板
开心签到天数: 270 天连续签到: 2 天[LV.8]以坛为家I
求助各位大神了 ！
支持楼主：、
购买后，论坛将把您花费的资金全部奖励给楼主，以表示您对TA发好贴的支持
载入中......
&as.character()
&as.numeric()
&as.list()
&as.data.frame()复制代码
热心帮助其他会员
总评分:&论坛币 + 10&
试过了，显示无法强制转换成double
vent99 发表于
试过了，显示无法强制转换成double遇到了同样的问题，你最后解决了吗
vent99 发表于
试过了，显示无法强制转换成double遇到了同样的问题，你最后解决了吗
vent99 发表于
试过了，显示无法强制转换成double遇到了同样的问题，你最后解决了吗
转化成MATRIX 然后 再转换回来
首先 list是存储混合数据的，里面有数值型 和 非数值型变量，而其他如矩阵只能存储单一类型的变量，所以你做不到强制转换，可以先将list里面非数值型变量重编吗为数值型后则可以转换为其他类型存储
热心帮助其他会员
总评分:&论坛币 + 10&
给你举个例子哈！
yourlist=c(list(a=1,c=list(d=c(&aa&,&bb&),e=2)))
& yourlist
new_d=as.factor(yourlist$c$d)
yourlist=c(list(a=1,c=list(d=new_d,e=2)))
& yourlist
热心帮助其他会员
总评分:&论坛币 + 10&
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
如有投资本站或合作意向，请联系（010-）；
邮箱：service@pinggu.org
投诉或不良信息处理：（010-）
论坛法律顾问：王进律师安全检查中...
请打开浏览器的javascript，然后刷新浏览器
< 浏览器安全检查中...
还剩 5 秒&Python（12）
train_comb 为Dataframe数据:
train_comb= train_comb.as_matrix()&#得到values的ndarry
train_comb =
train_combvalues #得到values的ndarry
train_comb = np.array(train_comb) #直接原样转换，加上索引&#20540;
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：7489次
排名：千里之外
原创：16篇
(2)(3)(1)(4)(6)

我要回帖

更多关于 dataframe 类型转换 的文章

 

随机推荐